为了账号安全,请及时绑定邮箱和手机立即绑定

webmagic 爬取多个网页,内容重复

webmagic 爬取多个网页,内容重复

car 2018-11-13 14:46:54
webmagic  爬取多个网页,内容重复 ,用什么代码可以防止。if(page.getResultItems().get(page.getUrl().get())==null){     page.putField(page.getUrl().get(),page.getUrl()); }
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 2058 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信