为了账号安全,请及时绑定邮箱和手机立即绑定

对抗反爬虫策略

对抗反爬虫策略

繁花不似锦 2018-10-10 12:13:20
我的问题如下:我需要抓取一个网站的数据来做一些统计研究,但是这个网站有严格的反抓取策略。 目前看来,利用pyspider框架进行一段时间的抓取后,网站就会禁止我访问。有没有什么好的 办法使得pyspider能够抓取一段时间后停止抓取,然后隔一段时间有恢复抓取的策略呢?
查看完整描述

2 回答

?
largeQ

TA贡献2039条经验 获得超7个赞

1.self.crawl中增加auto_crawl=True,并设置好间隔时间,比如age=60*60
这样一个小时后,pyspdier会去自动抓取网页

2.修改webui中的rate/burst,默认是1.0/3,可以改成0.2/3试试, 降低抓取频率

3.可以在crawl_config中增加proxy.


查看完整回答
反对 回复 2018-10-14
  • 2 回答
  • 0 关注
  • 785 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信