为了账号安全,请及时绑定邮箱和手机立即绑定

爬取网页,被拦截问题

爬取网页,被拦截问题

宝慕林4294392 2018-12-16 09:19:57
描述:爬取网页列表,每次大概请求20次的时候就会出错。 程序报错退出,实际页面上将跳转到图片验证机器人的地方,这个怎么办? 至少希望在完成认证后,能接着上一次的请求继续执行。代码:def handle(self):     request = urllib.request.Request(self.url,headers=self.headers)     response = urllib.request.urlopen(request)     print(response)     html=response.read()报错:urllib.error.HTTPError: HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop.苦恼目前是每次请求15条,循环执行。失败后,手动验证并对循环+1,再执行。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 733 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信