为了账号安全,请及时绑定邮箱和手机立即绑定

DEBUG: Crawled (521) 请问一下怎么解决呀

/ 猿问

DEBUG: Crawled (521) 请问一下怎么解决呀

慕少5035366 2019-04-16 10:23:48

https://img3.mukewang.com/5cb53c990001e6fd06470101.jpg

查看完整描述

1 回答

?
孤独的小猪

如果目标网站没有挂的话,应该是该网站做了反爬策略,以前我爬取一个网站https://www.seebug.org/rss.xml,也是发现http code 返回521,经过分析发现目标网址需要用Cookie和User-Agent放到请求头里进行访问才可以正常取到值。而Cookie是由__jsluid和__jsl_clearance两个值构成的。当第一次用requests获取的时候,可以获得请求头的值里的__jsluid,而response.content获得的是一串加密后的JavaScript,需要解析才能得到__jsl_clearance的值,这里采用Selenium动态获取所需要的Cookies。

查看完整回答
1 反对 回复 2019-05-27

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信