为了账号安全,请及时绑定邮箱和手机立即绑定

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

大家好,我是皮皮。

一、前言

前几天在Python钻石交流群【空】问了一个Python网络爬虫的问题,一起来看看吧。

给大家提供一个网站的相关截图,麻烦你们提供一个思路如何爬取网站相关数据,下图这里是数据区。

image.png

页面数据存储在这里的json里。

image.png

二、实现过程

常规来说,这个都返回json了,解析json就可以取数据了。但是json数据所对应的网址不能访问(内网,外边也无法访问),没有权限,估计是没有权限解析json数据。

image.png

其它的数据里没有相关信息,都找了,页面全部都是用ajax加载数据。但是从页面数据找不到图的真实url,后来分析图的真实url,是页面的json数据通过拼接得到。这里的页面是不是需要登录才能获取相关权限,才能访问数据?这里【甯同学】给了一个可行的思路,如下所示:

image.png

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空】提问,感谢【甯同学】给出的思路和代码解析,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

image.png

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

举报

0/150
提交
取消