为了账号安全,请及时绑定邮箱和手机立即绑定

Python爬虫程序运行“卡顿”

Python爬虫程序运行“卡顿”

婷婷同学_ 2018-10-05 15:11:14

https://img3.sycdn.imooc.com/5bc35f9100014cd906180135.jpg

用Python爬取某网站两个月的数据,程序“卡顿”,但并未报错,也未结束。如上图所示。
例如,我把时间循环设置为2016.8.1--2016.10.1,抓取到数据的就只能到2016.9.4,然后程序也没运行结束,但数据库也一直没有更多的数据进入。出现“卡顿”。

然后我换了台配置更好的电脑,情况会好很多,可以抓取半年的数据。本来我想抓一年的数据,但抓取到半年的数据的数据后,也会出现如图所示的情况,并且数据库也一直未添加更多的数据。即“卡顿”。

我想知道有没有办法能够一次抓取的数据多点??


查看完整描述

2 回答

?
皈依舞

TA贡献1499条经验 获得超1个赞

可以使用多线程,每个线程处理一个月的数据,这样即使哪个月的数据出了问题依然能够保证大多数数据的完整性,然后具体分析出问题的月份的数据的情况。

查看完整回答
反对 回复 2018-10-14
?
MMTTMM

TA贡献1470条经验 获得超4个赞

出现阻塞的原因是什么呢?你可以通过以下方式分析:

1,抓包分析,是不是网络原因;
2,你写的爬虫是用什么框架,是urllib2还是scrapy框架,查看日志情况。
3,查看是否是url池已经处理完,没有新的目标任务添加到爬取队列。


查看完整回答
反对 回复 2018-10-14

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信