                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

为什么有时候爬虫会卡住不能运行了，但是也没有报错？

我按照Python开发简单爬虫做了一个实例，但是运行时发现爬100以内没什么问题，但是扩大范围，比如爬1000条，有时就卡住了，比如他就输出craw104就卡住了，有可能是什么原因呢？

帽子大大大3830867

2016-08-16

源自：Python开发简单爬虫 7-7

关注问题我要回答

7830

操作

收起

2 回答

qq_黑色契约_0
2018-07-09

这应该不是解决方案，如果内容没有遍历完就执行下一个了，因为你定死了时间；我加了try...except可以跳过报错的地方，应该还有更好的方法，寻找中

0 回复有任何疑惑可以回复我~

收起回答

帽子大大大3830867 提问者
2016-08-16

然而我找到答案了，原因大概是网络问题，导致 response = urllib2.urlopen(url)没有反应，然后卡死

解决方案就是加个timeout： response = urllib2.urlopen(url,timeout=5)

这样就能继续往下爬了~

1 回复有任何疑惑可以回复我~

收起回答

0/150

提交

取消

Python开发简单爬虫

参与学习 227586 人
解答问题 1288 个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程

为什么有时候爬虫会卡住不能运行了，但是也没有报错？

我要回答关注问题

热搜

最近搜索清空

为什么有时候爬虫会卡住不能运行了，但是也没有报错？

2 回答

为什么有时候爬虫会卡住不能运行了，但是也没有报错？