python爬虫出现问题

Question

一开始工作还比较顺利，但是到后面出现大量的异常，主要是：远程主机强迫关闭了一个现有的连接。由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。请教一下各位大神，这是怎么回事，是因为我的爬虫写的有问题吗？可是为什么一开始没问题呢，是不是服务器暂时禁了我的IP？

Answer 1

一个很重要的事情，就是你不能让对方觉得你是机器人，线程不要太密集，至于ip的话，可以考虑从代码的角度不间断更换，生成一个iplist,list的大小要控制在最后一个被封掉后，第一个被封掉的处于启用状态；

不过，如果对方做了大量的防护工作，爬虫就困难了。我的爬虫目前一切顺利

Answer 2

请求头每次都换一个，短时间不要太频繁