为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy 启动爬虫的时候 爬虫没有定时关掉

scrapy 启动爬虫的时候 爬虫没有定时关掉

翻阅古今 2019-01-25 15:56:22
我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉现在有个方案就是while 死循环内 2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
查看完整描述

1 回答

?
蝴蝶刀刀

TA贡献1801条经验 获得超8个赞

建议搜索下扩展中间件。excetions,有关于spider未接收到信号的说明。

查看完整回答
反对 回复 2019-01-25
  • 1 回答
  • 0 关注
  • 899 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号