已解决430363个问题，去搜搜看，总会有你想问的

如何让python编写的爬虫实时运行？

关注

首页猿问如何让python编写的爬虫实时运行？

Python 爬虫

慕工程0101907 2018-10-03 21:30:29

问题如标题所说，用scrapy框架写了几个爬虫，由于一些原因，需要实时或者说是隔几十秒左右跑一遍，查了一下好像 time.stop（）能实现，但是我这边加了之后没效果。请求支援

查看完整描述

2 回答

慕婉清6462132

TA贡献1804条经验获得超2个赞

可以用quartz来调度scrapy

反对回复 2018-10-14

慕容森

TA贡献1853条经验获得超18个赞

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以用crontab计划任务一下

反对回复 2018-10-14

关注

0/150

提交

取消