scrapy 爬虫怎么在程序里把爬虫停止
3 回答
森林海
TA贡献2011条经验 获得超2个赞
def __init__(self, crawler): self.crawler = crawler @classmethod def from_crawler(cls, crawler): return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespider') |
上面是实现原理,实际上 scrapy.Spider 已经拥有了 crawler 属性,不必再像上面这样写。
在spider中可直接写:
| 1 | self.crawler.engine.close_spider(self, 'closespider') |
在 pipeline 和 中间件Middlewares 中:
| 1 | spider.crawler.engine.close_spider(spider, 'closespider') |
添加回答
举报
0/150
提交
取消
