为了账号安全,请及时绑定邮箱和手机立即绑定

你好,请教一下scrapy 爬虫怎么在程序里把爬虫停止?

/ 猿问

你好,请教一下scrapy 爬虫怎么在程序里把爬虫停止?

繁星淼淼 2019-11-25 10:06:32

scrapy 爬虫怎么在程序里把爬虫停止


查看完整描述

3 回答

?
慕粉4167745
def __init__(self, crawler):     self.crawler = crawler      @classmethod def from_crawler(cls, crawler):     return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespider')

上面是实现原理,实际上 scrapy.Spider 已经拥有了 crawler 属性,不必再像上面这样写。

在spider中可直接写:

1self.crawler.engine.close_spider(self'closespider')

在 pipeline 和  中间件Middlewares  中:

1spider.crawler.engine.close_spider(spider, 'closespider')



查看完整回答
反对 回复 2019-12-01

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信