scrapy-redis 能分布式post请求吗
1 回答
一只斗牛犬
TA贡献1784条经验 获得超2个赞
scrapy 通用爬虫框架其功能比较完善帮迅速写简单爬虫并且跑起scrapy-redis更便实现scrapy布式爬取提供些redis基础组件（注意scrapy-redis些组件完整框架）认scrapy工厂能够产要spiderscrapy-redis其厂商帮助scrapy工厂更实现某些功能制造些设备用于替换scrapy工厂原设备 所要想跑布式先让scrapy工厂搭建起再用scrapy-redis设备更换scrapy某些设备 些scrapy-redis组件突特点呢使用redis数据库替换scrapy原本使用队列结构（deque）换数据结构相应操作都要换啦所与队列相关些组件
- 1 回答
- 0 关注
- 934 浏览
添加回答
举报
0/150
提交
取消