什么是分布式爬虫 和单机爬虫有什么区别
1 回答
慕雪6442864
TA贡献1812条经验 获得超5个赞
分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。单机爬虫就是只在一台计算机上，叫做单机。前嗅的ForeSpider数据采集系统就有单机和服务器版，比如只在一台服务器上的爬虫，虽然开了多进程，但还是服务器单机的。但是如果在多个服务器上，并且能够协同采集，就是分布式的
添加回答
举报
0/150
提交
取消