什么是分布式爬虫 和单机爬虫有什么区别

Question

什么是分布式爬虫 和单机爬虫有什么区别

Answer 1

分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。单机爬虫就是只在一台计算机上，叫做单机。前嗅的ForeSpider数据采集系统就有单机和服务器版，比如只在一台服务器上的爬虫，虽然开了多进程，但还是服务器单机的。但是如果在多个服务器上，并且能够协同采集，就是分布式的。