爬虫与百度搜索、Google搜索的区别是什么?
搜索也是利用爬虫的技术获取想要的数据,那么百度、google等公司的搜索和我们开发的爬虫有什么不同呢?
搜索也是利用爬虫的技术获取想要的数据,那么百度、google等公司的搜索和我们开发的爬虫有什么不同呢?
2015-12-20
爬虫的定义比较宽泛,比如我的站点www.kzwr.com 就是一种特定采集方向的爬虫,手动录入特定的站点,爬虫抓取程序不定期抓取新文章,而谷歌百度这种分布式的增量爬虫,可想而知其爬虫系统相当复杂,其中类似的技术有爬取策略,如广度优先、最佳优先;url排重系统,抓取队列调度,数据存储的等诸多的问题
举报