为了账号安全,请及时绑定邮箱和手机立即绑定

爬虫与百度搜索、Google搜索的区别是什么?

搜索也是利用爬虫的技术获取想要的数据,那么百度、google等公司的搜索和我们开发的爬虫有什么不同呢?

正在回答

3 回答

爬虫的定义比较宽泛,比如我的站点www.kzwr.com 就是一种特定采集方向的爬虫,手动录入特定的站点,爬虫抓取程序不定期抓取新文章,而谷歌百度这种分布式的增量爬虫,可想而知其爬虫系统相当复杂,其中类似的技术有爬取策略,如广度优先、最佳优先;url排重系统,抓取队列调度,数据存储的等诸多的问题


0 回复 有任何疑惑可以回复我~

爬虫是搜索引擎的一部分,负责信息的采集, 搜索引擎其他两个部分应该还包括语义分析和全文索引。

在别处粘贴的。

0 回复 有任何疑惑可以回复我~

自己的爬虫是专门化,都是自己想要的某方面的数据。谷歌等搜索是普遍化,结果对所有人是一样的。

0 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消
Python开发简单爬虫
  • 参与学习       227549    人
  • 解答问题       1288    个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程

爬虫与百度搜索、Google搜索的区别是什么?

我要回答 关注问题
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号