为了账号安全,请及时绑定邮箱和手机立即绑定

搜索引擎和爬虫的区别?

/ 猿问

搜索引擎和爬虫的区别?

jeck猫 2018-10-03 18:14:34

我的理解是爬虫是搜索引擎的一部分,负责信息的采集。 搜索引擎其他两个部分应该还包括语义分析和全文索引,不知道我这样的理解对不对?

还有请问下现有的开源搜索引擎包含了爬虫部分吗?


查看完整描述

2 回答

?
天涯尽头无女友

今天发现的一个百度网盘爬虫,还不错:https://segmentfault.com/a/1190000005105528

查看完整回答
反对 回复 2018-10-14
?
莫回无

从这本书里大概能给你一个较为宏观的答案: http://www.infoq.com/cn/minibooks/this-is-search-engine 关于开源的搜索引擎,Nutch应该是最富盛名的了,它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不利于广大Internet用户.开源的话其实会很多,分的也会相对细一点,这就看你注重什么方面了。

除了Nutch,其他的还有很多,可以自己去找资料看一下,比如:

  • Lucene

  • Slor

  • 全文检索引擎 Sphinx

  • Lucene索引查看工具 Luke

  • 实时分布式搜索引擎 Solandra

  • MySQL全文搜索引擎 mysqlcft

  • Java的索引-搜索引擎 IndexTank

  • Solr的PHP接口 Solarium

  • 搜索引擎 Compass (以上一部分靠记忆,一部分来自OSChina)


查看完整回答
反对 回复 2018-10-14

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信