为了账号安全,请及时绑定邮箱和手机立即绑定

如何区分搜索引擎爬虫和恶意爬虫?

/ 猿问

如何区分搜索引擎爬虫和恶意爬虫?

慕姐829404 2019-02-08 11:07:03

如何区分搜索引擎爬虫和恶意爬虫


查看完整描述

2 回答

?
幕布斯5086720

官方说明:并不存在有降权蜘蛛一说
只要是搜索引擎的蜘蛛ip就是正常的,只要注意蜘蛛返回的状态是否是正常
有些ip会冒充搜索引擎蜘蛛ip,可以通过ip反查,确认其是不是真实蜘蛛。

1、百度蜘蛛:Baiduspider
常见百度旗下同类型蜘蛛还有下面这些:
Baiduspider-mobile抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
注:以上百度蜘蛛目前常见的是
Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛:
Googlebot 谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;” “Googlebot-Mobile”
,看名字是抓取wap内容的。
3、360蜘蛛:360Spider
4、SOSO蜘蛛:Sosospider
5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
6、有道蜘蛛:YoudaoBot,YodaoBot
7、搜狗蜘蛛:Sogou News Spider 搜狗蜘蛛还包括如下这些:
Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blogSogou News Spider、Sogou Orion spider,Sogou web spider、Sogou inst spider、Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
8、MSN蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot



查看完整回答
反对 回复 2019-03-02

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信