已解决430363个问题，去搜搜看，总会有你想问的

防止数据被爬虫爬

关注

首页猿问防止数据被爬虫爬

防止数据被爬虫爬

Java Python

露水小叶 2016-08-27 14:54:28

我们公司有一个模块的数据都是公司的人员用爬虫去爬的，但是有的网站的数据就防止了大量访问，导致爬虫无法进行。我和你好奇，怎么防止数据被爬，希望亲们不吝赐教，谢谢。

查看完整描述

1 回答

laoqianII

TA贡献2条经验获得超0个赞

根据IP设置访问频率呢

反对回复 2016-11-11

1 回答
0 关注
2188 浏览

关注

添加回答

举报

0/150

提交

取消

意见反馈帮助中心 APP下载