课程名称：Scrapy打造搜索引擎(分布式爬虫)
课程章节： 爬虫基础知识回顾
主讲老师：bobby
课程内容：
今天学习的内容包括：URL去重、深度优先遍历与广度优先遍历、爬虫去重策略、字符串编码
课程收获：
1.网站其他网页会有链接指向首页，而首页又会有链接指向其他页面，这样则会造成循环爬取网页，陷入死循环
2.如何解决该问题？将已经爬取的URL地址将入至列表内，表示已经被查询
深度优先遍历与广度优先遍历
爬虫去重策略
字符串编码
点击查看更多内容
为 TA 点赞
评论
共同学习，写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持，我会继续努力的～
扫码打赏，你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫，即可进行扫码打赏哦