搜索引擎爬虫怎么通过一个url种子无限抓取？

Question

搜索引擎爬虫怎么通过一个url种子无限抓取

Answer 1

互联网大数据中信息都是通过url来连接起来的额，通常情况下一个网站是有内链和外链的，内链相当于“点”，外链相当于“线”，这就构成了互联网这张无形庞大的“网”。