Python爬虫是什么？

Question

Python爬虫是什么？

Answer 1

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。为什么用Python写爬虫呢，是因为Python跨平台，对Linux和windows都有不错的支持；科学计算，数值拟合：Numpy，Scipy；可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2 ，主要是相较于C、C++这样的语言来说，Python最简洁，那当然啦，爬取网页采集数据信息时，一定要有大量的IP资源的支持呀，芝、麻HTTP还挺不错的，IP资源丰富，还有去重，这就相当于一个好的助理，处理起工作来也事半功倍啊，嘻嘻。