-
爬虫架构查看全部
-
lll查看全部
-
网页解析器查看全部
-
特殊场景处理查看全部
-
添加data,httpheader查看全部
-
网页下载器:urllib2(python自带);requests(插件)查看全部
-
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。查看全部
-
运行流程。查看全部
-
轻量爬虫架构查看全部
-
URL管理器功能查看全部
-
Url管理器功能说明查看全部
-
爬虫调度端：启动爬虫、停止爬虫、监视爬虫的运行情况 1.Url管理器：管理将要爬取的url和已经爬取的url。将待爬取的url传送给网页下载器。 2.网页下载器：将Url指定的网页下载下来，保存为一个字符串。将这个字符串传送给网页解析器进行解析。 3.网页解析器：一方面，会解释出有价值的数据；另一方面，解析出字符串中的url，将其补充到url管理器。 三个模块，形成了一个循环。只有有未爬取的url，这个循环就会一直继续下去。查看全部
-
爬虫，自动访问互联网并且提取数据的程序。查看全部
-
简单爬虫运行流程查看全部
-
网页解析器查看全部
举报
0/150
提交
取消