Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

结果只有一条数据

最赞回答 / Julie1011

我找到原因了自己太不仔细了有的单词拼错了，同样问题的童鞋好好检查下自己的代码

1 回答 898 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-21

html乱码

最赞回答 / lqc

搜索了半天找到解决办法了 open('output.html', 'w', encoding='utf-8')然后write的时候不进行encoding

3 回答 899 浏览 7-5 HTML解析器html_parser

2016-01-20

补充几张图片示例：1.光标放到UrlManager再Alt+Enter键出来选择下拉列表，选择第一个，创建了class UrlManager()。<...图片...>2.url管理器的几个方法都已经高亮显示了<...图片...>3.把光标add_new_url（）按Alt+Enter键可以创建该方法。<...图片...>4. 重复3步骤，创建has_new_url()，add_new_urls（）方法<...图片...>

11 回答 4675 浏览 7-2 调度程序

2016-01-19

请问这里的link["href"]是什么意思？

最新回答 / 啊B

link查找到的内容中，href的属性

4 回答 1253 浏览 7-5 HTML解析器html_parser

2016-01-17

无法运行，却又没报错

最新回答 / 慕尼黑1193012

你和我遇到的问题一样主要是缩进问题；我现在只能出一条就停止了。

4 回答 1246 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-16

"urls is None"和"len(urls) == 0"有什么却别吗？求解释

最赞回答 / JonnyKing

没有指向任何内存地址，和指向的内存长度为0.

2 回答 730 浏览 7-3 URL管理器

2016-01-16

BeautifulSoup 报错，怎么解决

最新回答 / 慕函数0019356

什么东西？

4 回答 3391 浏览

2016-01-16

爬虫乱码情况

最赞回答 / 君以行健

<...code...>

4 回答 1416 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-15

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

最赞回答 / 我是塞尔维斯

没有必要，因为add_new_urls方法里边又调用到了add方法，判重已经在add中实现了

3 回答 753 浏览 7-3 URL管理器

2016-01-15

如何使用多线程方法加速crawl的速度

+ 我来回答回答最高可+2积分

0 回答 308 浏览

2016-01-13

1000个页面指的是什么意思？

讲师回答 / 蚂蚁帅帅

讲课的时候，不可能抓取太多的页面，因为等的时间太长，所以只抓取了1000个页面用于演示效果，大家当然不用这么设定

2 回答 827 浏览 8-1 课程总结

2016-01-12

各位大神，小弟求教一个问题

+ 我来回答回答最高可+2积分

0 回答 703 浏览

2016-01-11

urllib与urllib2区别

最赞回答 / 隐匿的月亮城

Python:urllib 和urllib2之间的区别 - 牛皮糖NewPtone - 博客园http://www.cnblogs.com/yuxc/archive/2011/08/01/2124073.html

4 回答 2096 浏览 5-1 Python爬虫网页下载器简介

2016-01-11

在Pycharm下，怎么新建模块？

最赞回答 / 达达里昂

.py为后缀名的文件都会被认为是python模块。package相当于文件夹，只不过其每层目录下一定有一个 _init_.py 的文件。Pycharm中，在package上右键"New-Python File"可以新建模块<...图片...>

7 回答 18807 浏览 7-2 调度程序

2016-01-11

输出第一条结果之后就全部failed了

+ 我来回答回答最高可+2积分

4 回答 868 浏览 7-7 开始运行爬虫和爬取结果展示

2016-01-09

首页上一页 73 74 75 76 77 78 79 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫