Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

第二种办法出现错误无法解决

已采纳回答 / Mpetrel

request = urllib2.urlopen(url)这里应该是request = urllib2.Request(url)吧

1 回答 1824 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-28

编码问题无法解决，对百度百科词条的爬虫

最赞回答 / mk908429705

在html_outputer中加fout.write('<head><meta charset="utf-8"></head>')，可以试一下

6 回答 1312 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-28

我的代码没错，输出结果乱码。无法输出中文怎么办？

最新回答 / 苘郁蓁

webInfo = response.read().decode('utf-8','ignore'),设置编码格式

1 回答 846 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-27

为什么输出结果乱码呢？

最新回答 / 卡布达巨人

这个不是python的问题，是你控制台的问题，你的控制台的编码是gbk，而你在py文件中使用的编码的utf-8，所以会产生乱码试试把 print '第一种方法' 改成 print u'中文'.encode('gbk')，就可以看到中文能正确显示了

1 回答 383 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-27

爬到74卡住了

最赞回答 / 慕勒0815894

调用urlopen时要加timeout, 否则网速不好的时候容易卡死.html_downloader.py:<...code...>

1 回答 975 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-26

求源码。。。

+ 我来回答回答最高可+2积分

0 回答 463 浏览

2016-05-26

用spyder写的但是会出现importerror ，显示是 ImportError: No module named baike_spider

最赞回答 / qq_却梦_0

把 from baike_spider 删掉

8 回答 5062 浏览

2016-05-24

if page_url is None or html_cont is None:在Python3上面 page_url和html_cont 是错的怎么改啊，求大神帮忙*

最新回答 / 抠脚小清新

谢谢·！

2 回答 613 浏览 7-5 HTML解析器html_parser

2016-05-24

代码提示功能

最赞回答 / 宇娃

Ctrl +1

2 回答 497 浏览 6-4 BeautifulSoup实例测试

2016-05-24

为什么用requests.add_header("user-agent","Mozillo/5.0")能伪装成浏览器呢

已采纳回答 / nana823

某些网站反感爬虫的到访，于是对爬虫一律拒绝访问。这时我们需要伪装成浏览器，可以通过修改http包中的header来实现。将标签a数据添加1

1 回答 3921 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-23

creative method 在pycharm中使用什么快捷键？

最赞回答 / 进阶的沙漏

alt+enter

1 回答 596 浏览 7-2 调度程序

2016-05-23

函数的调用报错obj_spider.craw(root_url)和def craw(self, root_url)

已采纳回答 / SunCherryDream

需要定义构造函数与，在构造函数中对new_urls进行初始化，构造函数代码如下def __init__(self): self.new_urls = set() self.old_urls = set()

2 回答 2219 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-23

求教！输出的网页乱码问题

最新回答 / qq_上善若水_53

python3 里面取消了encode跟decode，要看你的乱码是什么乱码，是从哪一步到哪一步乱了，什么系统，要具体分析

1 回答 289 浏览

2016-05-22

老师你好，请问源码有吗？

最新回答 / 465123186

这个源码不一定能用的，你什么环境？ python3版本有人共享了一个 https://github.com/fifths/python_baike_spider/blob/master/baike_spider/

1 回答 532 浏览 8-1 课程总结

2016-05-18

抓取几条URL后就没反应了，怎么回事

最新回答 / albert89

最后一段循环顺序反了

2 回答 1460 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-16

首页上一页 75 76 77 78 79 80 81 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫