Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

只爬出来了两条，但未报错而且也没有爬取失败

最新回答 / 多啦X梦

我遇到的问题是第二条链接中开始含有中文例如这样<...code...> 就跑不动了

3 回答 623 浏览 7-7 开始运行爬虫和爬取结果展示

2017-03-18

python3.5中import url_manager,html_downloader,html_parser,html_outputer ImportError: No module named 'html_parser'

最赞回答 / 时间的力量

我爬了一下好像最多只能爬下549条数据。对于正则表达式，可以参看图片<...图片...><...图片...><...图片...><...图片...>

6 回答 2349 浏览 7-5 HTML解析器html_parser

2017-03-17

add_new_url是增加新的url,与add_new_urls的区别有点不太懂

最赞回答 / luck明

一个是单个url，一个是url list

3 回答 1117 浏览 7-3 URL管理器

2017-03-16

都没有python2.7的源码吗？

最新回答 / 慕设计7953951

https://github.com/devops/spider_baike.git

1 回答 436 浏览 8-1 课程总结

2017-03-15

在学爬虫时老师教Beautifulsoup里面正则匹配遇到的问题。

最新回答 / Camel97

link_node = soup.find('a',text = re.compile(r"ill"))#指定文本的内容与正则表达式匹配你原来这句话有误，导致 link_node 是 None，相当于没有定义过link_node 所以出现 has no attribute 'name'

3 回答 1349 浏览 6-4 BeautifulSoup实例测试

2017-03-14

为什么提示urllib2提示错误

最新回答 / 北风吹吹

你这个是PY3以上版本吧需要导入 urllib.request包

1 回答 678 浏览 5-3 Python爬虫urlib2实例代码演示

2017-03-14

urllib2在哪里获得

最赞回答 / Orochi_Mizuchi

<...code...>

4 回答 676 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2017-03-13

结果打印有问题

最新回答 / 伸出圆手

<...code...>

2 回答 418 浏览 5-3 Python爬虫urlib2实例代码演示

2017-03-12

爬取数据问题

+ 我来回答回答最高可+2积分

2 回答 383 浏览 2-2 爬虫技术的价值

2017-03-11

运行后报错如下

+ 我来回答回答最高可+2积分

3 回答 313 浏览 7-2 调度程序

2017-03-08

Python3学习爬虫出现NoneType问题

最新回答 / 四只小猪

请问问题解决了吗？我也遇到了这个，没有查到是为什么

3 回答 3171 浏览 7-5 HTML解析器html_parser

2017-03-08

什么都爬不到也不报错

最新回答 / 慕粉091431384

找到原因了！在html_parser中加上new_urls.add(new_full_url)这一句话<...图片...>

3 回答 406 浏览 7-7 开始运行爬虫和爬取结果展示

2017-03-03

下载Htmlcont 为空

最新回答 / 慕移动9181930

应该是有。等我问一下慕课的工作人员。这句话的重点是“我在美国”麽。。。。

2 回答 434 浏览 8-1 课程总结

2017-03-03

网页长度长度不一样

最新回答 / 侏儒冰法

因为第二种方法伪装了header的agent，header也是作为网页内容返回的，所以长度不一样。

1 回答 462 浏览 5-3 Python爬虫urlib2实例代码演示

2017-03-02

输出乱码问题

最赞回答 / LoNice

fout = open('output.html', 'w', encoding='utf-8')fout.write("<td>%s</td>" % data['title'])fout.write("<td>%s</td>" % data['summary'])在页面开始解析的时候，使用utf-8解析，后面输出的时候就不需要的

3 回答 475 浏览 7-5 HTML解析器html_parser

2017-03-02

首页上一页 45 46 47 48 49 50 51 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫