Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

我用的PyCharm跑的，一直出问题，解释器选的Python27的

已采纳回答 / 郑小墨

看看你的python27/Lib目录下的urllib2.py里面有没有urlopen 我的python版本是2.7.13，正常

2 回答 2055 浏览 5-3 Python爬虫urlib2实例代码演示

2017-06-02

求教大神啊！

已采纳回答 / 来离

你试试改成 <...code...>

3 回答 1218 浏览 5-3 Python爬虫urlib2实例代码演示

2017-06-02

我想知道答案

已采纳回答 / 慕UI6075258

不应该，这些应该只是简单的功能很有可能还有其他的功能，只是没在这里显示出来而已。感兴趣的话，可以网上搜一下。

1 回答 697 浏览 4-1 Python爬虫URL管理

2017-05-31

url 乱码怎么搞？？？

已采纳回答 / 请叫我百度

在代码的最顶上加入# coding:utf-8

2 回答 1036 浏览 7-2 调度程序

2017-05-16

spider_main.py中的from baike_spider import url_manager问题

已采纳回答 / 请叫我百度

第一：baike_spider是你创建的包，你所说的url_manager肯定是放在包中的代码，是可以import进去了。第二：只爬取一个网址就结束应该是html_parser中的代码有问题，比如课程中的匹配策略与现在的百度Python词条不匹配，需要改成href = re.compile(r"/item/.*") 再或者find_all 不要丢了下划线，我就没注意到下划线，所以只输出了1条记录就craw faild了。

2 回答 1654 浏览 8-1 课程总结

2017-05-15

请问，为什么会报错

已采纳回答 / Toby_0002

参数没有初始化成功？

1 回答 549 浏览 7-5 HTML解析器html_parser

2017-05-05

爬虫运行出出现的错误

已采纳回答 / SiCheng_Sheen

我之前也遇到过这种情况，纠结了很久，最后才发现一个非常重要的问题，百度的词条信息发生了变化，你可以仔细看看，现在不再是以 .htm结尾了，之前在html_parser模块中的正则表达式已经失效了，原来是href=re.compile(r"/view/\d+\.htm")，现在应该改为href=re.compile(r'/item/\w+')。这也再次证明了在采集数据前，一定要对目标进行仔细认真的分析！

4 回答 1080 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-05

求助 pip install beautifulsoup4失败

已采纳回答 / 蛋蛋_JL

beautifulsoup4移入到bs4里面去了。。

6 回答 11178 浏览 6-2 BeautifulSoup模块介绍和安装

2017-04-13

使用pycharm时输出结果在浏览器上访问时现实乱码

最赞回答 / qq_我年轻_0

我也遇到了这个问题，很好解决。你们可以看一下任何一个网站的源码例如本网站<...code...>他会有这一句句话 <meta charset="utf-8">这就是 html 编码的约束。所以在 html_outputer.py 的这句话<...code...>前面添加<...code...>output_html() 方法应为：<...code...>

7 回答 4927 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-12

有python3.5的爬虫代码吗

已采纳回答 / qq_Oak_0

http://blog.csdn.net/stopcpp/article/details/69946607

5 回答 1273 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-09

为什么outputer里面collect_data方法的self.datas.append（data）不能写入数据，print为空

已采纳回答 / ciphermagic

是因为你的data是None，所以返回了吧。检查下html_parser的_get_new_data方法，看看查找的节点数据是否有误

1 回答 1457 浏览 7-6 HTML输出器

2017-04-05

这段代码哪里错了，为什么运行不了提示出错？

已采纳回答 / 逍遥游_xj

TypeError: __init__() got an unexpected keyword argument 'from_encoding'构造函数参数错误我猜你用的BeautifulSoup是BeautifulSoup3版本，3版本这个位置参数是：fromEncoding，你换这个参数名试一试

5 回答 2276 浏览 6-4 BeautifulSoup实例测试

2017-04-04

应该先看python进阶，还是继续跟着视频敲代码

已采纳回答 / 慕粉1414027800

敲代码好些

3 回答 1319 浏览 7-2 调度程序

2017-04-03

非常感谢老师 , 第一次接触python 已经会下载图片啦 , 分享出来大家共同学习

已采纳回答 / 陈新宇

看了网页内容更加坚定了我学爬虫的信念

2 回答 1318 浏览 7-7 开始运行爬虫和爬取结果展示

2017-03-26

第二条链接中开始含有中文例如这样 http://baike.baidu.com/item/史记·2016?fr=navbar 就跑不动了

已采纳回答 / qq_黑色契约_0

网址哪有中文不要转义网址好伐；summary要转中文

4 回答 879 浏览 7-7 开始运行爬虫和爬取结果展示

2017-03-25

首页上一页 4 5 6 7 8 9 10 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫