Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

安装beautifulsoup出错

最新回答 / toneewang

http://www.360doc.com/content/16/1114/13/3852985_606449918.shtml 供参考python默认是ascii，由于中文的问题，我们需要把python的默认编码修改一下

5 回答 746 浏览 6-1 Python爬虫网页解析器简介

2017-02-28

无法执行，且控制台提示出错

最新回答 / 雨淋淋大王

正如老师所说 python的网址已经变了，不再是http://baike.baidu.com/view/21087需要更改入口网址还有修改下相关页面的遍历策略

2 回答 502 浏览 7-2 调度程序

2017-02-28

TypeError: add_new_urls() takes exactly 1 argument (2 given)

最新回答 / 慕粉1837489978

你的urlmanage中add_new_urls方法参数没写urls，少写一个

1 回答 495 浏览 7-3 URL管理器

2017-02-27

在cmd下不能安装bs4模块

最新回答 / 看雪_0001

你没有把pip添加到path里面吧，看一下你的环境变量

1 回答 853 浏览 6-2 BeautifulSoup模块介绍和安装

2017-02-27

就输出了一个craw failed

最新回答 / 慕标5133813

我也是= = = =

4 回答 315 浏览 7-6 HTML输出器

2017-02-27

加了utf-8还是乱码

最赞回答 / 古柳古柳

浏览器里打开时右键“编码”，选择Unicode（UTF-8）试试

3 回答 607 浏览 7-7 开始运行爬虫和爬取结果展示

2017-02-25

也能爬取出来，但是output.html打开是空白。。。

最新回答 / Bobzhangxiaotao

重点是这个：for data in self.datas: fout.write("<tr>") fout.write("<td>") fout.write(data['url']) fout.write("</td>") fout.write("<td>") fout.write(data['title']) fout.write("</td>") fout.write("<td>")...

2 回答 778 浏览 7-7 开始运行爬虫和爬取结果展示

2017-02-24

bs4的问题肯定是

+ 我来回答回答最高可+2积分

2 回答 402 浏览 7-5 HTML解析器html_parser

2017-02-22

运行最后面出现这个，哪里错了？

最新回答 / 六边形怪瓜

从报错来看，你的data存成了set，dict与set的初始化都是{}，用法上体现出区别，检查下你的data在存入数据的时候是否是键值对的形式存储

1 回答 524 浏览

2017-02-22

关于python2.5和2.7版本add_data问题、

最新回答 / 进击的爬虫

我也是这个问题，你解决了嘛

2 回答 1582 浏览 7-2 调度程序

2017-02-22

运行没反应

+ 我来回答回答最高可+2积分

4 回答 693 浏览 7-2 调度程序

2017-02-21

安装bs4一直报错菜鸟求大神教导

最新回答 / king9901

一样的情况，用管理员权限打开cmd，在输入指令就OK了

2 回答 999 浏览 6-2 BeautifulSoup模块介绍和安装

2017-02-21

pycharm 怎么用快捷键创建spiderMain中的craw方法

最新回答 / 爱看书的扫地僧

啊呀，把快捷键从eclipse改回默认用alt+回车就行，刚发现

1 回答 2797 浏览 7-2 调度程序

2017-02-20

关于抓取结果的问题

最新回答 / perilwhistle

但问题是在网页上都几乎找不到爬到的数据，如果查看源代码的话倒是能找到爬到的url，但是这个url在网页中打开的不是网页上关键字对应的页面，而是另一个页面，比如说原网页上有个带超链接的关键字“计算机程序设计语言”，它在源代码中对应了一个url，爬取下来了这个url，在浏览器上打开后是关于api的百科页面，这是怎么回事呢？

2 回答 310 浏览

2017-02-19

求问运行失败原因？

最新回答 / Uinao

你好，老师用的是3.4？？？？

1 回答 2065 浏览

2017-02-17

首页上一页 46 47 48 49 50 51 52 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫