Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

第一句输出网址，第二句craw faild,然后就没了，try语句去掉后这样报错怎么办？

+ 我来回答回答最高可+2积分

3 回答 1075 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-28

照搬的代码，输出后是这样

最赞回答 / 慕码人0182688

你是用的2.x还是3.x，我这个是3.6的，你看看<...图片...>

1 回答 1041 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-27

TypeError: argument of type 'NoneType' is not iterable

最新回答 / 风中沙

贴错误也要把对应行的代码贴出来，别人才能帮你解决问题。

1 回答 1762 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-26

'SpiderMain' object has no attribute 'craw'

+ 我来回答回答最高可+2积分

0 回答 1393 浏览

2018-07-25

使用python3后的问题警告如下

最赞回答 / scale0116

我也是用的Python3，第一次运行的时候也出现这样的warning，后来我查了一下发现在python3中，默认为UTF-8，所以要去掉报错的话只要去掉下面这句就行。

from_encoding='utf-8'

改成<...code...>你再运行一下就可以发现不报错了

3 回答 2163 浏览 6-4 BeautifulSoup实例测试

2018-07-25

title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")有什么错

最新回答 / 本本小生

修改成：title_node = soup.find('dl', class_='lemmaWgt-lemmaTitle lemmaWgt-lemmaTitle-').find('h1')
因为百度百科有些页面里没有 （'dd',class='lemmaWgt-lemmaTitle-title'）这个元素。
但是一定会有('dl', class_='lemmaWgt-lemmaTitle lemmaWgt-lemmaTitle-')。
我也是测试半天才发现这个原因的，希望能帮到你。

3 回答 1889 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-23

请问老师用的是什么软件

最新回答 / rookie2maven

eclipse+pydev插件

1 回答 803 浏览 7-2 调度程序

2018-07-23

运行完成了但为什么没有输出html啊

最新回答 / 慕先生7322288

右键项目->refresh刷新试试？

2 回答 1037 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-22

第三种方法加入最后一行完全盖住前面的输出内容，且运行结果完全出错，怎么回事啊啊？

最新回答 / estelle_joshua

我知道了我知道了！eclipse每一行的输出是有限制的，前面print数量的时候我这里几乎是11万700多，然后方法三直接就把这些东西print了，就出问题了，可以这样设置一下：windows->Preferences->Run/Debug->Console找到Limit console output 把前面的勾去掉就好了

2 回答 577 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-21

为什么运行报错无效的语法呢

最新回答 / 慕移动9181930

我能不能弱弱的问一句，这图片是咋整的？截屏？可以先看一下“搭建可靠的mongoDB集群”

3 回答 1671 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-19

python3爬取https在response =request.urlopen(url）.read()爬去到内容的只有head标签中的内容，，，，哭！！！

最新回答 / 我为锋狂

有些网页的协议是使用https加密访问的，要使用 HTTPSHandler;

1 回答 1959 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-19

pip install urlparse问题

最新回答 / 慕移动9181930

丢人丢大了！！不要啊。。加油。希望课程对你有帮助。

2 回答 9668 浏览 7-5 HTML解析器html_parser

2018-07-17

找不到写好的代码了......

+ 我来回答回答最高可+2积分

0 回答 717 浏览

2018-07-16

现在的python百度词条的URL变成这样该怎么写正则表达式？

最赞回答 / qq_E_50

links=soup.find_all('a',href=re.compile(r"/item/"))

2 回答 1154 浏览 7-5 HTML解析器html_parser

2018-07-14

升级完最新版本的pip后为啥还是安装不了？

最新回答 / 慕少9340823

直接 pip3 install bs4 可以

2 回答 2498 浏览 6-2 BeautifulSoup模块介绍和安装

2018-07-14

首页上一页 16 17 18 19 20 21 22 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫