Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

只有一行第二行 carw failed，求帮助

最新回答 / 慕勒9370186

你的 html_downloader里面缩进有问题吧？

2 回答 1211 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-10

爬到21 报错，程序没反应，主题乱码

最赞回答 / qq_黑色契约_0

fout.write('<meta charset="utf-8"')处理 Ie 下乱码；chrome 是正常的

1 回答 585 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-09

fout.write("<html>")

最新回答 / Jodi_7

你的文件名是不是设置了中文？？如果是把所有文件名设为英文应该没事了

1 回答 1506 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-09

如果新的url中含有中文，怎么整

最新回答 / qq_Sebtimental丶_2356

改成中文啊很简单

1 回答 794 浏览 7-5 HTML解析器html_parser

2018-07-09

有大神知道has_new_url() takes exactly 2 arguments (1 given)怎么解决吗

+ 我来回答回答最高可+2积分

2 回答 1175 浏览 7-2 调度程序

2018-07-06

TypeError: 'NoneType' object is not iterable

最新回答 / 慕勒8047635

self.parser.parse(xxxxxx)返回了None。加个判断，如果返回None，就continue

1 回答 1248 浏览 7-5 HTML解析器html_parser

2018-07-06

谁知道这是怎么回事吗

最新回答 / 慕数据227644

让你升级pip这个工具啊 python -m pip install --upgrade pip

1 回答 852 浏览 6-2 BeautifulSoup模块介绍和安装

2018-07-05

'NoneType' object is not iterable是为什么？

最新回答 / Jonas1995

可能是你while循环的时候出错了，你循环的对象不是一个可迭代的对象，仔细看一下你循环的对象吧

1 回答 8998 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-04

代码和大家的一模一样但是运行第二个就为空，而且第一个还没有内容

最新回答 / qq_Bonnenult玖氜_0

和楼主一样的问题请问解决了吗，，，，原因似乎是response =request.urlopen(url)爬取到的只有头标签的内容还不完整。。

2 回答 878 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-04

只抓取一行第二行就输出failed 跪求解决方法

最新回答 / qq_Bonnenult玖氜_0

我的也是这个问题response =request.urlopen(url)爬取到的只有头标签的内容还不完整。。

2 回答 893 浏览 7-7 开始运行爬虫和爬取结果展示

2018-07-04

7-5课里面html_parser解析器变量作用域的问题

最新回答 / 慕码人6382733

 _get_new_data （）这个函数括号里传入的参数有soup,就是soup参数传到了这个函数里

1 回答 794 浏览 7-5 HTML解析器html_parser

2018-07-01

cmd内显示Scripts不是内外部命令也不是可运行程序？

最新回答 / 慕码人6382733

不能这样打开一个模块需要在CMD里先输入pip install Scripts安装好，然后再编辑器直接import 这个模块名调用就行，

1 回答 1967 浏览 6-2 BeautifulSoup模块介绍和安装

2018-06-30

关于模块问题

最新回答 / 脚踏棺材看日出

官方模块有的，第三方的可能要自己对应的吧

2 回答 1093 浏览 5-3 Python爬虫urlib2实例代码演示

2018-06-29

有没有案例源码呢？

最新回答 / 慕码人6382733

https://github.com/oldbig-carry/python_baidu_spider/tree/master/baike_spider这是Python3 的

1 回答 1030 浏览 7-2 调度程序

2018-06-28

AttributeError: 'UrlManager' object has no attribute 'new_urls'

最新回答 / weibo_笙箫笑竹_0

自己找到错误了，__init__写成了__int__

1 回答 1463 浏览 7-3 URL管理器

2018-06-27

craw fail,爬取失败

最新回答 / 慕码人6382733

检查一边代码，多半是url或者urls没写清楚，我就是这样改过来的

1 回答 877 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2018-06-26

首页上一页 24 25 26 27 28 29 30 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫