Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

只能输出一个链接，去掉try....except后显示如下，该怎么调试

最新回答 / 努力学习的泽羽

检查一下def parse的缩进对不对，还有对应的方法名是不是正确的（我也是这样，现在已经可以了）

2 回答 1009 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-12

AttributeError: 'SpiderMian' object has no attribute 'urls'

最赞回答 / 宝慕林5424413

<...图片...> 是init

1 回答 1011 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-11

为什么下载器里面url为None return 后面None，URL管理器里面return后面什么也没有？

+ 我来回答回答最高可+2积分

2 回答 913 浏览 7-4 HTML下载器html_downloader

2018-08-10

if response.getcode() != 200

最新回答 / 慕妹9374715

200 OK 正常返回信息详情请查询 Http状态码大全

1 回答 2402 浏览 7-4 HTML下载器html_downloader

2018-08-09

很多自带变量未定义

最新回答 / 慕雪6363006

请问电脑上python 的版本是多少？我也是初学，是不是版本的问题？

1 回答 627 浏览 1-1 Python开发简单爬虫课程介绍

2018-08-09

add_new_urls ctrl+1 不能at到url_manager里

最新回答 / 耿直不好么

urls 你后面用了逗号，应该用.self.urls.

1 回答 720 浏览 7-2 调度程序

2018-08-09

控制台什么都没有输出

最新回答 / pickleRick

这位同学先发截图吧....

1 回答 757 浏览 7-6 HTML输出器

2018-08-07

第三种方法报错

最赞回答 / 滑滑鸡

代码import部分加入import cookielib即可解决本人使用Python2出现的问题，仅供参考，适人而异。

2 回答 1015 浏览 5-3 Python爬虫urlib2实例代码演示

2018-08-06

第二个输出就不正确了

最新回答 / 滑滑鸡

别着急，喝口水，慢慢说，把问题说清楚。

1 回答 582 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-05

我也遇到了这个问题，我已经解决了。系统为Win7, Pycharm Community Edition5.0.1。先把第一行的from baike_spider去掉，然后光标放到UrlManager再Alt+Enter键出来选择下拉列表，选择第一个，创建了class UrlManager()。之后可以看到url管理器的几个方法都已经高亮显示了。把光标add_new_url（）按Alt+Enter键可以创建该方法。

1 回答 899 浏览 7-2 调度程序

2018-08-05

obj_spider = SpiderMain() 这句话什么作用？

最新回答 / 滑滑鸡

将SpiderMain的函数返回存储在obj_spider中

1 回答 1160 浏览 3-1 Python简单爬虫架构

2018-08-05

如果链接是用脚本写的，该如何爬取这个链接？

最新回答 / 在学Python

那个网页是ajax加载的

1 回答 643 浏览 8-1 课程总结

2018-08-04

python正则表达式匹配一字符串不匹配另一字符串，我要匹配http://example.webscraping.com/places/default/view/Antigua-and-Barbuda-10 不匹配http://example.webscraping.com/places/default/user/login?_next=/places/default/view/Antigua-and-Barbuda-10

最新回答 / 可怜的可爱的小晕晕

^http://example.webscraping.com/places/default/view

2 回答 844 浏览 7-7 开始运行爬虫和爬取结果展示

2018-08-04

无任何结果

最新回答 / qq_passerby_13

from bs4 import BeautifulSoupimport reimport urlparseclass HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls=set() links=soup.find_all('a',href=re.compile(r"/view/\d+\.html")) for link in links: ne...

2 回答 1108 浏览 5-3 Python爬虫urlib2实例代码演示

2018-07-31

post请求实例

+ 我来回答回答最高可+2积分

0 回答 827 浏览

2018-07-31

首页上一页 15 16 17 18 19 20 21 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫