Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

第三种方法打印网页的时候是乱码怎么办

最新回答 / 天真的德鲁伊

# -*- coding: cp936 -*-

3 回答 3743 浏览 5-3 Python爬虫urlib2实例代码演示

2016-09-29

如果抓取整个网络的网页，岂不是要分析每一个网站的格式？

已采纳回答 / 蚂蚁帅帅

像百度、谷歌这样的搜索引擎，只需要爬去整个网页就可以了。如课程前面提到的，本节课的爬虫是垂直类爬虫，只会爬去特定的网站。所以，没错，是需要每个网站都要分析对应的格式的。

2 回答 719 浏览 7-1 Python爬虫实例-分析目标

2016-09-29

htmlparser报错，请问哪里不对

最赞回答 / IT男的成长记录

soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8') 改成小写试试

1 回答 1854 浏览 6-4 BeautifulSoup实例测试

2016-09-27

调度主程序的时候,只输出一行,然后就 "crawl failed" 是怎么回事,代码如下.

已采纳回答 / 黑历史不删除后果很严重

建议你一步一步，逐个函数调试，光看源代码比较难找出错误所在，可以在每个方法打印是否成功运行，找到出错的方法后再找出错的变量。这样一定可以调试出来的，加油！

7 回答 2335 浏览 7-2 调度程序

2016-09-27

没怎么用过Python,调度主程序的时候,报错如下,求解.

最赞回答 / Enterer

self.old_url 写成了 self.old.urls -_-

1 回答 800 浏览 7-2 调度程序

2016-09-27

不能运行程序报错

讲师回答 / 蚂蚁帅帅

看看是不是拼写错了

2 回答 636 浏览 7-4 HTML下载器html_downloader

2016-09-27

乱码问题，貌似是二进制格式

最新回答 / 红烧牛奶

open文件的时候选择wb，即 open(flieName, 'wb')

1 回答 459 浏览 8-1 课程总结

2016-09-26

已经解决win7 python3.6 遇到乱码的情况同明磊只需要在fout = open('output.html', 'w', encoding = 'utf-8') fout.write("<td>%s</td>" % data['title']) fout.write("<td>%s</td>" % data['summary'])这里面不能加.encode('utf-8')，加了会乱码fout.write("<head><meta ...

7 回答 1761 浏览 7-6 HTML输出器

2016-09-26

为什么老提示我 urljoin 报错啊

最赞回答 / a123456198408

python3的话，from urllib.parse import urljoin

2 回答 1345 浏览 7-7 开始运行爬虫和爬取结果展示

2016-09-26

没有语句输出，只有一条craw failed怎么回事呐。。。

最新回答 / Irene蓝小云

所以楼主解决了这个问题了吗？

4 回答 1498 浏览 7-7 开始运行爬虫和爬取结果展示

2016-09-25

输出一条就失败

最新回答 / HelloComeon

空类型对象没有get_text 属性，

1 回答 507 浏览 7-7 开始运行爬虫和爬取结果展示

2016-09-25

为什么只有内容输出乱码了，标题却没有乱码

最新回答 / 慕粉3182733

fout.write("<td>%s</td>" % data['title'].encode('utf-8'))fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))看看哪儿是不是写错了

2 回答 468 浏览 7-7 开始运行爬虫和爬取结果展示

2016-09-24

请问我的错哪了

+ 我来回答回答最高可+2积分

3 回答 306 浏览 6-4 BeautifulSoup实例测试

2016-09-24

正则表达式对不同网址的写法

最新回答 / Ragnaros

http://baike.so.com/doc/1790119-1892991.html同样是分两部分 http://baike.so.com/doc/和1790119-1892991.html直接匹配后面的就可以 r'\d{7}-\d{7}\.html'

1 回答 326 浏览 6-3 BeautifulSoup的语法

2016-09-22

html输出乱码，全是下面这样的

已采纳回答 / Dreaman

已经解决啦我在html_downloader下的read()后加了response.read().decode('utf8',errors='replace')把html_outputer里面的encode()去掉就好了

4 回答 3259 浏览 7-2 调度程序

2016-09-21

首页上一页 65 66 67 68 69 70 71 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫