Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

运行python的爬虫时，报错：'NoneType' object has no attribute 'get_text'

已采纳回答 / NinjaPanda

<...code...>因为没有找到标题或者简介,所以不能获取内容

5 回答 36835 浏览 7-7 开始运行爬虫和爬取结果展示

2016-10-18

ctrl+1没反应

已采纳回答 / 慕粉3755788

将pycharm设置为Eclipse快捷键

1 回答 1405 浏览 7-2 调度程序

2016-10-17

re为定义

已采纳回答 / 慕妹3887762

import re即可

1 回答 441 浏览 6-4 BeautifulSoup实例测试

2016-10-14

我想知道那些词条是以什么方式搜索出来的？

已采纳回答 / 墨尔卡娜

当第一个页面被分析之后，会获取到该页面上的其他词条的跳转url，也就是/view/*****.html,然后这些url会被拼装成完整的url加入到set中，程序循环一次之后检查set是否为空，如果不为空就会拿一个新的url去爬取，新的页面也会有些引用的词条的，然后就源源不断的有新的词条地址添加到set中去了，代码就是分析模块中使用正则表达式的那部分

1 回答 705 浏览 1-1 Python开发简单爬虫课程介绍

2016-10-05

运行时直接报错

已采纳回答 / Duiknow

代码没有报错是因为你有自定义报错的try except 应该是哪里你出现了拼写错误或者判断条件写错了运行跟踪调试下就可以了代码刚刚测试过没有问题

1 回答 570 浏览 7-7 开始运行爬虫和爬取结果展示

2016-10-04

终于好了，但是最后浏览器输入有问题啊

讲师回答 / 蚂蚁帅帅

<...图片...>如果是chrome浏览器的话，这样子设置一下编码。如果是其他浏览器的话，在菜单找一下。设置一下编码就好了。

2 回答 478 浏览

2016-10-02

代码是按照视频中来的，但是运行还是报错。。。。。。。

讲师回答 / 蚂蚁帅帅

看起来确实是，你的__init___中，后面多了个下划线

2 回答 1288 浏览 7-7 开始运行爬虫和爬取结果展示

2016-09-30

调度主程序的时候,只输出一行,然后就 "crawl failed" 是怎么回事,代码如下.

已采纳回答 / 黑历史不删除后果很严重

建议你一步一步，逐个函数调试，光看源代码比较难找出错误所在，可以在每个方法打印是否成功运行，找到出错的方法后再找出错的变量。这样一定可以调试出来的，加油！

7 回答 2323 浏览 7-2 调度程序

2016-09-27

不能运行程序报错

讲师回答 / 蚂蚁帅帅

看看是不是拼写错了

2 回答 632 浏览 7-4 HTML下载器html_downloader

2016-09-27

已经解决win7 python3.6 遇到乱码的情况同明磊只需要在fout = open('output.html', 'w', encoding = 'utf-8') fout.write("<td>%s</td>" % data['title']) fout.write("<td>%s</td>" % data['summary'])这里面不能加.encode('utf-8')，加了会乱码fout.write("<head><meta ...

7 回答 1752 浏览 7-6 HTML输出器

2016-09-26

html输出乱码，全是下面这样的

已采纳回答 / Dreaman

已经解决啦我在html_downloader下的read()后加了response.read().decode('utf8',errors='replace')把html_outputer里面的encode()去掉就好了

4 回答 3235 浏览 7-2 调度程序

2016-09-21

No module named bs4 说我没有装bs4.

已采纳回答 / 慕粉18001275658

<...图片...>应该这样安装才行

3 回答 28281 浏览 6-4 BeautifulSoup实例测试

2016-09-14

有小伙伴有分享一下老师的完整代码吗？我的现在出了点问题，想跟老师的对比一下

已采纳回答 / UFO2015

https://github.com/xgqfrms/Python/tree/master/spider/wiki_baike

1 回答 433 浏览 8-1 课程总结

2016-09-13

爬虫程序无法运行can't find _main_ module in this folder

已采纳回答 / sin丶

下载代码后发现问题还是挺多的，除了那个outputer，在html_parser下data写成date，title也打错了,参数page_url也没设置。html_outputer里，方法output_html没有写进去标题。慢慢改吧。

2 回答 938 浏览 8-1 课程总结

2016-09-13

ctr+1(Pycharm编辑器)create class如何调出

已采纳回答 / vsyour

alt+回车

3 回答 2462 浏览 7-2 调度程序

2016-09-06

首页上一页 8 9 10 11 12 13 14 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫