为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

最赞回答 / 隐匿的月亮城
能利用爬虫技术做到哪些很酷很有趣很有用的事情? - 知乎https://www.zhihu.com/question/27621722

最新回答 / 乔帮主
最好是在边看的时候,边敲下代码,这样最好

最赞回答 / 慕哥8361740
 fout = open('output.html','w',encoding='utf-8')        fout.write("<html>")        fout.write("<head><meta charset=\"utf-8\"></head>")        fout.write("<body>")        fout.write("<table>")        for data in self.da...

最新回答 / 乔帮主
我需要去连接http协议啊,这个是http里面的规定

最新回答 / biny
爬虫的定义比较宽泛,比如我的站点www.kzwr.com 就是一种特定采集方向的爬虫,手动录入特定的站点,爬虫抓取程序不定期抓取新文章,而谷歌百度这种分布式的增量爬虫,可想而知其爬虫系统相当复杂,其中类似的技术有爬取策略,如广度优先、最佳优先;url排重系统,抓取队列调度,数据存储的等诸多的问题

最新回答 / Roc_J
import urllib.request'''Created on 2016年2月23日@author: Roc-J'''url = "http://www.baidu.com"print('第一种方法')response =urllib.request.urlopen(url)print(response.getcode())

已采纳回答 / 蚂蚁帅帅
浏览器的默认编码是GBK;两种方法:方法1、在<html>和<body>之间,加上<head><meta charset="utf-8"></head>方法2:、打开网页后,如果是chrome浏览器,点菜单》更多工具》编码,选择UTF8,其他浏览器类似。

最新回答 / love181920
链接:http://pan.baidu.com/s/1o7megDO 密码:2dx7这是我写的代码,本地运行通过,效果如下:<...图片...>

已采纳回答 / 蚂蚁帅帅
正常情况下html.parser默认是具备的,出现这种错误,可以检查一下bs的版本和python的版本,是不是适配。在http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser这个链接可以看到,Python’s html.parser Not very lenient (before Python 2.7.3 or 3.2.2)请检查下Python的版本吧    
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消