为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分95.7
47人评价 查看评价
9.7 内容实用
9.6 简洁易懂
9.4 逻辑清晰
纠正一下老师129行设置的UserAgent,用横线不是用下划线。

request.headers['User-Agent']

因为没有ip代理,就把ip代理到fiddler上,看了一下提交的数据发现的。
Chrome浏览器安装XPath Helper,开启后可以通过Shift选取元素快速生成语句。

//是指在所有位置中选择
/是指在某元素下选择
text()函数是获取文本
感谢老师无私的贡献,让我认识scrapy以及如何使用。
http-cla.abuyun.com
:9030https://center.abuyun.com/#/cloud/http-proxy/tunnel/lists
https://segmentfault.com/a/1190000012552562
hhbdeMac-mini:~ xuetianhhb$ sudo yum -y install mongodb-org
sudo: yum: command not found
xuetianhhbdeMac-mini:~ xuetianhhb$
找不到这个安装命令
15589822775@163.com老师求代码

最新回答 / qq_柠檬树_dfEQSX
需要依赖包,先去网上下载Twisted,然后安装好了再pip install Scrapy就行了,详细步骤https://www.cnblogs.com/zhuangzi101/p/9318578.html
嘿嘿,感谢大壮老师的视频,让我们快速入门少走了很多弯路(爱你)
66666666这老师,挺多干活的。这爬虫,不过scrapy版本有点老
能提供代码吗?

最赞回答 / 大壮老师
可以注释的,但需要在中间件里设置其他ua
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式
意见反馈 邀请有奖 帮助中心 APP下载
官方微信

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消