为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分95.7
47人评价 查看评价
9.7 内容实用
9.6 简洁易懂
9.4 逻辑清晰
卡在这了,mysql不知道怎么做,看来还要回去装mongo

最新回答 / Purplefly
...你是怎么插入数据的,我总会有这个错误AttributeError: 'DoubanPipeline' object has no attribute 'post'
老师讲的非常棒

最赞回答 / qq_执著_2
可以了 
yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse)
 多了 括号
完全没有任何逻辑 Field是什么东西都不说一下,直接开写,这个是给懂了scrapy的人讲的吧??

讲师回答 / 大壮老师
第二章贴的log不全,你把所有的log贴出来
有木有讨论的群啊

最赞回答 / 灰灰grey
将async随便换一个字段,例如:shark就可以了

讲师回答 / 大壮老师
list_1后面不要写extract_first() ,extract_first()和extract()[1]结果相同,是取列表的第一个元素。list_1后直接写XPATH即可,不需要获取其中元素,在下面的for循环里获取元素。
老师用的vim插件吧

已采纳回答 / 大壮老师
设置pycharm远程同步linux环境

最赞回答 / qq_Zero_0102
自问自答一波,自己SB了导入base64模块即可

已采纳回答 / _reny
W按键盘上Q的右边E的左边,用处是打字[奸笑.jpg],  这个自己看文件操作吧,extract 就更简单了,看字面意思就行  first是第一条
老师讲解的还是比较完整,感谢~
按照视频将代码敲了一遍,将mongodb换成了sqlite3,算是入了个小门。不过windows上配置scrapy过程真的恶心。。。
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式
意见反馈 邀请有奖 帮助中心 APP下载
官方微信

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消