为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分9.60
49人评价 查看评价
9.8 内容实用
9.6 简洁易懂
9.4 逻辑清晰
壮哥威武!爬虫初体验,讲得真不错。

最新回答 / abram520
直接装一个windows上虚拟机就可以,最好在 Linux下开发
把代码写了一遍,放到了github,有需要的可以找 https://github.com/kongweiteng/douban_crawler

最新回答 / Alves
是不是被反爬了,有设置代理跟agent吗?在哪个setting里面开启对应的方法没有

最新回答 / 慕勒952275
既然要学爬虫,就应该淘汰360浏览器。拥抱Chrome & Firefox

最新回答 / Simles
错误原因就是 DoubanItem 没有定义,可以参考一下我的代码:https://github.com/Simplation/DouBanFilm_Spider
挺好的看完了 谢谢

最新回答 / qq_给未来的自己_8
找到问题了,在douban_spider文件中
#allowed_domains = ['moive.douban.com']
将其注释即可

最新回答 / qq_给未来的自己_8
找到问题了,在douban_spider文件中
#allowed_domains = ['moive.douban.com']
将其注释即可
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式
意见反馈 帮助中心 APP下载
官方微信

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消