为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分9.53
52人评价 查看评价
9.7 内容实用
9.5 简洁易懂
9.4 逻辑清晰

已采纳回答 / 暮日孤影
老师的多行处理是错的,
content = i_item.xpath(".//div[@class='info']/div[@class='bd']/p[1]//text()").extract()
这个解析出来是一个两个元素的列表,两个元素分别是&".jbr&(i_的前后两段,因此下面这段代码...

已采纳回答 / bwqyongyuan
content=i_item.xpath(".//div[@class='info']//div[@class='bd']/p[1]/text()").extract()
content_s=''
for i_content in content:
    content_s+="".join(i_content.split())
douban_item['introduce']=content_s

已采纳回答 / 浊酒劣马江湖儿女
在windows上也可以,python的可移植性贼强。当然Windows上也支持Scrapy库啦。之所以很多都强调用药linux来操作python,主要公司里的生产环境都是部署在服务器上的。而服务器的操作系统基本都是centos,redhat,乌班图之类的,所以,学python,一定要会一些linux的操作命令

讲师回答 / 大壮老师
你标注的地方没有错误,前面301跳转了,需要访问https页面,不是http页面

讲师回答 / 大壮老师
可以直接使用命令行工具,在终端内输入mongo即可

讲师回答 / 大壮老师
linux系统包管理命令yum,python包管理命令pip,直接安装即可,不需要提前下载安装包

讲师回答 / 大壮老师
需要贴出详细报错日志

已采纳回答 / Thistledown
<...code...>试着改为 extract() 而不是 extract_first()希望对你有帮助

最赞回答 / 慕容0352477
request.meta['Proxy'] = 'http-pro.abuyun.com:9010'
我是把‘proxy'改为'Proxy'后好像可以了
首页上一页123下一页尾页
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消