为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分95.7
47人评价 查看评价
9.7 内容实用
9.6 简洁易懂
9.4 逻辑清晰

最新回答 / 慕娘5347480
您使用的是python2 , 尝试用python3运行
老师的方法不行,换成User-Agent,USER_AGENT都不可以,后来改成在settings里面直接设置USER_AGENT就可以了

最新回答 / weixin_慕粉7099041
😣怎么插入到sql server数据库中,mssql😇

最赞回答 / weixin_JW_5
在pycharm左下terminal输入
scrapy crawl douban_spider -o xxx.csv

然后就可以在项目的spiders文件夹下面出现了
让你们没事就自己编译O(∩_∩)O~
bindID: 0.0.0.0 重启成功

已采纳回答 / bwqyongyuan
content=i_item.xpath(".//div[@class='info']//div[@class='bd']/p[1]/text()").extract()
content_s=''
for i_content in content:
    content_s+="".join(i_content.split())
douban_item['introduce']=content_s
讲的非常好,非常详细!
我是过来看你怎么用linux的吗,求求你别秀了
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式
意见反馈 邀请有奖 帮助中心 APP下载
官方微信

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消