为了账号安全，请及时绑定邮箱和手机立即绑定
首页 免费课 Python最火爬虫框架Scrapy入门与实践 问答

Python最火爬虫框架Scrapy入门与实践

大壮老师 Python工程师
查看讲师更多课程 大壮老师讲师的其他课程
难度初级
时长 1小时31分
学习人数
综合评分9.53
55人评价 查看评价
9.7 内容实用
9.4 简洁易懂
9.5 逻辑清晰
全部 评论 问答 未解决 精华

上边那个黑色的框是什么工具呢，怎么打开

最新回答 / 慕斯0012346
谷歌浏览器插件：XPath Helper
1 回答 623 浏览 2-7 spider文件的编写（2）
2020-02-20

老师，求助啊啊啊啊，怎么都出不来爬取内容啊啊啊啊，要哭了

+ 我来回答 回答最高可+2积分
0 回答 504 浏览
2020-02-15

编码问题，现在是unicode，没法用xpath

最新回答 / 慕侠5336557
已解决，使用lxml的etree配合转码可以解决。目前转码后发现，爬去的返回信息是JS和data，网页是动态生成的，这个怎么爬取呢目标网页：https://b2b.baidu.com/cc?q=%E4%BC%BA%E6%9C%8D%E9%A9%B1%E5%8A%A8%E5%99%A8&from=b2b_factory&srcid=5359&from_ver=v2&from_elem=title
1 回答 848 浏览 2-7 spider文件的编写（2）
2020-02-03

请问这个找到user agent的这个白色窗口是

最新回答 / 宝慕林2091161
开发者模式(浏览器中F12激活)，可以在浏览器中调试浏览器端代码用的。在开发者模式中选择network标签页，然后在其下两个子窗左边的列表中随便选择一个下载项，在右边的子窗中就可以观察到包括user agent在类的报文信息。 
3 回答 560 浏览 2-6 spider文件的编写（1）
2020-02-03

新建scrapy项目

最新回答 / weibo_慕仙830307
我的也没有，我直接再pycharm里面的终端 Terminal 输入的命令 这个py文件直接就出来了
1 回答 552 浏览 2-4 新建scrapy项目
2020-01-31

scrapy爬虫问题

最新回答 / qq_飞鸟_35
刷新一下不就行了吗？
1 回答 587 浏览 2-4 新建scrapy项目
2020-01-31

Unknown command: crawl 不知道为这个错误，我用 scrapy 查看命令，命令是存在的？求解

最新回答 / Superman007
https://blog.csdn.net/yuhezheg/article/details/104404887运行的目录不对
1 回答 3401 浏览 2-7 spider文件的编写（2）
2020-01-26

执行 scrapy crawl WaBei_spider 时报错 UnicodeEncodeError: 'gbk' codec can't encode character '\xee' in position 22355: illegal multibyte sequence

最新回答 / 宝慕林2091161
man.py 第一行加上一下一行代码试试：# -*- coding:utf-8 -*-
1 回答 573 浏览 2-6 spider文件的编写（1）
2020-01-25

报错 'spider_exceptions/UnicodeEncodeError': 1,

+ 我来回答 回答最高可+2积分
0 回答 319 浏览 2-6 spider文件的编写（1）
2020-01-25

scrapy crawl douban_spider后，找不到指定程序

+ 我来回答 回答最高可+2积分
0 回答 1149 浏览 2-6 spider文件的编写（1）
2019-12-31

请教scrapy如何实现有PKIPMI数字证书登录的https的页面内容提取？

+ 我来回答 回答最高可+2积分
1 回答 654 浏览 2-7 spider文件的编写（2）
2019-12-31

中文乱码问题

最新回答 / 慕盖茨9247136
pycharm软件的setting里边设置文件编码
2 回答 494 浏览 2-11 最后的注意事项
2019-12-24

爬虫三个问题，欢迎同学来解答

最新回答 / Namodjj
没有代码，也没有报错信息没法看
1 回答 859 浏览 2-8 保存数据
2019-12-23

mac只有python2.7 怎么安装？？

最新回答 / 冷点点
mac默认自带python2.7
1 回答 651 浏览 2-1 scrapy的安装、和安装中遇到的问题
2019-12-22

start_url里输入本地文件为什么一直提示文件不存在呢？

+ 我来回答 回答最高可+2积分
0 回答 334 浏览 2-7 spider文件的编写（2）
2019-12-19
首页上一页1234567下一页尾页
开始学习
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础，编译安装软件，yum包管理工具等 3、具有一定的Mongdb数据库管理基础，增删改查
老师告诉你能学到什么？
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码，参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示：

您好，此课程属于迁移课程，您已购买该课程，无需重复购买，感谢您对慕课网的支持！

查看已购买的课程

本次提问将花费2个积分

你的积分不足，无法发表

为什么扣积分？
确认 取消

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分？
确认 取消

举报

0/150
提交
取消