Python最火爬虫框架Scrapy入门与实践_技术问答

首页免费课 Python最火爬虫框架Scrapy入门与实践问答

Python最火爬虫框架Scrapy入门与实践

                
                大壮老师
            Python工程师

                    查看讲师更多课程 
                    大壮老师讲师的其他课程
                
网络安全高薪人才培养计划-8大网络攻防场景实战
实战·中级·110

                                                                                                                                    ￥499.00
                                            
0基础开发简单爬虫
慕课微课·入门·3188

                                                                                                                                    ￥88.00
                                            
Python爬虫实战数据可视化分析
慕课微课·初级·4276

                                                                                                                                    ￥69.00
                                            
                难度初级
            
                时长 1小时31分
            
                学习人数
            
综合评分9.53
                            55人评价
                        查看评价
                                9.7
                                内容实用
                            
                                9.4
                                简洁易懂
                            
                                9.5
                                逻辑清晰

全部评论问答未解决精华

AttributeError: 'DoubanPipeline' object has no attribute 'post'

最赞回答 / SeaRhyme

有可能是数据库初始化函数里面的内容没有运行到，__init__(self)这个名字init左右都是双下划线，pycharm写对了会变色的

10 回答 2369 浏览 2-8 保存数据

2018-09-11

intrude解析错误

讲师回答 / 大壮老师

请贴出详细Log

1 回答 1191 浏览 2-8 保存数据

2018-09-02

分页，回调没成功

已采纳回答 / qq_蔚蓝色的天空_3

这个是scrapy中回调时被过滤了解决方法在 allowed_domains 中加入 url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True修改这一行代码如下，我个人采取第二种方式dont_filter=Ture：

yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse, dont_filter=True)

1 回答 1221 浏览 2-7 spider文件的编写（2）

2018-08-31

我想问一下，老师是不是在centos服务器上搞得项目，为何会有pycharm在本地修改代码呢？原谅我见识少

讲师回答 / 大壮老师

楼上正解

5 回答 1464 浏览 2-4 新建scrapy项目

2018-08-30

Ubuntu关闭了防火墙，ip端口都设置了，还是连接不上MongoDB

讲师回答 / 大壮老师

是虚拟机吗，还是公网上的服务器？

2 回答 2845 浏览 2-4 新建scrapy项目

2018-08-30

执行douban_spider出现问题

已采纳回答 / qq_MakiseKurisu_0432

你用virtualenv的时候，运行文件时，是否workon切换到正确的解释器了

1 回答 3107 浏览 2-1 scrapy的安装、和安装中遇到的问题

2018-08-29

scrapy crawl douban_spider 出错

讲师回答 / 大壮老师

settings里设置
ROBOTSTXT_OBEY = False

4 回答 2544 浏览 2-6 spider文件的编写（1）

2018-08-26

No module named 'win32api'

已采纳回答 / 一叹千年4267468

pip install pypiwin32装一下这个模块再运行就好了

2 回答 2212 浏览 2-4 新建scrapy项目

2018-08-20

简介”introduce”在不用循环语句时信息全，但写了循环语句，只有第二行信息

已采纳回答 / Accidie漠然

只显示“1994 / 美国 / 犯罪剧情”是因为在for循环里，douban_item['introduce']的值被覆盖了，如果想全部爬取的话，可以声明douban_item['introduce']为一个数组，把i_content循环append到数组里就可以了

4 回答 1430 浏览 2-7 spider文件的编写（2）

2018-08-19

老师，你的阿布云代理用不了吗

最赞回答 / 慕田峪6327257

第五行写错了，应该是encode_pass_code = base64.b64encode(proxy_name_pass)

10 回答 2313 浏览 2-9 ip代理中间件编写

2018-08-13

循环抓取后页的问题

讲师回答 / 大壮老师

贴上你的代码

1 回答 1688 浏览

2018-08-13

老师问一下，response.text可以打印出top250页面。但是i_item无法打印，可能是什么原因造成的？

已采纳回答 / qq_客欲远行_0

贴一下完整代码一起看看

4 回答 1595 浏览 2-7 spider文件的编写（2）

2018-08-10

mongodb安装问题

讲师回答 / 大壮老师

yum报错贴出来

3 回答 654 浏览 2-3 mongodb数据库的安装

2018-08-06

python正则表达式匹配一字符串不匹配另一字符串，我要匹配http://example.webscraping.com/places/default/view/Antigua-and-Barbuda-10 不匹配http://example.webscraping.com/places/default/user/login?_next=/places/default/view/Antigua-and-Barbuda-10

讲师回答 / 大壮老师

^((?!login).)*$

1 回答 1081 浏览 2-7 spider文件的编写（2）

2018-08-04

有的xpath里面可以获得数据没有问题但是scrapy里面将xpath语句复制过来得到的[]

讲师回答 / 大壮老师

很多网站，浏览器里解析出来的结果和scrapy解析的结果是不同的。使用scrapy Request网页后，可以将网页保存到本地，查看一下

1 回答 996 浏览

2018-08-03

开始学习

课程须知: 1、具有一定的Python基础 2、具有一定的linux系统管理基础，编译安装软件，yum包管理工具等 3、具有一定的Mongdb数据库管理基础，增删改查

老师告诉你能学到什么？: 1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码，参与3人拼团

热搜

最近搜索清空

Python最火爬虫框架Scrapy入门与实践