                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python最火爬虫框架Scrapy入门与实践

老师，如果在这个页面 https://movie.douban.com/top250中，只获取每条电影的链接，然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢？

老师，如果在这个页面 https://movie.douban.com/top250中，只获取每条电影的链接，然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢？而且页面比较多，不是250条，而是所有的，这个怎样设计比较好呢

Sky4480

2019-10-19

源自：Python最火爬虫框架Scrapy入门与实践

关注问题我要回答

840

操作

收起

1 回答

Sky4480 提问者
2019-10-23

dont_filter=True

加上这个就好了

0 回复有任何疑惑可以回复我~

收起回答

0/150

提交

取消

Python最火爬虫框架Scrapy入门与实践

参与学习 67423 人
解答问题 235 个

做为爬虫工程师Python Scrapy主流爬虫框架你必须要会！

进入课程

本课相似问答

2 回答未爬取到完整的电影链接，所有链接相同？

2 回答如果我只爬取前5页数据，那代码应该怎么写呢

1 回答请教scrapy如何实现有PKIPMI数字证书登录的https的页面内容提取？

1 回答print（response.text）时报错如图。导致打印不了正确的信息ERROR: Spider error processing <GET https://movie.douban.com/top250> (referer: None)

2 回答每页最后的条目出现重复？

搜索更多本课相关问答

老师，如果在这个页面 https://movie.douban.com/top250中，只获取每条电影的链接，然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢？

我要回答关注问题

热搜

最近搜索清空

老师，如果在这个页面 https://movie.douban.com/top250中，只获取每条电影的链接，然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢？

1 回答

本课相似问答

老师，如果在这个页面 https://movie.douban.com/top250中，只获取每条电影的链接，然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢？