为了账号安全,请及时绑定邮箱和手机立即绑定

老师问一下,response.text可以打印出top250页面。但是i_item无法打印,可能是什么原因造成的?

# -*- coding: utf-8 -*-
import scrapy
from  douban.items import DoubanItem


class DoubanSpiderSpider(scrapy.Spider):
    #这素爬虫名称
    name = "douban_spider"
    #容许的域名
    allowed_domains = ["movie.douban.com"]
    #入口url,扔到调度器里面去
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        #print(response.text)
        movie_list = response.xpath("//div[@class='article']//ol[@class='gril_view']/li/")
        # print(movie_list)
        for i_item in movie_list:
             # douban_item = DoubanItem()
             # douban_item['serial_number'] = i_item.xpath(".//div[@class='item']//em/text()").extract_first()
             print(i_item)
我用的环境是python3.7。


正在回答

4 回答

贴一下完整代码一起看看

0 回复 有任何疑惑可以回复我~

后面多了个/


0 回复 有任何疑惑可以回复我~

打印的结果中没有报错,只是没有爬取到内容,这种情况一般检查代码中的url入口,xpath的路径信息。因为任何内容都没有爬取到,所以应该是根节点的问题,看这行代码

movie_list = response.xpath("//div[@class='article']//ol[@class='gril_view']/li/")

gril_view 写错了,改一下试试能不能解决问题

0 回复 有任何疑惑可以回复我~
#1

慕沐0348027 提问者

嗯嗯,问题解决了,我换了一种方式获得值了,就是xpath的问题。
2018-08-11 回复 有任何疑惑可以回复我~
#2

WhiteXyloseTaste 回复 慕沐0348027 提问者

请问我也是这个问题,怎么解决呢
2018-11-17 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消

老师问一下,response.text可以打印出top250页面。但是i_item无法打印,可能是什么原因造成的?

我要回答 关注问题
意见反馈 帮助中心 APP下载
官方微信