为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy爬虫循环页码这样对吗?

scrapy爬虫循环页码这样对吗?

尚方宝剑之说 2018-10-09 16:15:15

scrapy爬虫,要爬取1-100页的内容,用循环把网址生成,代码如下:

def start_requests(self):
    pages=[]    
    for i in range(1,100):
        newpage=scrapy.Request("http://www.yyyy.com/yyy/yyy-list.php?page=%s"%i)
        pages.append(newpage)return pages

这样对吗?


查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 1207 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信