Scrapy 基础-01

Scrapy

Scrapy 是一个位了爬取网站数据，提取数据结构性数据而编写的应用框架，少量代码，就能快速爬取，使用了Twisted 异步网络框架，加快我们下载速度!

工作流程

制作 Scrapy 爬虫 一共需要4步：

　　  新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目

　　 明确目标 （编写items.py）：明确你想要抓取的目标

　　 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页

   存储内容 （pipelines.py）：设计管道存储爬取内容

　　Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

　　Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

　　Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

　　Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).

　　Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。

　　Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

　　Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

Scrapy的运作流程

代码写好，程序开始运行...

　　 1 引擎：Hi！Spider, 你要处理哪一个网站？

　　2 Spider：老大要我处理xxxx.com。

　　3 引擎：你把第一个需要处理的URL给我吧。

　　4 Spider：给你，第一个URL是xxxxxxx.com。

　　5 引擎：Hi！调度器，我这有request请求你帮我排序入队一下。

　　6 调度器：好的，正在处理你等一下。

　　7 引擎：Hi！调度器，把你处理好的request请求给我。

　　8 调度器：给你，这是我处理好的request

　　9 引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求

　　10 下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你　记录一下，我们待会儿再下载）

　　11 引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）

　　12 Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

　　13 引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。

　　14 管道调度器：好的，现在就做！

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

入门实例爬取（腾讯招聘）

准备环境：

1)创建项目

pip install scrapy

scrapy startproject myspider

2)创建仪个爬虫

scrapy genspider itcast(爬虫名字)  "itcast.cn"(限制网站的范围)

3)启动爬虫

scrapy crawl itcast

代码：

 1 ###设置item 字段### 
 2 import scrapy 
 3 
 4 class MyspiderItem(scrapy.Item): 
 5     title = scrapy.Field() 
 6     position = scrapy.Field() 
 7     time = scrapy.Field() 
 8     address = scrapy.Field() 
 9 
 10 ###设置spiders 目录下的爬虫脚本，可以设置多个##
 11 vim spiders/itcast.py
 12 # -*- coding: utf-8 -
 13 import scrapy
 14 import sys
 15 #之前设置好的items 导入进来
 16 from myspider.items import MyspiderItem
 17 
 18 class ItcastSpider(scrapy.Spider):
 19     #spider.name 可以用于判断
 20     name = 'itcast'
 21     #限制范围
 22     allowed_domains = ['tencent.com']
 23     start_urls = ['https://hr.tencent.com/position.php?lid=2218&tid=87']
 24     #parse方法不能修改，必须有
 25     def parse(self, response):
 26         tb_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
 27         for tr in tb_list:
 28              #字典对象
 29             item = MyspiderItem()
 30             item['title'] = tr.xpath("./td[1]/a/text()").extract_first()
 31             item['position'] = tr.xpath("./td[2]/text()").extract_first()
 32             item['address'] = tr.xpath("./td[4]/text()").extract_first()
 33             item['time'] = tr.xpath("./td[5]/text()").extract_first()
 34             yield item
 35         #翻页
 36         next_url = response.xpath("//a[@id='next']/@href").extract_first()
 37         print(next_url)
 38         if next_url != "javascript:;":
 39             next_url = "https://hr.tencent.com/" +next_url
 40             print(next_url)
 41             #下一页请求，scrapy封装好的request请求
 42             yield scrapy.Request(
 43                 next_url,
 44                 callback=self.parse
 45               )
 46             print("="*30)
 47 
 48 ##设置存储pipeline##
 49 vim pipelines.py
 50 # -*- coding: utf-8 -*-
 51 import json
 52 class MyspiderPipeline(object):
 53     def process_item(self,item,spider):
 54         #有判断，以后可以写多个piiline,来存储
 55         if spider.name == "itcast":
 56            with open('temp.txt','a') as f:
 57               #item 是一个对象，要转成字典！
 58               json.dump(dict(item),f,ensure_ascii=False,indent=2)
 59 
 60 
 61 ##设置setting 配置##
 62 开启pipelines,可以设置多个
 63 
 64 ITEM_PIPELINES = {
 65     'myspider.pipelines.MyspiderPipeline': 300,
 66     'myspider.pipelines.XXXXPipeline': 300,
 67 }
 68 #不显示日志
 69 LOG_LEVEL = "WARNING"
 70 
 71 ##浏览器头
 72 USER_AGENT = 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
 
 
原文链接：https://www.cnblogs.com/sunjingjingking/p/10171135.html 
原文作者：码农出来卖卖菜