使用Scrapyd部署爬虫

为什么要用Scrapyd？
Scrapyd是scrapinghub官方提供的爬虫管理、部署、监控的方案之一，另一个是Scrapy Cloud。
官方对它的定义是
Scrapy Doc

Scrapyd is an application for deploying and running Scrapy spiders. It enables you to deploy (upload) your projects and control their spiders using a JSON API.

Scrapyd是一个部署和运行Scrapy爬虫的应用程序。它使你能够通说JSON API部署（上传）工程，并且控制工程中的爬虫。

如果你像我一样受够了笨笨地手动启动爬虫，洋气点儿叫manully (-__-)b

scrapy crawl SPIDER_NAME

并且对多个爬虫的多进程运行、负载均衡等伤透了脑筋，那么Scrapyd是你的救星，快跟我一起使用吧！
最后，等项目完善了，我们把它部署到Scrapy Cloud上去，然后沏杯茶静静地看着爬虫爬呀爬......o()o

首先解决依赖

Python 2.6 or above
Twisted 8.0 or above
Scrapy 0.17 or above

然后安装，这里我推荐使用pip。虽然我的部署环境是Ubuntu。但是我习惯使用pip安装并管理Python依赖，而不是apt-get。当然你也可以全部使用apt-get。最忌讳的是pip和apt-get混用，管理起来你一定会奔溃的，相信我。

pip install scrapyd

运行Scrapyd服务

scrapyd

默认情况下Scrapyd监听0.0.0.0:6800端口，可以访问http://localhost:6800/查看。
如果你像我一样将Scrapyd安装在服务器上，并且还没有设置过验证方法，可以将localhost替换为服务器外网IP地址，同样可以查看。
Warning： 危险！
我通过SSH远程登陆服务器工作。
为了防止SSH中断连接使远程进程终止，推荐使用Screen管理每一条需要保持运行的命令，包括Scrapyd。Screen是Linux下的SSH远程会话管理工具，必备神器！

screen -S scrapyd (启动一个新会话，名字选你喜欢的，我习惯用进程名，在这里是scrapyd)

然后为了让这个会话保持不退出，使用快捷键

CTRL + A + D

同时按这四个键你会回到screen命令之前的终端。
可以查看当前所有screen

screen -ls

以后要想回到我们用启动的会话

screen -r scrapyd

为所欲为吧！
再也不用担心终端进程意外怀孕，哦不，意外退出了！

但是#

生产环境部署scrapyd服务的话要使用更专业的进程管理工具，例如Supervisor，参考

部署Scrapy项目
难道又要像我之前一样蠢萌蠢萌地manully deploy？(-__-)b
Of course NOT！('')
官方推荐使用scrapyd-deploy tool--scrapyd-client
安装

pip install scrapyd-client

之后我们就可以使用一个超方便的scrapyd-deploy命令了。
该命令通过读取scrapy项目目录下的配置文件scrapy.cfg来获取项目信息。
每一个scrapy.cfg对于scrapyd来说都是一个target。所以我们需要先编辑scrapy.cfg文件

[deploy：NAME]

如果你只有一个deploy配置那么可以不写NAME
但是如果你需要在多个远程服务器或者多个scrapyd进程上部署的话
应该为不同的deploy命名，方便部署。
Python 2.6 or above
> Twisted 8.0 or above
> Scrapy 0.17 or above

然后安装，这里我推荐使用pip。虽然我的部署环境是Ubuntu。但是我习惯使用pip安装并管理Python依赖，而不是apt-get。当然你也可以全部使用apt-get。最忌讳的是pip和apt-get混用，管理起来你一定会奔溃的，相信我。
shell pip install scrapyd
运行Scrapyd服务
shell scrapyd
默认情况下Scrapyd监听0.0.0.0:6800端口，可以访问http://localhost:6800/查看。
如果你像我一样将Scrapyd安装在服务器上，并且还没有设置过验证方法，可以将localhost替换为服务器外网IP地址，同样可以查看。
Warning： 危险！
我通过SSH远程登陆服务器工作。
为了防止SSH中断连接使远程进程终止，推荐使用Screen管理每一条需要保持运行的命令，包括Scrapyd。Screen是Linux下的SSH远程会话管理工具，必备神器！
shell screen -S scrapyd (启动一个新会话，名字选你喜欢的，我习惯用进程名，在这里是scrapyd)
然后为了让这个会话保持不退出，使用快捷键
> CTRL + A + D

同时按这四个键你会回到screen命令之前的终端。
可以查看当前所有screen
shell screen -ls
以后要想回到我们用启动的会话
shell screen -r scrapyd
为所欲为吧！
再也不用担心终端进程意外怀孕，哦不，意外退出了！
##但是#
生产环境部署scrapyd服务的话要使用更专业的进程管理工具，例如Supervisor，参考
***
部署Scrapy项目
难道又要像我之前一样蠢萌蠢萌地manully deploy？(-__-)b
Of course NOT！('')
官方推荐使用scrapyd-deploy tool--scrapyd-client
安装
shell pip install scrapyd-client
之后我们就可以使用一个超方便的scrapyd-deploy命令了。
该命令通过读取scrapy项目目录下的配置文件scrapy.cfg来获取项目信息。
每一个scrapy.cfg对于scrapyd来说都是一个target。所以我们需要先编辑scrapy.cfg文件
> [deploy：NAME]
>> 如果你只有一个deploy配置那么可以不写NAME
但是如果你需要在多个远程服务器或者多个scrapyd进程上部署的话
应该为不同的deploy命名，方便部署。
查看当前项目下的所有配置文件可以用命令

scrapyd-deploy -l

url = http://localhost:6800/
project = PROJECT_NAME

用于验证登陆scrapyd服务器，如果scrapyd没做验证，那么为空（默认不做验证，生产环境必须加验证！）
username = user
password = passwd

scrapyd-deploy [deploy_name]

deploy_name对应上述配置文件中的配置名
如果你没有为配置命名那么可以为空，表示使用默认配置，默认配置名为default

使用API
启动一个爬虫

curl http://localhost:6800/schedule.json -d project=PROJECT_NAME -d spider=SPIDER_NAME

停止一个爬虫

curl http://localhost:6800/cancel.json -d project=PROJECT_NAME -d job=JOB_ID

JOB_ID可以很方便地从web控制台获得

其他更多API

前文配置文件里我们提到了scrapd通过http验证登陆，可是遗憾的是截至发文，scrapyd本身是不支持的。参考
我知道你打不开Google的链接，(ˇ∀ˇ)
大体摘录如下

The authentication is for deploying the code, not for accesing the UI.Also, even though "scrapy deploy" does support using HTTP auth, Scrapyd doesn'tsupport it yet. To add HTTP auth to Scrapyd you need to host it behind a proxythat provides the auth.

可行的解决方案是将scrapyd服务挂在ngix后，让ngix负责验证工作。
参考ngix配置如下

# Scrapyd local proxy for basic authentication.# Don't forget iptables rule.# iptables -A INPUT -p tcp --destination-port 6800 -s ! 127.0.0.1 -j DROP
 server {
        listen 6801;
 
        location ~ /\.ht {
                deny all;
        }
 
        location / {
                proxy_pass            http://localhost:6800/;
                auth_basic            "Restricted";
                auth_basic_user_file  /etc/nginx/conf.d/.htpasswd;
        }
}

作者：EricTian
链接：https://www.jianshu.com/p/f0077adb74bb