简单scrapyd使用

一、首先要搞清楚几个概念

1、scrapy是什么？

是一个爬虫框架，你可以创建一个scrapy项目

2、scrapyd是什么？

相当于一个组价，能够将scrapy项目进行远程部署、调度使用等

因此scrapyd可以看做一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd（server）和连接的scrapy-client(client)

二、安装scrapyd和scrapyd-client和配置

1、安装

pip install scrapyd
pip install scrapy-client

安装完成后，会在当前环境的python目录下的scripts文件夹中出现一个scrapyd-deploy的无后缀文件，这个无法在Windows环境运行。

新建一个文件，命名为：scrapyd-deploy.bat ，内容为环境路径：

@echo off
D:\python\python.exe   D:\python\Scripts\scrapyd-deploy %*

进入到scrapy项目的路径下，输入scrapyd-deploy测试，出现下面情况表示可以正常使用。

F:\爬虫培训\dingdian>scrapyd-deploy
D:\python\Scripts\scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.from scrapy.utils.http import basic_auth_header
Unknown target: default

2、运行scrapyd

首先切换命令行路径到scrapy项目的根目录下

要执行一下命令，需要先在命令行里执行scrapyd，将scrapyd运行起来

scrapyd

3、发布工程到scrapyd

修改爬虫的scrapy.cfg文件

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html[settings]
default = dingdian.settings[deploy:dd]  #这里的“:” 一定要注意不能丢掉  dd随意修改
url = http://localhost:6800/
project = dingdian

[deploy:服务器名随意设置（trager）]，一般情况下用在需要同时发布爬虫到多个目标服务器时，可以通过指定名字的方式发布到指定服务器。相当于服务器名。

检查scrapy配置是否正确

scrapyd-deploy -l #注意是小写的L 不是数字1F:\爬虫培训\dingdian>scrapyd-deploy -l
D:\python\Scripts\scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.from scrapy.utils.http import basic_auth_header
dd                   http://localhost:6800/

4、打包

scrapy-deploy <target> -p <project> --version <version>F:\爬虫培训\dingdian>scrapyd-deploy dd -p dingdian
D:\python\Scripts\scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.from scrapy.utils.http import basic_auth_header
Packing version 1614154683
Deploying to project "dingdian" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "WIN-PALTM3OMLT3", "status": "ok", "project": "dingdian", "version": "1614154683", "spiders": 1}

target就是前面配置文件里deploy后面的target名字

project可以随意定义干呢爬虫的工程名字无关

version自定义版本号，不写的话默认为当前时间戳

5、启动命令

curl http://localhost:6800/schedule.json -d project=dingdian -d spider=23usF:\爬虫培训\dingdian>curl http://localhost:6800/schedule.json -dproject=dingdian -d spider=23us
{"node_name": "WIN-PALTM3OMLT3", "status": "ok", "jobid": "a429706f767911ebb7c29cb6d0c11b8a"}

在scrapyd的web上jobs里面可以查看状态。

。