前言

scrapyd接口一共有10个

一、daemonstatus.json

检查节点服务的状态，支持GET方式

curl http://localhost:6800/daemonstatus.jsonGET
http://127.0.0.1:6800/daemonstatus.json{"node_name": "***","status": "ok","pending": 0,"running": 2,"finished": 100
}

二、listprojects.json

查询发布到scrapy服务中的projects，支持GET查询

curl http://localhost:6800/listprojects.jsonGET
http://127.0.0.1:6800/listprojects.json{"node_name": "***","status": "ok","projects": ["weibo"]
}

三、listversions.json

查看project下所有的版本，支持GET查询

curl http://localhost:6800/listprojects.jsonGET
curl http://localhost:6800/listversions.json?project=weibo{"node_name": "***","status": "ok","versions": ["2022-03-10T15_37_20","2022-03-10T15_44_57","2022-03-10T15_54_19"]
}

四、listspiders.json

查询 project,_version下所有的spiders ,project必须指定 _version可有可无，支持GET查询

curl http://localhost:6800/listspiders.json?project=weiboGET
http://127.0.0.1:6800/listspiders.json?project=weibo&_version=2022-03-10T15_37_20{"node_name": "***","status": "ok","spiders": ["weibo","weibo_file"]
}

五、listjobs.json

查询project下所有的jobs，支持GET查询

curl http://localhost:6800/listjobs.json?project=weiboGET
http://127.0.0.1:6800/listjobs.json?project=weibo{"node_name": "***","status": "ok","pending": [],"running": [{"id": "task_2_2022-03-23T16_51_00","spider": "weibo_file","pid": 18988,"start_time": "2022-03-23 16:51:03.207089"}],"finished": [{"id": "task_2_2022-03-23T13_57_00","spider": "weibo_file","start_time": "2022-03-23 13:57:03.204365","end_time": "2022-03-23 13:58:24.336088"}]
}

六、delversion.json

删除指定project,version的project，支持POST提交方式

curl http://localhost:6800/delversion.json -d project=myproject -d version=r99POST
http://127.0.0.1:6800/delversion.json
{"project":"weibo","version":"2022-03-10T15_37_20"}{"node_name": "***","status": "ok"
}

七、addversion.json

添加新版本的egg，支持POST提交方式

curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.eggPOST
http://127.0.0.1:6800/addversion.json
{"project":"weibo","version":"2022-03-10T15_37_20","egg":file}{"node_name": "***","status": "ok","project": "weibo","version": "2022-03-22T17_37_20","spiders": 11
}

八、delproject.json

删除project，支持POST提交方式

curl http://localhost:6800/delproject.json -d project=weiboPOST
http://127.0.0.1:6800/delproject.json
{"project":"weibo"}{"node_name": "***","status": "ok"
}

九、schedule.json

添加执行spider的job，支持POST提交方式

curl http://localhost:6800/schedule.json -d project=weibo -d spider=weiboPOST
http://127.0.0.1:6800/schedule.json
{"setting":"a=b","project":"weibo","spider":"weibo","_version":"","priority":10}{"node_name": "***","status": "ok","jobid": "db38e11eaa8a11ecbe813e9117ec1170"
}

十、cancel.json

取消正在执行的job，支持POST提交方式

curl http://localhost:6800/cancel.json -d project=weibo -d job=6487ec79947edab326d6db28a2d86511e8247444POST
http://127.0.0.1:6800/cancel.json
{"project":"weibo","job":1923,"signal":"TERM"}{"node_name": "***","status": "ok","prevstate": null
}

总结

scrapyd接口方便查询scrapyd服务的实时状态。

scrapyd 接口部分相关推荐

转 Java知识——精华总结
一.java概述与基础知识 1.何为编程? 编程就是让计算机为解决某个问题而使用某种程序设计语言编写程序代码,并最终得到结果的过程. 为了使计算机能够理解人的意图,人类就必须要将需解决的问题的思路. ...
编程资料－C# 多线程
编程资料 - 多线程 C#多线程编程实例实战作者: 刘弹 www.ASPCool.com 时间:2003-5-17 上午 10:24:05 阅读次数:10996 单个写入程序/多个阅读程序在.Net ...
编程资料－C# 多线程 1
编程资料 - 多线程 C#多线程编程实例实战作者: 刘弹 www.ASPCool.com 时间:2003-5-17 上午 10:24:05 阅读次数:10996 单个写入程序/多个阅读程序在.Net ...
Scrapy+Scrapy-redis+Scrapyd+Gerapy 分布式爬虫框架整合
简介:给正在学习的小伙伴们分享一下自己的感悟,如有理解不正确的地方,望指出,感谢~ 首先介绍一下这个标题吧~ 1. Scrapy:是一个基于Twisted的异步IO框架,有了这个框架,我们就不需要等待 ...
四十、Scrapyd的安装及使用
@Author:Runsen 分布式爬虫完成并可以成功运行了,但是有个环节非常烦琐,那就是代码部署. 文章目录 Scrapyd的安装及使用安装scrapyd 安装setuptools 部署工程创建 ...
第50讲：Scrapy 部署不用愁，Scrapyd 的原理和使用
上节课我们的分布式爬虫部署完成并可以成功运行了,但是有个环节非常烦琐,那就是代码部署. 我们设想下面的几个场景: 如果采用上传文件的方式部署代码,我们首先需要将代码压缩,然后采用 SFTP 或 FTP ...
scrapyd部署_第八章第一节 scrapyd和scrapy-client
如果觉得文章对您产生帮助的话, 欢迎关注Python开发之路(微信公众号: python-developer), 及时获取更多教程假设有我们做了一个项目是抓取很多网站(每个网站对应一个爬虫), 需要 ...
【Python实战】用Scrapyd把Scrapy爬虫一步一步部署到腾讯云上，有彩蛋
接着之前的几篇文章说. 我把爬虫已经写好了,而且在本地可以运行了. 这个不是最终的目的啊. 我们是要在服务器上运行爬虫. 利用周末,同时腾讯送的7天云服务器体验也快到期了就在这里再来一篇手把手的将爬 ...
Scrapyd使用详解
目录前言使用详解安装启动项目发布相关API使用查看服务进程状态项目发布版本调度爬虫取消任务获取上传的项目获取项目的版本获取项目的爬虫列表获取任务列表(Scrapyd 0.1 ...

scrapyd 接口部分

前言