SpiderKeeper的使用

2024-06-02 10:43:33

20180522165151556.jpg

之前有一篇文章是讲解scrapyd的使用，但是scrapyd是纯命令行操作，显然很麻烦，现介绍一个开源免费使用的可视化系统。

环境准备

pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper

这里作者是在Linux下配置的
新建一个文件夹，进入到文件夹后，输入scrapyd启动scrapyd服务：

image.png

然后再启动spiderkeeper，命令行输入spiderkeeper：

image.png

注：这里只介绍最简单的启动方式，带参数的自定义方法可查阅官方文档。

打开浏览器访问spiderkeeper的地址，我这里是192.168.0.101:5000，然后输入用户名、密码，默认都是admin

image.png

至此，环境准备完毕。

部署爬虫

我的爬虫程序是在自己的windows电脑上的，打开命令行进入到爬虫根目录：
执行命令：scrapyd-deploy --build-egg output.egg生成egg文件。（这里如果不懂建议去看：Scrapyd使用教程）

然后在spiderkeeper可视化界面点击creat project:

image.png

随便输入一个名字：

image.png

点击创建，跳到这个界面：

image.png

注意：此时我们系统中只有一个首次创建的名为china的项目，如果系统中已经有多个项目了，现在又建了一个，这时要先选择项目，再上传对应的egg文件，选择项目点这里：

image.png

这时可以看到已经切换到china项目:

image.png

上传egg文件：

image.png

不要忘记点击提交：

image.png

上传成功：

image.png

此时，部署完成。

运行爬虫

部署完后，点击 Dashboard 这个按钮，再选择 china 项目，然后点击 RunOnce 按钮创建爬虫：

image.png

这里参数都默认即可：

image.png

点击创建爬虫按钮：然后刷新网页，

image.png

至此，爬虫运行完毕。
查看日志点 log 即可，停止爬虫点 stop 即可，其他操作请查看官方文档：https://github.com/DormyMo/SpiderKeeper。
如果本文有不懂的地方欢迎评论区留言，点赞~ 祝好~。

SpiderKeeper的使用相关推荐

spiderkeeper 管理scrapy爬虫（定时执行）
文章目录一.关于 spiderkeeper 安装二.使用 1.运行 spiderkeeper 2.项目生成.egg文件 3.启动 scrapyd 三.管理项目 1.访问管理界面 2.创建项目 3. ...
Linux环境下使用scrapyd+spiderkeeper部署scrapy爬虫
声明:本文只作学习研究,禁止用于非法用途,否则后果自负,如有侵权,请告知删除,谢谢! 项目场景: 当我们入手爬虫工作的时候,一开始可能就是几个爬虫,我们可以手动调度部署,日积月累后,可能从十个到一百个 ...
flask 学习实战项目实例
ScrapydWeb:用于 Scrapyd 集群管理的 web 应用 Tcloud云测平台后端服务 (flask 前后端分离) SpiderKeeper:A scalable admin ui for ...
scrapyd部署爬虫项目到LINUX服务器
1,首先把scrapy爬虫项目上传到服务器我的服务器架设在公司内网里.所以在这里使用WinSCP作为上传工具. 2,修改项目的配置文件scrapy.cfg 给爬虫项目指定分组,具体方法是在deplo ...
小白也能看懂！教你如何快速搭建实用的爬虫管理平台
写在前面:本篇文章内容较多,涉及知识较广,读完需要大约 20 分钟,请读者耐心阅读. 如今大多数企业都离不开爬虫,它是获取数据的一种有效方式.但是对爬虫有着规模量级要求的企业或个人需要同时处理不同类别 ...
这可能是你见过的最全的网络爬虫总结
前段时间参加了一场 Python 网络爬虫主题的分享活动,主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结.整个分享分为三个阶段,第一阶段先介绍了自己从大学以来从事编程开发以来的相关历程 ...
干货下载：可能是你见过的最全的网络爬虫总结
昨天的时候我参加了一场 Python 网络爬虫主题的分享活动,主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结,整个直播从昨天下午 1 点一直持续到下午 5 点,整整四个小时. 整个分享 ...
【爬虫】从零开始使用 Scrapy
一. 概述最近有一个爬虫相关的需求,需要使用 scrapy 框架来爬取数据,所以学习了一下这个非常强大的爬虫框架,这里将自己的学习过程记录下来,希望对有同样需求的小伙伴提供一些帮助. 本文主要从下面 ...
关于学术文献推荐系统的调研报告
关于学术文献推荐系统的调研报告 1 引言 1.1 研究背景随着大数据时代的到来,互联网在给人们的生活带来丰富多彩的同时,海量信息也导致了"信息过载"问题.对于信息使用者来说,如何 ...

最新文章

热门文章