在centos 上安装 scrapyd

1. pip3 install scrapyd2. 后台启动vi /etc/init.d/scrapyd```#!/bin/bashPORT=6800# 这一项可修改为项目地址HOME="/var/scrapyd"BIN="/usr/local/bin/scrapyd"pid=`netstat -lnopt | grep :$PORT | awk '/python/{gsub(/\/python/,"",$7);print $7;}'`start() {if [ -n "$pid" ]; thenecho "server already start,pid:$pid"return 0ficd $HOMEnohup $BIN >> $HOME/scrapyd.log 2>&1 &echo "start at port:$PORT"}stop() {if [ -z "$pid" ]; thenecho "not find program on port:$PORT"return 0fi#结束程序，使用讯号2，如果不行可以尝试讯号9强制结束kill -9 $pidecho "kill program use signal 9,pid:$pid"}status() {if [ -z "$pid" ]; thenecho "not find program on port:$PORT"elseecho "program is running,pid:$pid"fi}case $1 instart)start;;stop)stop;;status)status;;*)echo "Usage: {start|stop|status}";;esacexit 0```
3. 修改文件权限chmod 755 /etc/init.d/scrapyd
4. 启动 Scrapyd 服务service scrapyd start
5. 查看程序当前状态和进程号（pid）service scrapyd status
6. 结束 Scrapyd 进程service scrapyd stop

外网可以访问：
find / -name scrapd

到这个目录里面找到一个 default_scrapyd.conf 文件，然后打开
修改 bind_address=0.0.0.0

启动：service scrapyd start
有很大的可能出现问题。不急，这里是版本的问题

web.Server Traceback (most recent call last):builtins.AttributeError: 'int' object has no attribute 'splitlines'

回退版本
scrapy1.6.0
twisted18.9.0

如果安装 twisted 出现了问题，不慌，看看是不是这个错误

可能是安装 python的时候少了东西，安装一下
yum install python3-devel

最后启动一下service scrapyd start
启动发现还是有问题
刹车 service scrapyd stop
netstat -ntlp 发现进程还在
kill 掉，然后手动启动 scrapyd ，允许一下发现没有问题，于是再后台启动了一下。

scrapyd 启动相关推荐

Scrapyd部署Scrapy框架项目
1. scrapyd的介绍 scrapyd是一个用于部署和运行scrapy爬虫的程序,它允许你通过JSON API(即:post请求的webapi)来部署爬虫项目和控制爬虫运行,scrapyd是一个守 ...
scrapyd部署_第八章第一节 scrapyd和scrapy-client
如果觉得文章对您产生帮助的话, 欢迎关注Python开发之路(微信公众号: python-developer), 及时获取更多教程假设有我们做了一个项目是抓取很多网站(每个网站对应一个爬虫), 需要 ...
scrapyd远程连接配置
系统:Ubuntu18.04 安装scrapyd: pip install scrapyd scrapyd启动是可以通过scrapyd命令直接启动,bind绑定的ip地址是127.0.0.1端口是:6 ...
【Python实战】用Scrapyd把Scrapy爬虫一步一步部署到腾讯云上，有彩蛋
接着之前的几篇文章说. 我把爬虫已经写好了,而且在本地可以运行了. 这个不是最终的目的啊. 我们是要在服务器上运行爬虫. 利用周末,同时腾讯送的7天云服务器体验也快到期了就在这里再来一篇手把手的将爬 ...
借助 docker, scrapyd, scrapydweb 部署scrapy项目
借助 docker, scrapyd, scrapydweb 部署scrapy项目 scrapy采集程序开发完毕,难道还命令行启动吗?既然有炫酷的scrapyd的部署服务和scrapyweb这样的可视 ...
Scrapyd使用详解
目录前言使用详解安装启动项目发布相关API使用查看服务进程状态项目发布版本调度爬虫取消任务获取上传的项目获取项目的版本获取项目的爬虫列表获取任务列表(Scrapyd 0.1 ...
scrapyd部署遇到的问题
scrapyd部署遇到的问题最近在scrapyd部署时,用了无数变了,老司机还是翻车了: File "d:\python\virtualenv\env11\lib\site-package ...
设置 Scrapyd 在后台运行
新建 scrapd 文件 vi /etc/init.d/scrapyd 编辑文件内容 #!/bin/bash PORT=6800 # 这一项可修改为项目地址 HOME="/var/scrap ...
windows 下 scrapyd的配置
1.Scrapyd是一个用来部署和运行Scrapy项目的应用,由Scrapy的开发者开发.其可以通过一个简单的Json API来部署(上传)或者控制你的项目. 2.Scrapyd可以用来管理多个项目, ...

scrapyd 启动

在centos 上安装 scrapyd

scrapyd 启动相关推荐

最新文章

热门文章