使用Supervisor来管理你的Laravel队列
使用Supervisor来管理你的Laravel队列
Laravel官网教程中,并没有提到用它来写CLI应用,即守护进程或者可执行脚本。但是它却提供了更加便捷的队列(Queue)功能。
简明思路:其实Supervisor就是用来维护laravel队列监听命令的。
在vi /etc/supervisord.conf
查看目录
[include]
files = supervisord.d/*.ini
创建文件:在supervisord.d目录下创建lavarel_worker.ini
[root@bogon supervisord.d]# vi lavarel_worker.ini
[root@bogon supervisord.d]# vi /etc/supervisord.conf
[root@bogon supervisord.d]# pwd
/etc/supervisord.d
lavarel_worker.ini文件里在维护队列命令,所以就不用手动在运行php php artisan queue:listen这样的命令,另一个好处如果进程挂掉会自行重启起到了一个维护的作用。
[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /www/wwwroot/textlaravel.cc/laravel5/artisan queue:work --sleep=3 --tries=3
autostart=true
autorestart=true
#user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/www/wwwroot/textlaravel.cc/laravel5/storage/logs/worker.log
laravel_worker.ini
# [program:x] 配置:
# 格式为“program”单词,加一个英文冒号,加自定义的程序名称。如 `[program:foo]`,上下文中可使用表达式 %(program_name)s 引用程序名称。
[program:laravel-worker]# 指定进程的命名规则:foo_00,foo_01...
process_name=%(program_name)s_%(process_num)02d# command 必须。程序启动后执行的命令,可以是绝对命令,也可以是相对命令(在环境$PATH中搜索可执行文件)。受控的程序本身不应该是守护程序。
command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3# Supervisor 启动时自动启动该程序
autostart=true# 指定进程挂掉时 Supervisor 自动重启进程
autorestart=true# 指定运行进程使用的用户,需要 Supervisor 以root用户运行。使用 setuid 切换用户,不会启动shell程序和改变环境变量
user=forge# 运行和监控的进程数量,进程位于laravel-worker组内,指定该值需同时设置process_name包含%(process_num)s
numprocs=8# 将 stderr 错误输出重定向到 stdout 标准输出
redirect_stderr=true# 将进程的 stdout 标准输出写入文件中,设为NONE不会创建任何日志文件。
stdout_logfile=/home/forge/app.com/worker.log
Laravel队列说明
我们在开发应用过程中难免会遇到处理耗时任务的需求,这些任务如果直接在用户的请求中处理,必然会导致页面显示被阻塞。
虽然利用fastcgi
的一些特性可以先输出页面,后台任务继续执行,但是这样远远不如将任务交给异步队列来处理方便。
队列配置和启动说明
Laravel队列功能为我们提供了一个便捷的方式去处理这些异步任务,配置一个队列只需要以下几步:
- 1 配置
app/config/queue.php
中的default配置项为系统中的队列系统,sync是直接执行,并不是异步队列。 - 2 创建队列处理类,如
app/Jobs/SendMail
。 - 3 将应用中的一个任务推送到队列
Queue::push('SendMail')
- 4 启动
Laravel
队列监听器php artisan queue:listen
或者用php artisan queue:work
处理队头的一条消息
Laravel队列并行处理说明
如果使用过Laravel
队列的朋友应该发现,queue:listen
是线性执行的,即一个任务做完以后才会读取下一条任务。这样并不能满足我们日常的异步耗时任务处理的需求,于是有人建议启动多个queue:listen
。
php artisan queue:listen && php artisan queue:listen ...
这样虽然理论上是可行的,因为在异步队列的帮助下,程序并不会出现冲突。
但是由于PHP本身对内存处理的缺陷,很难保证一个长期运行在后台的程序不出现内存泄露,例如queue:listen
这样的死循环程序。
因此在正式环境中我们更倾向于使用多个queue:work
并行执行异步队列中的任务。
queue:work
只是读取队首的一项任务,执行完成后即结束程序,如果没有任务也会结束程序。这个方式类似于PHP对于WEB请求的处理,不会出现内存泄露。
利用Supervisor
可以便捷的创建基于queue:work
的异步队列并行处理。
Supervisor说明
Supervisor是一个进程控制系统,由python编写,它提供了大量的功能来实现对进程的管理。
- 1 程序的多进程启动,可以配置同时启动的进程数,而不需要一个个启动
- 2 程序的退出码,可以根据程序的退出码来判断是否需要自动重启
- 3 程序所产生日志的处理
- 4 进程初始化的环境,包括目录,用户,umask,关闭进程所需要的信号等等
- 5 手动管理进程(开始,启动,重启,查看进程状态)的web界面,和xmlrpc接口
Centos7安装Supervisor
supervisor:要安装的软件的名称。
supervisord:装好supervisor软件后,supervisord用于启动supervisor服务。
supervisorctl:用于管理supervisor配置文件中program和supervisor服务本身。
方法一、使用yum命令安装(推荐)
$ sudo su - #切换为root用户# yum install epel-release
# yum install -y supervisor
# systemctl enable supervisord # 开机自启动
# systemctl start supervisord # 启动supervisord服务# systemctl status supervisord # 查看supervisord服务状态
# ps -ef|grep supervisord # 查看是否存在supervisord进程
参考文献:https://blog.csdn.net/donggege214/article/details/80264811
supervisord.conf配置文件说明
# vim /etc/supervisord.conf
配置项示例如下,后面我们会详细创建一个独有的Laravel配置
; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Note: shell expansion ("~" or "$HOME") is not supported. Environment
; variables can be expanded using this syntax: "%(ENV_HOME)s".[unix_http_server] ; supervisord的unix socket服务配置
file=/tmp/supervisor.sock ; socket文件的保存目录
;chmod=0700 ; socket的文件权限 (default 0700)
;chown=nobody:nogroup ; socket的拥有者和组名
;username=user ; 默认不需要登陆用户 (open server)
;password=123 ; 默认不需要登陆密码 (open server);[inet_http_server] ; supervisord的tcp服务配置
;port=127.0.0.1:9001 ; tcp端口
;username=user ; tcp登陆用户
;password=123 ; tcp登陆密码[supervisord] ; supervisord的主进程配置
logfile=/tmp/supervisord.log ; 主要的进程日志配置
logfile_maxbytes=50MB ; 最大日志体积,默认50MB
logfile_backups=10 ; 日志文件备份数目,默认10
loglevel=info ; 日志级别,默认info; 还有:debug,warn,trace
pidfile=/tmp/supervisord.pid ; supervisord的pidfile文件
nodaemon=false ; 是否以守护进程的方式启动
minfds=1024 ; 最小的有效文件描述符,默认1024
minprocs=200 ; 最小的有效进程描述符,默认200
;umask=022 ; 进程文件的umask,默认200
;user=chrism ; 默认为当前用户,如果为root则必填
;identifier=supervisor ; supervisord的表示符, 默认时'supervisor'
;directory=/tmp ; 默认不cd到当前目录
;nocleanup=true ; 不在启动的时候清除临时文件,默认false
;childlogdir=/tmp ; ('AUTO' child log dir, default $TEMP)
;environment=KEY=value ; 初始键值对传递给进程
;strip_ansi=false ; (strip ansi escape codes in logs; def. false); the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris ; 如果设置应该与http_username相同
;password=123 ; 如果设置应该与http_password相同
;prompt=mysupervisor ; 命令行提示符,默认"supervisor"
;history_file=~/.sc_history ; 命令行历史纪录; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.;[program:theprogramname]
;command=/bin/cat ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式,默认为%(program_name)s
;numprocs=1 ; 默认启动的进程数目,默认为1
;directory=/tmp ; 在运行前cwd到指定的目录,默认不执行cmd
;umask=022 ; 进程umask,默认None
;priority=999 ; 程序运行的优先级,默认999
;autostart=true ; 默认随supervisord自动启动,默认true
;autorestart=unexpected ; whether/when to restart (default: unexpected)
;startsecs=1 ; number of secs prog must stay running (def. 1)
;startretries=3 ; max # of serial start failures (default 3)
;exitcodes=0,2 ; 期望的退出码,默认0,2
;stopsignal=QUIT ; 杀死进程的信号,默认TERM
;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false ; 向unix进程组发送停止信号,默认false
;killasgroup=false ; 向unix进程组发送SIGKILL信号,默认false
;user=chrism ; 为运行程序的unix帐号设置setuid
;redirect_stderr=true ; 将标准错误重定向到标准输出,默认false
;stdout_logfile=/a/path ; 标准输出的文件路径NONE=none;默认AUTO
;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10 ; # of stdout logfile backups (default 10)
;stdout_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
;stdout_events_enabled=false ; emit events on stdout writes (default false)
;stderr_logfile=/a/path ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10 ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false ; emit events on stderr writes (default false)
;environment=A=1,B=2 ; process environment additions (def no adds)
;serverurl=AUTO ; override serverurl computation (childutils); The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.;[eventlistener:theeventlistenername]
;command=/bin/eventlistener ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式,默认为%(program_name)s
;numprocs=1 ; 默认启动的进程数目,默认为1
;events=EVENT ; event notif. types to subscribe to (req'd)
;buffer_size=10 ; 事件缓冲区队列大小,默认10
;directory=/tmp ; 在运行前cwd到指定的目录,默认不执行cmd
;umask=022 ; 进程umask,默认None
;priority=-1 ; 程序运行的优先级,默认-1
;autostart=true ; 默认随supervisord自动启动,默认true
;autorestart=unexpected ; whether/when to restart (default: unexpected)
;startsecs=1 ; number of secs prog must stay running (def. 1)
;startretries=3 ; max # of serial start failures (default 3)
;exitcodes=0,2 ; 期望的退出码,默认0,2
;stopsignal=QUIT ; 杀死进程的信号,默认TERM
;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false ; 向unix进程组发送停止信号,默认false
;killasgroup=false ; 向unix进程组发送SIGKILL信号,默认false
;user=chrism ; setuid to this UNIX account to run the program
;redirect_stderr=true ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10 ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false ; emit events on stdout writes (default false)
;stderr_logfile=/a/path ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false ; emit events on stderr writes (default false)
;environment=A=1,B=2 ; process environment additions
;serverurl=AUTO ; override serverurl computation (childutils); The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.;[group:thegroupname]
;programs=progname1,progname2 ; 任何在[program:x]中定义的x
;priority=999 ; 程序运行的优先级,默认999; The [include] section can just contain the "files" setting. This
; setting can list multiple files (separated by whitespace or
; newlines). It can also contain wildcards. The filenames are
; interpreted as relative to this file. Included files *cannot*
; include files themselves.;[include]
;files = relative/directory/*.ini
如果supervisorCPU和内存占用率特别高,导致机器卡死。
注释掉 [inet_http_server]
;[inet_http_server]
;port=127.0.0.1:9001 ;IP按需配置
;username=user
;password=123
此处是用于web访问的
Laravel配置 Supervisor
Supervisor 配置文件通常存放在 /etc/supervisor/conf.d 目录,在该目录下,可以创建多个配置文件指示 Supervisor 如何监视进程,例如,让我们创建一个开启并监视 queue:work 进程的 laravel-worker.conf 文件:
博主yum安装所以目录在这里
[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /www/wwwroot/textlaravel.cc/laravel5/artisan queue:work --sleep=3 --tries=3
autostart=true
autorestart=true
#user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/www/wwwroot/textlaravel.cc/laravel5/storage/logs/worker.log
查看配置是否正确通过命令查看
[root@bogon ~]# supervisorctl
supervisor> update
error: <class 'xmlrpclib.Fault'>, <Fault 92: "CANT_REREAD: The directory named as part of the path /home/forge/app.com/worker.log does not exist in section 'program:laravel-worker' (file: '/etc/supervisord.d/lavarel_worker.ini')">: file: /usr/lib64/python2.7/xmlrpclib.py line: 794
supervisor> update
waaQueue: stopped
waaQueue: removed process group
laravel-worker: added process group
supervisor> status
laravel-worker:laravel-worker_00 RUNNING pid 4570, uptime 0:00:07
laravel-worker:laravel-worker_01 RUNNING pid 4571, uptime 0:00:07
laravel-worker:laravel-worker_02 RUNNING pid 4572, uptime 0:00:07
laravel-worker:laravel-worker_03 RUNNING pid 4574, uptime 0:00:07
laravel-worker:laravel-worker_04 RUNNING pid 4575, uptime 0:00:07
laravel-worker:laravel-worker_05 RUNNING pid 4576, uptime 0:00:07
laravel-worker:laravel-worker_06 RUNNING pid 4577, uptime 0:00:07
laravel-worker:laravel-worker_07 RUNNING pid 4578, uptime 0:00:07
supervisor> update
supervisor>
配置命令另一种
command= php /data/wwwroot/test.hamdantoken.io/HamdanTokenApp/artisan queue:work redis --queue=getnewaddress --sleep=3 --tries=1 --daemon队列方法 错误重发一次
启动运行 supervisord
- 1 首先启动supervisord,执行supervisord即可,它会在默认目录下寻找配置文件
- 2 运行supervisorctl help来查看可使用命令
使用yum命令安装(推荐)systemctl enable supervisord # 开机自启动
systemctl start supervisord # 启动supervisord服务
systemctl status supervisord # 查看supervisord服务状态
ps -ef|grep supervisord # 查看是否存在supervisord进程# systemctl stop supervisord
# systemctl start supervisord
# systemctl status supervisord
# systemctl reload supervisord
# systemctl restart supervisordsupervisorctl stop all # 关闭所有service supervisord restart #重启
查看supervisord状态
查看监听supervisord端口
lsof -i:9001
supervisorctl 是 supervisord的命令行客户端工具
supervisorctl status:查看所有进程的状态
supervisorctl stop es:停止es
supervisorctl start es:启动es
supervisorctl restart es: 重启es
supervisorctl update :配置文件修改后可以使用该命令加载新的配置
supervisorctl reload: 重新启动配置中的所有程序
[root@bogon ~]# supervisorctl
waaQueue:waaQueue_0 RUNNING pid 32707, uptime 0:43:20
waaQueue:waaQueue_1 RUNNING pid 32706, uptime 0:43:20
waaQueue:waaQueue_2 RUNNING pid 32699, uptime 0:43:21
waaQueue:waaQueue_3 RUNNING pid 32698, uptime 0:43:22
waaQueue:waaQueue_4 RUNNING pid 32701, uptime 0:43:21
waaQueue:waaQueue_5 RUNNING pid 32700, uptime 0:43:21
supervisor> stop
Error: stop requires a process name
stop <name> Stop a process
stop <gname>:* Stop all processes in a group
stop <name> <name> Stop multiple processes or groups
stop all Stop all processes
supervisor> stop all
waaQueue:waaQueue_4: stopped
waaQueue:waaQueue_1: stopped
waaQueue:waaQueue_0: stopped
waaQueue:waaQueue_3: stopped
waaQueue:waaQueue_2: stopped
waaQueue:waaQueue_5: stopped
supervisor> start all
waaQueue:waaQueue_1: started
waaQueue:waaQueue_0: started
waaQueue:waaQueue_3: started
waaQueue:waaQueue_2: started
waaQueue:waaQueue_5: started
waaQueue:waaQueue_4: started
supervisor> status
waaQueue:waaQueue_0 RUNNING pid 4254, uptime 0:00:04
waaQueue:waaQueue_1 RUNNING pid 4253, uptime 0:00:04
waaQueue:waaQueue_2 RUNNING pid 4256, uptime 0:00:04
waaQueue:waaQueue_3 RUNNING pid 4255, uptime 0:00:04
waaQueue:waaQueue_4 RUNNING pid 4258, uptime 0:00:04
waaQueue:waaQueue_5 RUNNING pid 4257, uptime 0:00:04
supervisor> update
error: <class 'xmlrpclib.Fault'>, <Fault 92: "CANT_REREAD: The directory named as part of the path /home/forge/app.com/worker.log does not exist in section 'program:laravel-worker' (file: '/etc/supervisord.d/lavarel_worker.ini')">: file: /usr/lib64/python2.7/xmlrpclib.py line: 794
supervisor> update
waaQueue: stopped
waaQueue: removed process group
laravel-worker: added process group
supervisor> status
laravel-worker:laravel-worker_00 RUNNING pid 4570, uptime 0:00:07
laravel-worker:laravel-worker_01 RUNNING pid 4571, uptime 0:00:07
laravel-worker:laravel-worker_02 RUNNING pid 4572, uptime 0:00:07
laravel-worker:laravel-worker_03 RUNNING pid 4574, uptime 0:00:07
laravel-worker:laravel-worker_04 RUNNING pid 4575, uptime 0:00:07
laravel-worker:laravel-worker_05 RUNNING pid 4576, uptime 0:00:07
laravel-worker:laravel-worker_06 RUNNING pid 4577, uptime 0:00:07
laravel-worker:laravel-worker_07 RUNNING pid 4578, uptime 0:00:07
supervisor> update
supervisor>
查看所有的 队列进程
ps -ef | grep queue
使用Supervisor来管理你的Laravel队列相关推荐
- 使用supervisor管理laravel队列 - 配置文件supervisord.conf
相关文章 上一篇:使用supervisor管理laravel队列 ,此篇重点性描述了我本地配置supervisor的全部过程:但是并未介绍为啥这么配置,这里,我就来记录一下配置supervisor的各 ...
- supervisor 守护php,laravel队列之Supervisor守护进程(centos篇)
前言 unbutun和centos均为linux系统,官方为我们提供了Homestead可以很好的模拟在服务器中的开发和运行.之前写了一篇基于Homestead(unbutun)关于Superviso ...
- tp5 queue.php,tp5(think-queue)消息队列+supervisor进程管理实现队列常驻进程
前言 传统的程序执行流程一般是 即时|同步|串行的,在某些场景下,会存在并发低,吞吐量低,响应时间长等问题.在大型系统中,一般会引入消息队列的组件,将流程中部分任务抽离出来放入消息队列,并由专门的消费 ...
- Php laravel 队列,Laravel 的队列系统介绍
这篇文章主要介绍的内容是关于Laravel 的队列系统介绍,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 Laravel 队列为不同的后台队列服务提供统一的 API , 例如 Bean ...
- Laravel 队列:如何查看队列报错信息
Laravel 队列在执行时,如黑盒一样,出错时我们该如何调试呢? 方法一.sync 驱动 如果你在开发环境,修改 .env: QUEUE_DRIVER=sync 这样就可以直接通过 Web 请求触发 ...
- Supervisor 后台进程管理
文章目录 一.Supervisor组成部分 二.supervisor配置 2.1 supervisor安装 2.2 supervisor 服务端配置 2.3 supervisor监控管理 三.supe ...
- Supervisor 进程管理工具
简介: Supervisor 进程管理工具 一.安装 shell > yum -y install python-pipshell > pip install supervisor# 这样 ...
- laravel 队列queue
队列 Laravel队列服务为各种不同的后台队列提供统一的API 允许推迟耗时任务(例如发送邮件)的执行,从而大幅提高web请求速度 配置文件 Config/queue.php 支持模式 Suppor ...
- Flask部署| gunicorn、nginx部署flask项目,并用supervisor来管理进程
本科的时候做公众号,开始提供学生教务查询服务,后端从PHP转到Python,无论是使用django还是flask,部署都没PHP那么方便,每次修改程序完,都是ps ax,然后再kill,再run.em ...
最新文章
- JSP 开发环境搭建概述
- Latex:图片及子图排版
- 解决:安装SQl 2008为SQL Server代理服务提供的凭据无效
- GDCM:gdcm::Sorter的测试程序
- python数组堆叠_数组操作 -拼接与堆叠数组
- 复制不能复制的网页文字(实用篇) [图片]
- 641. 设计循环双端队列
- BackTrack4安装中文语言包
- linux libyuv 编译,编译libyuv
- windows中判断注册表键值是否存在的一段函数
- [深入研究4G/5G/6G专题-58]: - L3信令控制-7-关键概念和常见问题之信道、UE 上下文, RRC连接,SRB0/1/2, DRB Bear。
- uefi开发环境搭建
- P02014026黄一洋————信息论问题回答
- Scratch软件编程等级考试四级——20210320
- 【第十章 线性代数之 特征向量与特征值】3Blue1Brown
- webservice执行超长引发的两个问题
- 1. 什么是ThingsBoard
- 福州计算机就业形势2017,2017上半年福州就业情况分析及下半年就业形势预判
- 用Odoo创建一个网站
- 芯片 - 高通820A, 8155P, TI TDA4