Flask- celery (芹菜)
一.什么是Celery?
中文名翻译为芹菜,是flask中处理异步定时周期任务的第三方组件
二.基本结构
1.需要跑的任务代码app
2.用管道broker与用于存储任务(就是个缓存) 工具一般用redis 或者用rabbitMQ(兔子)
3.执行任务的人worker
简单实例 首先建立三个文件分别写入一下代码
![](/assets/blank.gif)
![](/assets/blank.gif)
from celery import Celery import time#创建一个Celery实例,这就是我们用户的应用app my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")# 为应用创建任务,func1 @my_task.task def func1(x, y):time.sleep(15)return x + ys1.py
s1
![](/assets/blank.gif)
![](/assets/blank.gif)
from s1 import func1# 将任务交给Celery的Worker执行 res = func1.delay(2,4)#返回任务ID print(res.id)s2.py
s2
![](/assets/blank.gif)
![](/assets/blank.gif)
from celery.result import AsyncResult from s1 import my_task# 异步获取任务返回值 async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)# 判断异步任务是否执行成功 if async_task.successful():#获取异步任务的返回值result = async_task.get()print(result) else:print("任务还未执行完成")s3.py
s3
s1就是前面提到的worker
启动:Windows:这里需要注意的是celery 4.0 已经不再对Windows操作系统提供支持了,也就是在windows环境下出现问题除非自己解决,否贼官方是不会给你解决的
celery worker -A s1 -l INFO -P eventlet
ps: eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet
执行过程:
启动完成,其实在s1.py当中,worker已经知道了自己的broker 和 backend 在哪里了
接下来就让异步任务开始执行吧,对了 s2.py 中就是使用 delay 的方式来开始执行的异步任务
执行 s2.py 得到了一个字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 这个字符串儿就是异步任务的ID
在Celery worker 的控制台中可以看到这个样子
等待15秒钟之后就可以的到这样一个字符串
然后通过s3.py修改异步任务的ID来获取任务返回的结果
这样就简单完成了一个Celery异步任务了
以下任务模板:
在实际项目中我们应用Celery是有规则的
要满足这样的条件才可以哦,目录Celery_task这个名字可以随意起,但是一定要注意在这个目录下一定要有一个celery.py这个文件
三.Celery定时任务
![](/assets/blank.gif)
![](/assets/blank.gif)
from Celery_task.task_one import one from Celery_task.task_two import two# one.delay(10,10) # two.delay(20,20)# 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行 # 现在我们使用apply_async定时执行#首先我们要先给task一个执行任务的时间 import datetime,time # 获取当前时间 此时间为东八区时间 ctime = time.time() # 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法 utc_time = datetime.datetime.utcfromtimestamp(ctime) # 为当前时间增加 10 秒 add_time = datetime.timedelta(seconds=10) action_time = utc_time + add_time# action_time 就是当前时间未来10秒之后的时间 #现在我们使用apply_async定时执行 res = one.apply_async(args=(10,10),eta=action_time) print(res.id) #这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了my_celery
任务代码
四.Celery周期任务
![](/assets/blank.gif)
![](/assets/blank.gif)
from celery import Celery from celery.schedules import crontabcelery_task = Celery("task",broker="redis://127.0.0.1:6379",backend="redis://127.0.0.1:6379",include=["Celery_task.task_one","Celery_task.task_two"])#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10) celery_task.conf.beat_schedule={"each10s_task":{"task":"Celery_task.task_one.one","schedule":10, # 每10秒钟执行一次"args":(10,10)},"each1m_task": {"task": "Celery_task.task_one.one","schedule": crontab(minute=1), # 每一分钟执行一次"args": (10, 10)},"each24hours_task": {"task": "Celery_task.task_one.one","schedule": crontab(hour=24), # 每24小时执行一次"args": (10, 10)}}#以上配置完成之后,还有一点非常重要 # 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方 # celery beat -A Celery_task # celery worker -A Celery_task -l INFO -P eventletcelery.py
周期代码
执行过程:
创建Worker的方式并没有发行变化,但是这里要注意的是,每间隔一定时间后需要生产出来任务给Worker去执行,这里需要一个生产者beat
celery beat -A Celery_task #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动
celery worker -A Celery_task -l INFO -P eventlet
创建worker之后,每10秒就会由beat创建一个任务给Worker去执行
转载于:https://www.cnblogs.com/RootEvils/p/10394520.html
Flask- celery (芹菜)相关推荐
- flask服务器端解析文件包时出现问题,flask + celery 遇到的那些坑
特么的...写好的东西不见了一半...又得重写.. 星期一开始,有同事和我说要不要把我们的项目加上celery,异步发送邮件.我想了想这块我没碰过,正好学点新东西. celery是干什么的,我这里抄点 ...
- flask + celery
gunicorn 这个在linux 上面使用比较好 windows 上面容易报错 代码 from flask import Flask from celery import Celery from c ...
- [转载] Flask+Celery+Redis简单操作
参考链接: 使用Flask,Redis和Celery的异步任务 使用celery可以使得任务异步执行,在处理复杂或耗时长的任务时经常需要,废话不多说,直接进入正题. 结构树 安装各种包 pip in ...
- Flask celery消息生成消费
Celery 是一个异步任务队列.你可以使用它在你的应用上下文之外执行任务.总的想法就是你的应用程序可能需要执行任何消耗资源的任务都可以交给任务队列,让你的应用程序自由和快速地响应客户端请求. 使用 ...
- flask + celery实现定时任务和异步
参考资料: Celery 官网:http://www.celeryproject.org/ Celery 官方文档英文版:http://docs.celeryproject.org/en/latest ...
- celery mysql 异步_celery配合rabbitmq任务队列实现任务的异步调度执行[celery redis]
前言: 51cto的文章已经不再补充更新了,另外celery rabbitmq详细的使用方法请到这里浏览. http://xiaorui.cc/2014/11/16/celery-rabbitmq%E ...
- Python 并行分布式框架 Celery
Celery 官网:http://www.celeryproject.org Celery 官方文档英文版:http://docs.celeryproject.org/en/latest/index. ...
- python任务队列 http_基于Python开发的分布式任务队列:Celery
Celery (芹菜)是基于Python开发的分布式任务队列.它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度. 架构设计. Celery的架构由三部分组成,消息中间件(message ...
- python linux教程_在RedHat系统Linux上部署Python的Celery框架的教程
Celery (芹菜)是基于Python开发的分布式任务队列.它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度. 架构设计 Celery的架构由三部分组成,消息中间件(message b ...
- Django/Flask/Tornado三大web框架性能分析
写在前面: 本文的数据涉及到之前遇到过的问题,大概一次 http 请求到收到响应需要多少时间.这个问题在实际工作中与框架有比较大的关系,因此特别就框架的性能做了一次分析. 这里使用之前的一个报告数据: ...
最新文章
- Kotlin for 循环使用
- 统计s=hello alex alex hello haiyan cc haiyan com中每个单词的个数
- 一文读懂最近流行的CNN架构(附学习资料)
- 亿能 性能测试课程 2013年度 公开课 深圳站
- mysql create table 语法详解
- python调用java方法_python调用java
- 1-5docker私有镜像仓库
- python连载第11篇 if 语句
- 免杀需要的基本汇编知识
- UART接口基本知识
- 虚拟光驱 安装深度linux,今天试装了深度精简系统Deepin-LiteXP-SP3 6.2 小盘
- android PreferenceScreen使用笔记
- FastDFS分布文件系统Java客户端使用
- 微信小程序项目实例——双人五子棋
- error C2440 无法转换到 AFX_PMSG mfc自定义信号及实现 PostMessage FindWindow
- 硬盘的IDE和串口什么意思
- 企业内部控制与全面风险管理体系建设案例解析
- [MATLAB] 图像的插值算法1:MATLAB中的插值函数及其原理
- 药品过5关价翻12倍 批发商抢走药品一半利润
- aslkjdkkjas