全栈工程师开发手册 (作者:栾鹏)
架构系列文章

APScheduler介绍

APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。

APScheduler提供了多种不同的调度器,方便开发者根据自己的实际需要进行使用;同时也提供了不同的存储机制,可以方便与Redis,数据库等第三方的外部持久化机制进行协同工作,总之功能非常强大和易用。

在Python的世界中,另外一个齐名的调度模块是Celery,功能也非常的强大,号称分布式的调度器,感兴趣的读者可以自行进行研究。

官网文档地址: http://apscheduler.readthedocs.io/en/latest/

安装包位置: https://pypi.python.org/pypi/APScheduler/

在系统中,如何进行安装呢?其实非常简单,基于pip直接安装即可:

pip install APScheduler

APScheduler的主要的调度类

在APScheduler中有以下几个非常重要的概念,需要大家理解:

  • 触发器(trigger)

包含调度逻辑,每一个作业有它自己的触发器,用于决定接下来哪一个作业会运行,根据trigger中定义的时间点,频率,时间区间等等参数设置。除了他们自己初始配置以外,触发器完全是无状态的。

  • 作业存储(job store)

存储被调度的作业,默认的作业存储是简单地把作业保存在内存中,其他的作业存储是将作业保存在数据库中。一个作业的数据讲在保存在持久化作业存储时被序列化,并在加载时被反序列化。调度器不能分享同一个作业存储。job store支持主流的存储机制:redis, mongodb, 关系型数据库, 内存等等

  • 执行器(executor)

处理作业的运行,他们通常通过在作业中提交制定的可调用对象到一个线程或者进城池来进行。当作业完成时,执行器将会通知调度器。基于池化的操作,可以针对不同类型的作业任务,更为高效地使用cpu的计算资源。

  • 调度器(scheduler)

通常在应用只有一个调度器,调度器提供了处理这些的合适的接口。配置作业存储和执行器可以在调度器中完成,例如添加、修改和移除作业。

这里简单列一下常用的若干调度器:

  • BlockingScheduler:仅可用在当前你的进程之内,与当前的进行共享计算资源
  • BackgroundScheduler: 在后台运行调度,不影响当前的系统计算运行
  • AsyncIOScheduler: 如果当前系统中使用了async module,则需要使用异步的调度器
  • GeventScheduler: 如果使用了gevent,则需要使用该调度
  • TornadoScheduler: 如果使用了Tornado, 则使用当前的调度器
  • TwistedScheduler:Twister应用的调度器
  • QtScheduler: Qt的调度器

APScheduler提供的多种调度器,可以根据具体需求来选择合适的调度器:

 BlockingScheduler:适合于只在进程中运行单个任务的情况,通常在调度器是你唯一要运行的东西时使用。BackgroundScheduler: 适合于要求任何在程序后台运行的情况,当希望调度器在应用后台执行时使用。AsyncIOScheduler:适合于使用asyncio框架的情况GeventScheduler: 适合于使用gevent框架的情况TornadoScheduler: 适合于使用Tornado框架的应用TwistedScheduler: 适合使用Twisted框架的应用QtScheduler: 适合使用QT的情况

APScheduler的job管理

Job是APScheduler中的核心,其承接目前需要执行的工作和任务,其可以在系统运行过程中动态地进行增加/修改/删除/查询等操作。

3.1 Job的新增

共有两种方式进行新增job的操作:

  • 基于add_job来动态增加

代码示例:

sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour='0-9', minute="*", second="*/4")
  • 基于修饰器scheduled_job来动态装饰job的实际函数

    代码示例:

@sched.scheduled_job('cron', id='my_job_id', day='last sun')
def some_decorated_task():print("I am printed at 00:00:00 on the last Sunday of every month!")

3.2 移除作业

job = scheduler.add_job(myfunc, 'interval', minutes=2)
job.remove()
Same, using an explicit job ID:scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')
scheduler.remove_job('my_job_id')

基于job id来动态移除特定的job.

3.3 暂停和恢复作业
暂停作业:
– apscheduler.job.Job.pause()
– apscheduler.schedulers.base.BaseScheduler.pause_job()

恢复作业:
– apscheduler.job.Job.resume()
– apscheduler.schedulers.base.BaseScheduler.resume_job()
3.4. 获得job列表
获得调度作业的列表,可以使用 get_jobs() 来完成,它会返回所有的job实例。或者使用 print_jobs() 来输出所有格式化的作业列表。
3.5. 修改作业 job
 可以通过apscheduler.job.Job.modify() or modify_job()来动态修改job的属性信息,除了job id无法修改之外,都是可以修改的。

job.modify(max_instances=6, name='Alternate name')

另外我们也可以通过apscheduler.job.Job.reschedule() or reschedule_job()动态重新设置trigger,示例如下:

scheduler.reschedule_job('my_job_id', trigger='cron', minute='*/5')

3.6. 关闭调度器
 默认情况下调度器会等待所有正在运行的作业完成后,关闭所有的调度器和作业存储。如果你不想等待,可以将wait选项设置为False。

scheduler.shutdown()
scheduler.shutdown(wait=False)

APScheduler的代码示例

这里使用装饰器来展示一个调度的使用:

from apscheduler.schedulers.blocking import BlockingSchedulersched = BlockingScheduler()@sched.scheduled_job('interval', seconds=3)
def timed_job():print('This job is run every three minutes.')@sched.scheduled_job('cron', day_of_week='mon-fri', hour='0-9', minute='30-59', second='*/3')
def scheduled_job():print('This job is run every weekday at 5pm.')print('before the start funciton')
sched.start()
print("let us figure out the situation")

代码说明:

在这段代码中,使用了当前进程中共享计算资源的BlockingScheduler,共使用了2个调度器,其中一个是间隔3秒的执行。

另外一个调度器是模仿cron来执行的,在周一到周五其间,每天的0点到9点直接,在30分到59分之间执行,执行频次为3秒。

基于正常代码的示例如下:

from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.schedulers.blocking import BlockingSchedulerimport datetime
import time
import loggingdef job_function():print "Hello World" + " " + str(datetime.datetime.now())if __name__ == '__main__':log = logging.getLogger('apscheduler.executors.default')log.setLevel(logging.INFO)  # DEBUGfmt = logging.Formatter('%(levelname)s:%(name)s:%(message)s')h = logging.StreamHandler()h.setFormatter(fmt)log.addHandler(h)print('start to do it')sched = BlockingScheduler()# Schedules job_function to be run on the third Friday#  of June, July, August, November and December at 00:00, 01:00, 02:00 and 03:00sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour='0-9', minute="*", second="*/4")sched.start()

某个异常问题的思考

在执行以下代码之时候,定时任务一直未能正常生效:

from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.schedulers.blocking import BlockingSchedulerimport datetime
import timedef job_function():print "Hello World" + " " + str(datetime.datetime.now())if __name__ == '__main__':print('start to do it')sched = BlockingScheduler()sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour='0-9', minute="*", second="*/4")sched.start()

代码报错的错误信息为:

No handlers could be found for logger “apscheduler.scheduler”

从字面意思来分析,是没有logging模块的logger存在,故需要添加上去即可。

新增对应的logging信息即可:

import logging
log = logging.getLogger('apscheduler.executors.default')    log.setLevel(logging.INFO)  # DEBUG    fmt = logging.Formatter('%(levelname)s:%(name)s:%(message)s')    h = logging.StreamHandler()    h.setFormatter(fmt)    log.addHandler(h)

Python下APScheduler的快速指南相关推荐

  1. python开源库——h5py快速指南

    1. 核心概念 一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group.在使 ...

  2. FC4下安装plog快速指南(plog版本:1.01)

    作者:hellwolf(hellwolf@seu.edu.cn) 来自:LinuxSir.org 提要: 在FC4中安装plog程序 +++++++++++++++++++++++++++++++++ ...

  3. Web服务器 之 FC4下安装plog快速指南(plog版本:1.01)

    作者:hellwolf(hellwolf at seu.edu.cn) 来自:LinuxSir.org 提要: 在FC4中安装plog程序,plog是一个强大的基于PHP的blog系统: ++++++ ...

  4. 《树莓派Python编程指南》—— 1.3 树莓派快速指南

    本节书摘来自华章计算机<树莓派Python编程指南>一书中的第1章,第1.3节,作者:(美) Alex Bradbury Ben Everard更多章节内容可以访问云栖社区"华章 ...

  5. Python深度学习-快速指南

    Python深度学习-快速指南 (Python Deep Learning - Quick Guide) Python深度学习-简介 (Python Deep Learning - Introduct ...

  6. python编程入门指南 代码库在哪下-致Python初学者 Anaconda入门使用指南完整版

    打算学习 Python 来做数据分析的你,是不是在开始时就遇到各种麻烦呢? 到底该装 Python2 呢还是 Python3 ? 为什么安装 Python 时总是出错? 怎么安装工具包呢? 为什么提示 ...

  7. python源码精要(9)-CPython内部原理快速指南(1)

    对于那些有兴趣了解更多关于CPython内部原理的人,这是一个快速指南.它提供了一个摘要的源代码结构,并包含对资源的引用. 对于Python模块,典型的布局是: • Lib/<module> ...

  8. 2.17 Jupyter/ipython 笔记本的快速指南-深度学习-Stanford吴恩达教授

    ←上一篇 ↓↑ 下一篇→ 2.16 关于 Python Numpy 向量的说明 回到目录 2.18 Logistic 损失函数的解释 Jupyter/ipython 笔记本的快速指南 (Quick t ...

  9. 【PHP】Sublime下PHP网站开发指南

    Sublime下PHP网站开发指南 作者:白宁超 2017年3月16日11:03:17 摘要:随着单位开发项目的需求,关于政务办公多年来一直使用php开发管理平台.笔者早年asp开发经验算是有些帮助, ...

最新文章

  1. vnctf——cm1
  2. python web生产环境_2020年了,python的web framework sanic 可以考虑生产环境部署了么?...
  3. 测试金士顿固态硬盘软件,金士顿固态硬盘管理工具(Kingston SSD Manager)
  4. AI智能语音客服机器人系统/方案/案列/技术/项目
  5. FireMonkey v1.1的WinSoft WinRT-10.3-SEO-狼术
  6. Kindeditor富文本使用
  7. vs2013 安装VSIX 插件
  8. Axure绘制开关按钮
  9. linux服务器测网速,linux服务器如何测试网速?
  10. no zuo no die _0_
  11. 电子设备的可靠性预计
  12. Python 英文转中文
  13. PythonStudy——列表与字典推导式 List and dictionary derivation
  14. 黑白方格画C++解答
  15. 帝国cms导入html模板,帝国CMS模板组导入导出更换模板
  16. 正向价值观和负向情商
  17. 文件下载显示进度条以及调取浏览器下载进程
  18. 射频单刀双掷开关常见结构
  19. python Scrapy Selenium PhantomJS 爬取微博图片
  20. 趣头条递交招股书:最高融资3亿美元 挖掘下沉人群市场

热门文章

  1. python入门指南 许半仙txt-影帝的脑子坏了
  2. 与机器人对话的语音识别解决方案
  3. 听了那么多语音识别,你知道它的发展史吗?
  4. 【深度优先搜索】计蒜客:Betsy的旅行
  5. LeetCode 121买卖股票的时机
  6. 从硬件竞争到软实力PK——电视媒体竞争观察
  7. opencv物品定位_使用OpenCV获取零件位置的学习笔记
  8. python获取按键值_如何用按键获取刻度值?
  9. iview table增加一行减少一行_OA协会领导一行赴深圳市办公设备租赁行业协会参观交流...
  10. 计算机一级b必背知识点,全国计算机等级考试B经典必考资料_知识点总结.doc