• 导读:无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。随着微服务架构的逐步推进,很多原先的任务调度平台已经不能满足业务系统的需求。宜信公司开源了微服务任务调度平台,其具有支持任务编排、支持跨平台等优秀特性,本文对该平台进行了说明。

    背景

    无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此的背景下,很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点,但各有不足之处,比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求,因此宜信公司开发了微服务任务调度平台(SIA-TASK)。

    SIA是宜信公司基础开发平台Simple is Awesome的简称,SIA-TASK(微服务任务调度平台)是其中的一项重要产品,SIA-TASK契合当前微服务架构模式,具有跨平台,可编排,高可用,无侵入,一致性,异步并行,动态扩展,实时监控等特点。

    项目简介

    SIA-TASK是任务调度的一体式解决方案。对任务进行元数据采集,然后进行任务可视化编排,最终进行任务调度,并且对任务采取全流程监控,简单易用。对业务完全无侵入,通过简单灵活的配置即可生成符合预期的任务调度模型。

    SIA-TASK借鉴微服务的设计思想,获取分布在每个任务执行器上的任务元数据,上传到任务注册中心。利用在线方式进行任务编排,可动态修改任务时钟,采用HTTP作为任务调度协议,统一使用JSON数据格式,由调度中心进行时钟解析,执行任务流程,进行任务通知。

    关键术语

    • 任务(Task): 基本执行单元,执行器对外暴露的一个HTTP调用接口;

    • 作业(Job): 由一个或者多个存在相互逻辑关系(串行/并行)的任务组成,任务调度中心调度的最小单位;

    • 计划(Plan): 由若干个顺序执行的作业组成,每个作业都有自己的执行周期,计划没有执行周期;

    • 任务调度中心(Scheduler): 根据每个的作业的执行周期进行调度,即按照计划、作业、任务的逻辑进行HTTP请求;

    • 任务编排中心(Config): 编排中心使用任务来创建计划和作业;

    • 任务执行器(Executer): 接收HTTP请求进行业务逻辑的执行;

    • Hunter:Spring项目扩展包,负责执行器中的任务抓取,上传注册中心,业务可依赖该组件进行Task编写。

    微服务任务调度平台的特性

    • 基于注解自动抓取任务,在暴露成HTTP服务的方法上加入@OnlineTask注解,@OnlineTask会自动抓取方法所在的IP地址,端口,请求路径,请求方法,请求参数格式等信息上传到任务注册中心(zookeeper),并同步写入持久化存储中,此方法即任务;

    • 基于注解无侵入多线程控制,单一任务实例必须保持单线程运行,任务调度框架自动拦截@OnlineTask注解进行单线程运行控制,保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。

    • 调度器自适应任务分配,任务执行过程中出现失败,异常时。可以根据任务定制的策略进行多点重新唤醒任务,保证任务的不间断执行。

    • 高度灵活任务编排模式,SIA-TASK的设计思想是以任务为原子,把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心,使得作业的调度和作业的编排分隔开来,互不影响。在我们需要调整作业的流程时,只需要在编排中心进行处理即可。同时编排中心支持任务按照串行,并行,分支等方式组织关系。在相同任务不同任务实例时,也支持多种调度方式进行处理。

    微服务任务调度平台设计

    SIA-TASK主要分为五个部分:

    • 任务执行器

    • 任务调度中心

    • 任务编排中心

    • 任务注册中心(zookeeper)

    • 持久存储(Mysql)

    SIA-TASK的主要运行逻辑:

    1. 通过注解抓取任务执行器中的任务上报到任务注册中心

    2. 任务编排中心从任务注册中心获取数据进行编排保存入持久化存储

    3. 任务调度中心从持久化存储获取调度信息

    4. 任务调度中心按照调度逻辑访问任务执行器

    UI预览

    首页提供多维度监控

    • 调度器信息:展示调度器信息(负载能力,预警值),以及作业分布情况。

    • 调度信息:展示调度中心触发的调度次数,作业、任务多维度调度统计。

    • 对接项目统计:对使用项目的系统进行统计,作业个数,任务个数等。

    调度监控提供对已提交的作业进行实时监控展示。

    • 作业状态实时监控:以项目组为单位面板,展示作业运行时状态。

    • 实时日志关联:可以通过涂色状态图标进行日志实时关联展示。

    任务管理:提供任务元数据的相关操作

    • 任务元数据录入:手动模式的任务,可在此进行录入。

    • 任务连通性测试:提供任务连通性功能测试。

    • 任务元数据其他操作:修改,删除。

    Job管理:提供作业相关操作

    • 任务编排:进行作业的编排。

    • 发布作业: 作业的创建,修改,以及发布。

    • 级联设置:提供存在时间依赖的作业设置。

    日志管理

    • 本地日志:日志界面简洁,查询快速;日志提供7天的调度日志,以供快速查询。

    开源地址

    • https://github.com/siaorg/sia-task

    GIAC全球互联网架构大会深圳站将于2019年6月21-23日举行,届时有更多微服务、云原生等前沿技术的相关演讲。参加2019年GIAC深圳站,可以了解更多业界动态,且可以和众多业界专家近距离接触。

    参加 GIAC,盘点2019年最新技术,目前购买8折优惠 ,多人购买有更多优惠。识别二维码了解大会更多详情。

转载于:https://juejin.im/post/5ce74e305188254f3250008a

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探相关推荐

  1. 宜信开源|微服务任务调度平台SIA-TASK入手实践

    引言 最近宜信开源微服务任务调度平台SIA-TASK,SIA-TASK属于分布式的任务调度平台,使用起来简单方便,非常容易入手,部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行 ...

  2. 微服务治理平台的RPC方案实现

    文章作者:用友云平台 原文链接:http://blog.51cto.com/14084875/2326311?utm_source=tuicool&utm_medium=referral 复制 ...

  3. 微服务研究 - Swoole框架-Swoft初探

    微服务研究 - Swoole框架-Swoft初探.没有swoole之前,php一直被"誉"为世界上最好的语言.swoole横空出世后,php就成了宇宙最好的语言了... swoft ...

  4. Spring Cloud 微服务开放平台接口

    Spring Cloud 微服务开放平台接口 github源码地址: https://github.com/spring-cloud/spring-cloud-security 前言: 什么是开放平台 ...

  5. sql server配置管理器在哪里看ip_微服务管理平台nacos虚拟ip负载均衡集群模式搭建...

    一.Nacos简介 Nacos是用于微服务管理的平台,其核心功能是服务注册与发现.服务配置管理. Nacos作为服务注册发现组件,可以替换Spring Cloud应用中传统的服务注册于发现组件,如:E ...

  6. 华为云微服务应用平台服务能力业界领先,通过微服务标准首批评估

    4月24日,在2019年云原生产业大会上,中国信息通信研究院组织开展了业界首次微服务平台评估,华为云微服务应用平台(ServiceStage)作为业界微服务平台典型代表,以其完整的解决方案和成熟的产品 ...

  7. mPass 微服务开发平台

    基于SpringBoot2.x.SpringCloud并采用前后端分离的企业级微服务,多租户系统架构微服务开发平台 mPaaS(Microservice PaaS)为租户业务开发.测试.运营及运维开源 ...

  8. JAVA SpringBlade 微服务开发平台框架,企业级的SaaS多租户微服务平台,基于Spring Boot 2.7

    SpringBlade微服务开发平台 完整代码下载地址:JAVA SpringBlade 微服务开发平台框架,企业级的SaaS多租户微服务平台 采用前后端分离的模式,前端开源两个框架:Sword (基 ...

  9. 虚拟ip mysql负载均衡_微服务管理平台nacos虚拟ip负载均衡集群模式搭建

    一.Nacos简介 Nacos是用于微服务管理的平台,其核心功能是服务注册与发现.服务配置管理. Nacos作为服务注册发现组件,可以替换Spring Cloud应用中传统的服务注册于发现组件,如:E ...

  10. spring cloud java b2b2c o2o分布式 微服务电子商务平台

    大型企业分布式互联网电子商务平台,推出PC+微信+APP+云服务的云商平台系统,其中包括B2B.B2C.C2C.O2O.新零售.直播电商等子平台. 需要JAVA Spring Cloud大型企业分布式 ...

最新文章

  1. FreeBSD最小化安装没有man解决方法
  2. Keil工程Lib库文件的制作和运用
  3. CentOS6.9下手动编译并安装Python3.7.0
  4. centreon问题总结
  5. 图片优化_Web 性能优化: 图片优化让网站大小减少 62%
  6. bi数据分析师_BI工程师和数据分析师的5个格式塔原则
  7. 前端学习(2592):当前用户显示
  8. HTML5 canvas中使用路径
  9. SequelizeAccessDeniedError的原因和解决方式
  10. 苹果手机连接Windows电脑导入照片出现重复
  11. Chromium内核的浏览器Browsers查看Chromium的版本 : navigator.userAgent
  12. Python实现图片文字识别
  13. 事务的四大特性-ADID特性
  14. 用Python制作好玩的小游戏
  15. 古琴【A1】基本指法
  16. 【uniapp】微信小程序微信授权新旧解决方案
  17. python期货外盘不间断交易_外盘期货模拟交易【最新版】_数据API_数据应用_股票行情接口/API-云市场-阿里云...
  18. git学习记录/菜鸟教程(基于Gitcode)
  19. 汽车厂商 API数据接口
  20. Web前端_配合swiper滑动插件实现同比例双指缩放图片

热门文章

  1. [技美]反编竞品shader过程
  2. C8051 Register Banks R0-R7
  3. 英国政府大数据的七大应用
  4. 【C语言】猴子选大王问题
  5. 链式二叉树的递归与遍历
  6. Night小课堂04 HTML表单
  7. 基于labelme和python的图像违禁品提取和注入新背景图
  8. 学习笔记1——俄罗斯轮盘赌的概率分析
  9. Flink系列:Savepoints使用方法(savepoint还原失败原因与方法)
  10. linux网络有线连接失败“设备未托管” 解决办法