kettle8调度监控平台（kettle-scheduler）开源

喜欢本站的朋友可以收藏本站,或者加入QQ群:172816590,我们大家一起来交流技术!

欢迎来到梁钟霖个人博客网站。本个人博客网站提供最新的站长新闻,各种互联网资讯。还提供个人博客模板,最新最全的java教程,java面试题。在此我将尽我最大所能将此个人博客网站做的最好! 谢谢大家,愿大家一起进步!

背景 Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库。

项目介绍 Kettle调度监控平台（以下简称KS）是一个自主开发的javaweb程序，专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。

此版本基于kettle-8.0.0.0-28版本的API开发的，目前可以基本可以支持所有的组件，包括大数据组件（hbase、hive、hdfs等）。

项目源码：https://github.com/zhaxiaodong9860/kettle-scheduler

发布版本：https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w 提取码提取码: 52r8

部署基础环境操作系统：windows（linux类似）预装软件：jdk1.8、mysql、tomcat、kettle8.0 将源码中kettle-scheduler.sql导入mysql数据库。

将源码编译打包后解压到tomcat下的webapps目录下。

配置km\WEB-INF\classes\resource\db.properties jdbc.driver=com.mysql.jdbc.Driver //mysql驱动 jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false//mysql的jdbc url jdbc.username=root //mysql用户名 jdbc.password=123456 //mysql密码

配置km\WEB-INF\classes\resource\ kettle.properties kettle.home=WEB-INF\lib //kettlehome路径, 此处不用修改，但是需要将kettle8.0的环境变量文件kettle.properties拷贝替换掉项目路径km\WEB-INF\lib.kettle下的同名文件 kettle.plugin=E:\zhaxiaodong\plugins //kettle插件目录，可以自定义一个目录，然后将data-integration\plugins目录下所需的插件拷贝到此目录下 kettle.script=Html\js\libs\url //kettle所用到的js文件，目前未使用到 kettle.loglevel=detail //kettle日志级别 kettle.log.file.path=D:\data-integration\logs //执行kettle转换和作业产生的日志存放的路径 kettle.file.repository=D:\data-integration\test //存放上传的文件作业或文件转换的路径，此功能已屏蔽，无需修改

将data-integration目录下的simple-jndi和system文件夹拷贝到apache-tomcat-9.0.12\bin目录下配置\apache-tomcat-9.0.12\conf\ server.xml //配置端口号 … 启动tomcat Windows:apache-tomcat-9.0.12\bin\startup.bat; Linux: apache-tomcat-9.0.12\bin\startup.sh; 访问http://localhost:8080/km进入系统。

使用说明登陆访问http://localhost:8080/km进入登陆界面，用户名admin,密码admin

首页首页主要是显示监控信息，当一个任务（作业或转换）启动后，这个任务就处于被系统的监控状态下，首页展示了总监控任务数、监控作业数、监控转换数、转换监控记录（仅显示5条）、作业监控记录（仅显示5条）以及7天内作业和转换的监控状况。

资源库管理管理kettle数据库资源库的信息，可以新增、修改、删除数据库资源库。

任务管理 – 作业管理管理作业定时任务，可以新增、修改、删除作业定时任务，启动后作业即开始运行。

任务管理 – 转换管理管理转换定时任务，可以新增、修改、删除转换定时任务，启动后转换即开始运行。

任务管理 – 执行策略管理执行策略，可以新增、修改、删除执行策略（定时执行策略）。

监控管理 – 作业监控处于运行的作业会被系统监控，此处显示被监控的作业的监控信息，包括总作业任务数、总执行成功次数、总执行失败次数以及每个作业的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间，日志还可下载。

监控管理 – 转换监控处于运行的转换会被系统监控，此处显示被监控的转换的监控信息，包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间，日志还可下载。

用户管理此菜单只有admin用户登陆时显示，用户管理用户，admin用户可以新增用户、编辑用户、删除用户。

转载至链接:https://my.oschina.net/u/4023929/blog/2907276。

kettle8调度监控平台（kettle-scheduler）开源相关推荐

kettle的调度监控平台
项目源码:https://github.com/zhaxiaodong9860/kettle-scheduler 发布版本:https://pan.baidu.com/s/1DX2aCLlOIieHj ...
19.1 Linux监控平台介绍；19.2 zabbix监控介绍；19.3，19.4 安装zabbi
19.1 Linux监控平台介绍常见开源监控软件: 1. cacti.nagios.zabbix.smokeping.open-falcon等等 2. cacti.smokeping偏向于基础监控, ...
linux监控平台介绍、zabbix监控介绍、安装zabbix
linux监控平台介绍常见开源监控软件 cacti.nagios.zabbix.smokeping.open-falcon 等等. nagios和zabbix流行度很高. cacti.smokepi ...
Linux监控平台介绍、zabbix监控介绍、安装zabbix、忘记Admin密码如何做
Linux监控平台介绍常见开源监控软件 cacti.nagios.zabbix.smokeping.open-falcon等等. cacti.smokeping偏向于基础监控,成图漂亮. cacti ...
Linux监控平台（zabbix监控介绍，安装zabbix，解决忘记admin密码）
linux监控平台介绍常见开源监控软件:cacti,nagios,zabbix,smokeping,open-falcon等等 cacti,smokeping偏向于基础监控,成图非常漂亮 cacti ...
【开源】.net 分布式架构之监控平台
开源地址: http://git.oschina.net/chejiangyi/Dyd.BaseService.Monitor .net 简单监控平台,用于集群的性能监控,应用耗时监控管理,统一日志管 ...
开源运维管理软件排名_企业运维监控平台架构设计与实现（ganglia篇）
一.Cacti/Nagios/Zabbix/centreon/Ganglia之抉择 1.cacti Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具. 简 ...
360重磅开源性能监控平台ArgusAPM
12月16日,在360移动性能开放日上,360手机卫士技术架构负责人卜云涛向我们介绍了360最新开源的性能监控平台ArgusAPM.ArgusAPM是360手机卫士客户端团队继RePlugin之后开源 ...
360 重磅开源性能监控平台 ArgusAPM
12 月 16 日,在 360 移动性能开放日上,360 手机卫士技术架构负责人卜云涛向我们介绍了 360 最新开源的性能监控平台 ArgusAPM.ArgusAPM 是 360 手机卫士客户端团队继 ...
分布式系统监控平台-Overwatch架构设计（已开源）
作者介绍:张玄,毕业于南京大学软件学院.初中开始自学编程,高中参与上海计算机竞赛,荣获第一名.2016年毕业后就职于达达-京东到家基础架构团队,从事基础组件.系统监控等开发工作. Overwatch是 ...

kettle8调度监控平台（kettle-scheduler）开源

kettle8调度监控平台（kettle-scheduler）开源

kettle8调度监控平台（kettle-scheduler）开源相关推荐

最新文章

热门文章