准备

日志表的建表语句

基于oracle数据库

作业日志表

-- Create table
create table T_KETTLE_JOB_LOG
(id_job           INTEGER,channel_id       VARCHAR2(255),jobname          VARCHAR2(255),status           VARCHAR2(15),lines_read       INTEGER,lines_written    INTEGER,lines_updated    INTEGER,lines_input      INTEGER,lines_output     INTEGER,lines_rejected   INTEGER,errors           INTEGER,startdate        DATE,enddate          DATE,logdate          DATE,depdate          DATE,replaydate       DATE,log_field        CLOB,executing_server VARCHAR2(255),executing_user   VARCHAR2(255),start_job_entry  VARCHAR2(255),client           VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the table
comment on table T_KETTLE_JOB_LOGis 'KETTLE作业日志';
-- Add comments to the columns
comment on column T_KETTLE_JOB_LOG.id_jobis '批次ID（即作业ID），自递增，主键';
comment on column T_KETTLE_JOB_LOG.channel_idis '日志通道ID（GUID），跟Logging channel log table有关联';
comment on column T_KETTLE_JOB_LOG.jobnameis '作业名称';
comment on column T_KETTLE_JOB_LOG.statusis '执行状态（start、end、stop、running）';
comment on column T_KETTLE_JOB_LOG.lines_readis '最后一个转换，读取的行数';
comment on column T_KETTLE_JOB_LOG.lines_writtenis '最后一个转换，写入的行数';
comment on column T_KETTLE_JOB_LOG.lines_updatedis '最后一个转换，更新的行数';
comment on column T_KETTLE_JOB_LOG.lines_inputis '最后一个转换，从存储或网络（如文件、数据库等）读取的行数';
comment on column T_KETTLE_JOB_LOG.lines_outputis '最后一个转换，输出到存储或网络（如文件、数据库等）的行数';
comment on column T_KETTLE_JOB_LOG.lines_rejectedis '最后一个转换，因错误处理导致拒绝的行数';
comment on column T_KETTLE_JOB_LOG.errorsis '发生的错误数';
comment on column T_KETTLE_JOB_LOG.startdateis '开始执行时间（kettle的bug，始终是1900-01-01 7:00:00）';
comment on column T_KETTLE_JOB_LOG.enddateis '结束执行时间';
comment on column T_KETTLE_JOB_LOG.logdateis '最后记录日志的时间';
comment on column T_KETTLE_JOB_LOG.depdateis '依赖日期，作业设置中的依赖规则计算的最大日期。（不懂）';
comment on column T_KETTLE_JOB_LOG.replaydateis '重播日期，跟STARTDATE是同义词（不懂）';
comment on column T_KETTLE_JOB_LOG.log_fieldis '详细日志内容';
comment on column T_KETTLE_JOB_LOG.executing_serveris '哪个服务器在执行当前作业（主机名）';
comment on column T_KETTLE_JOB_LOG.executing_useris '采用存储库方式，则是登录存储库的用户；否则为当前系统的登录用户';
comment on column T_KETTLE_JOB_LOG.start_job_entryis '当前作业，从哪个转换开始执行（为空代表是从Start开始）';
comment on column T_KETTLE_JOB_LOG.clientis '客户端（SPOON、PAN、KITCHEN、CARTE）';
-- Create/Recreate indexes
create index IDX_T_KETTLE_JOB_LOG_TABLE_1 on T_KETTLE_JOB_LOG (ID_JOB)tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_2 on T_KETTLE_JOB_LOG (ERRORS, STATUS, JOBNAME)tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_3 on T_KETTLE_JOB_LOG (JOBNAME, LOGDATE)tablespace RHIN_CDR;
create index IDX_T_KETTLE_JOB_LOG_TABLE_4 on T_KETTLE_JOB_LOG (CHANNEL_ID)tablespace RHIN_CDR;

作业日志通道表

-- Create table
create table T_KETTLE_JOB_CHANNEL_LOG
(id_batch             INTEGER,channel_id           VARCHAR2(255),log_date             DATE,logging_object_type  VARCHAR2(255),object_name          VARCHAR2(255),object_copy          VARCHAR2(255),repository_directory VARCHAR2(255),filename             VARCHAR2(255),object_id            VARCHAR2(255),object_revision      VARCHAR2(255),parent_channel_id    VARCHAR2(255),root_channel_id      VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the columns
comment on column T_KETTLE_JOB_CHANNEL_LOG.id_batchis '批次ID（即作业ID），与t_kettle_job_log的id_batch字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.channel_idis '日志通道ID（GUID），跟t_kettle_step_log的channel_id字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.log_dateis '最后记录日志的时间';
comment on column T_KETTLE_JOB_CHANNEL_LOG.logging_object_typeis '被记录对象的类型（如JOB、JOBENTRY、DATABASE、STEP、TRANS）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_nameis '被记录对象的名称（跟LOGGING_OBJECT_TYPE是一对）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_copyis '被记录步骤对象的复制（不懂）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.repository_directoryis '资源库（或存储）的目录，貌似是JOB、TRANS才有';
comment on column T_KETTLE_JOB_CHANNEL_LOG.filenameis 'JOB、JOBENTRY、TRANS的路径（只有作业、转换才有）';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_idis '当前对象ID';
comment on column T_KETTLE_JOB_CHANNEL_LOG.object_revisionis '当前对象版本';
comment on column T_KETTLE_JOB_CHANNEL_LOG.parent_channel_idis '所属转换日志的日志通道ID，跟t_kettle_transformation_log的channel_id字段有关联';
comment on column T_KETTLE_JOB_CHANNEL_LOG.root_channel_idis '所属作业日志的日志通道ID，跟t_kettle_job_log的channel_id字段有关联';
-- Create/Recreate indexes
create index IDX_T_KETTLE_JOB_CHANNEL_LOG_TABLE_1 on T_KETTLE_JOB_CHANNEL_LOG (CHANNEL_ID)tablespace RHIN_CDR;

转换日志表

-- Create table
create table T_KETTLE_TRANSFORMATION_LOG
(id_batch         INTEGER,channel_id       VARCHAR2(255),transname        VARCHAR2(255),status           VARCHAR2(15),lines_read       INTEGER,lines_written    INTEGER,lines_updated    INTEGER,lines_input      INTEGER,lines_output     INTEGER,lines_rejected   INTEGER,errors           INTEGER,startdate        DATE,enddate          DATE,logdate          DATE,depdate          DATE,replaydate       DATE,log_field        CLOB,executing_server VARCHAR2(255),executing_user   VARCHAR2(255),client           VARCHAR2(255)
)
tablespace RHIN_CDR;
-- Add comments to the table
comment on table T_KETTLE_TRANSFORMATION_LOGis 'KETTLE转换日志';
-- Add comments to the columns
comment on column T_KETTLE_TRANSFORMATION_LOG.id_batchis '批次ID（即转换ID），自递增';
comment on column T_KETTLE_TRANSFORMATION_LOG.channel_idis '日志通道ID（GUID），跟Logging channel log table有关联';
comment on column T_KETTLE_TRANSFORMATION_LOG.transnameis '转换名称';
comment on column T_KETTLE_TRANSFORMATION_LOG.statusis '执行状态（start、end、stop、running）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_readis '特定步骤，读取的行数（没数据，没用的）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_writtenis '特定步骤，写入的行数（没数据，没用的）';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_updatedis '特定步骤，执行的更新语句的数量';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_inputis '特定步骤，从存储或网络（如文件、数据库等）读取的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_outputis '特定步骤，输出到存储或网络（如文件、数据库等）的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.lines_rejectedis '特定步骤，因错误处理导致拒绝的行数';
comment on column T_KETTLE_TRANSFORMATION_LOG.errorsis '发生的错误数';
comment on column T_KETTLE_TRANSFORMATION_LOG.startdateis '开始执行时间（kettle的bug，有些是1900-01-01 7:00:00）';
comment on column T_KETTLE_TRANSFORMATION_LOG.enddateis '结束执行时间';
comment on column T_KETTLE_TRANSFORMATION_LOG.logdateis '最后记录日志的时间';
comment on column T_KETTLE_TRANSFORMATION_LOG.depdateis '依赖日期，作业设置中的依赖规则计算的最大日期。（不懂）';
comment on column T_KETTLE_TRANSFORMATION_LOG.replaydateis '重播日期，跟STARTDATE是同义词（不懂）';
comment on column T_KETTLE_TRANSFORMATION_LOG.log_fieldis '详细日志内容';
comment on column T_KETTLE_TRANSFORMATION_LOG.executing_serveris '哪个服务器在执行当前作业（主机名）';
comment on column T_KETTLE_TRANSFORMATION_LOG.executing_useris '采用存储库方式，则是登录存储库的用户；否则为当前系统的登录用户';
comment on column T_KETTLE_TRANSFORMATION_LOG.clientis '客户端（SPOON、PAN、KITCHEN、CARTE）';
-- Create/Recreate indexes
create index IDX_T_KETTLE_TRANSFORMATION_1 on T_KETTLE_TRANSFORMATION_LOG (ID_BATCH)tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_2 on T_KETTLE_TRANSFORMATION_LOG (ERRORS, STATUS, TRANSNAME)tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_3 on T_KETTLE_TRANSFORMATION_LOG (TRANSNAME, LOGDATE)tablespace RHIN_CDR;
create index IDX_T_KETTLE_TRANSFORMATION_4 on T_KETTLE_TRANSFORMATION_LOG (CHANNEL_ID)tablespace RHIN_CDR;

转换步骤日志表

-- Create table
create table T_KETTLE_STEP_LOG
(id_batch       INTEGER,channel_id     VARCHAR2(255),transname      VARCHAR2(255),stepname       VARCHAR2(255),step_copy      INTEGER,lines_read     INTEGER,lines_written  INTEGER,lines_updated  INTEGER,lines_input    INTEGER,lines_output   INTEGER,lines_rejected INTEGER,errors         INTEGER,log_field      CLOB,log_date       DATE
)
tablespace RHIN_CDR;
-- Add comments to the table
comment on table T_KETTLE_STEP_LOGis 'KETTLE转换-步骤日志';
-- Add comments to the columns
comment on column T_KETTLE_STEP_LOG.id_batchis '批次ID（转换ID），自递增，主键';
comment on column T_KETTLE_STEP_LOG.channel_idis '日志通道ID（GUID），跟t_kettle_job_channel_log的channel_id字段有关联';
comment on column T_KETTLE_STEP_LOG.transnameis '转换名称';
comment on column T_KETTLE_STEP_LOG.stepnameis '步骤名称';
comment on column T_KETTLE_STEP_LOG.step_copyis '当前步骤复制的数量';
comment on column T_KETTLE_STEP_LOG.lines_readis '从上一个步骤读取的数量';
comment on column T_KETTLE_STEP_LOG.lines_writtenis '输出到跟随的步骤（因为支持并发多个步骤）。假设输入1w条数据，且跟随两个步骤，那么LINES_WRITTEN是2w（1w * 2）';
comment on column T_KETTLE_STEP_LOG.lines_updatedis '当前步骤，执行的更新语句的数量';
comment on column T_KETTLE_STEP_LOG.lines_inputis '当前步骤，从来源（文件、数据库、网络等），读取的行数';
comment on column T_KETTLE_STEP_LOG.lines_outputis '当前步骤，输出到输出端（文件、数据库、网络等）的行数';
comment on column T_KETTLE_STEP_LOG.lines_rejectedis '当前步骤，因错误处理导致拒绝的行数';
comment on column T_KETTLE_STEP_LOG.errorsis '当前步骤，发生的错误数';
comment on column T_KETTLE_STEP_LOG.log_fieldis '当前步骤，产生的详细日志内容';
comment on column T_KETTLE_STEP_LOG.log_dateis '当前步骤，最后记录日志的时间';
-- Create/Recreate indexes
create index IDX_T_KETTLE_STEP_1 on T_KETTLE_STEP_LOG (ID_BATCH, TRANSNAME, LOG_DATE)tablespace RHIN_CDR;
create index IDX_T_KETTLE_STEP_2 on T_KETTLE_STEP_LOG (ERRORS)tablespace RHIN_CDR;

转换

前提

都是单击两次空白处，进入配置弹窗，点击Logging页签
把所有字段都勾选上

转换日志表

Log Connection： 创建的数据库连接的名称
Log table schema： 所属数据库
Log table name： 日志表名
Logging interval（seconds）： 多久记录一次（单位：秒）。执行比较久时，可以指定这个配置，隔一段时间，就将当前日志记录下来。不设置则跑完了才记录
Log record timeout（in days）： 保留多少天的日志。每次运行时，自动判断+自动清理
Log size limit in lines： 记录多少行日志。截取行，不设置则完整日志

转换步骤日志表

Log Connection： 创建的数据库连接的名称
Log table schema： 所属数据库
Log table name： 日志表名
Log record timeout（in days）： 保留多少天的日志。每次运行时，自动判断+自动清理

作业

前提

都是单击两次空白处，进入配置弹窗，点击Log页签
把所有字段都勾选上

作业日志表

Log Connection： 创建的数据库连接的名称
Log schema： 所属数据库
Log table： 日志表名
Logging interval（seconds）： 多久记录一次（单位：秒）。执行比较久时，可以指定这个配置，隔一段时间，就将当前日志记录下来。不设置则跑完了才记录
Log line timeout（in days）： 保留多少天的日志。每次运行时，自动判断+自动清理
Log size limit in lines： 记录多少行日志。截取行，不设置则完整日志

作业日志通道表

Log Connection： 创建的数据库连接的名称
Log schema： 所属数据库
Log table： 日志表名
Log line timeout（in days）： 保留多少天的日志。每次运行时，自动判断+自动清理

KETTLE执行监控（一）：界面配置方式相关推荐

kettle连接常用数据库JNDI配置方式
kettle连接几种常用数据库JNDI配置方式如下: 1.mysql数据库jndi配置: #mysql_local mysql/type=javax.sql.DataSource mysql/driv ...
学习笔记（5）——实验室集群LVS监控Web界面配置
症状:通过虚拟IP能访问到监控页面:http://192.168.253.110/ipvsadm.php,但是却无法读出LVS任务分发及集群负载信息. 打开ipvsadm.php页面,源码如下: &l ...
python实现监控数据界面_python 监控界面
MySQL MTOP - 开源 MySQL 企业监控系统 MySQLMTOP是一个由Python+PHP开发的MySQL企业级监控系统.系统由Python实现多进程数据采集和告警,PHP实现WEB展示 ...
zabbix监控web界面和Zabbix监控配置
zabbix监控web界面 zabbix监控web界面每个功能的说明 1 监测 1.1 仪表盘 1.2问题 1.3 主机主机是指网络上可以被监控的对象,包括物理机.虚拟机.路由器.打印机.java虚 ...
阿里巴巴 Druid 数据库连接池监控界面配置的参数解读
阿里巴巴 Druid 数据库连接池监控界面配置的参数解读 1.可选的配置项 Property Name Default Value Remarks name 存在多个数据源的时候用于识别数据源 jdb ...
grafana mysql demo_通过官网模板轻松实现Grafana的可视化界面配置（以MySQL监控项为例）...
MySQL 数据库通过官网模板轻松实现Grafana的可视化界面配置(以MySQL监控项为例) 我们知道可视化是监控的一个重要环节,所以往往我们这个环节花费大量的时间和精力.可是如果可以借鉴前辈的经 ...
Nagios监控系统安装及配置文档
3. 前言做为系统管理员,管理着几十台或几百台服务器在运行.一个非常迫切的需求就是希望了解服务器及服务器上运行的服务的运行状况,在服务器或服务出现当机或停止的时候能够第一时间知道,及时处理.以便最小 ...
java制作h5视频聊天_JAVA实现大华摄像头WEB方式实时显示视频,H5界面展示方式思路。...
JAVA实现大华摄像头WEB方式实时显示视频,H5界面展示方式思路. 2018-09-17 问题:大华IPC枪型摄像头需要在WEB中显示实时监控视频,官方提供的SDK只有C#的桌面程序访问方式. 解决 ...
Zabbix监控网络设备模板配置
一.SNMP简介设备支持简单网络管理协议(Simple Network Management Protocol),简称为SNMP.SNMP是应用层协议,它通过标准框架.公共语言和相对应的安全机制来监 ...

KETTLE执行监控（一）：界面配置方式

文章目录

准备

日志表的建表语句

作业日志表

作业日志通道表

转换日志表

转换步骤日志表

转换

前提

转换日志表

转换步骤日志表

作业

前提

作业日志表

作业日志通道表

KETTLE执行监控（一）：界面配置方式相关推荐

最新文章

热门文章