Kettle 是业界开源ETL工具中，知名度最高且被引进各行业项目应用最早期。上线后当下如何了？“天下免费的午餐”真的香吗？以下是各用户早期上线后，深度使过其功能缺陷问题导致不能满足目前业务场景，如有以下需求，请谨慎启用开源工具。开启此类项目需慎始善终...... 后期人工写脚本、完善、弥补、更换、替代的成本远远高于初衷的“开源可节流”。避雷预看，前浪们对使用KETTLE&包装KETTLE的深度功能缺陷，总结如下：

随着数据量不断增加，KETTLE不能满足业务场景的需求
序号	功能缺陷	具体描述
1	管理调度	当前生产环境，成百上千个job需要管理，目前依赖Linux的crontab进行调度，需要自己写脚本，配置、管理相当烦碎麻烦 ETL工具BeeDI V10.0 功能组件即刻解决：作业调度、工作流调度
2	失败重跑	目前任务失败之后不能尝试自动重跑 ETL工具BeeDI V10.0 功能组件即刻解决：作业定时或工作流异常重试
3	依赖管理	当前工作场景中，需要梳理某几张表变动的影响范围，无法快速找到用到这几张变动表的任务及下游对应的表 ETL工具BeeDI V10.0 功能组件即刻解决：数据追溯
4	任务详情	数据的读取速度，处理速度，报错信息等不够直观、完整 ETL工具BeeDI V10.0 功能组件即刻解决：任务运行统计&自定义
5	hive交互	在hive建表时不可设定分区、分桶、压缩格式或其他参数的设置 ETL工具BeeDI V10.0 功能组件即刻解决：Bee脚本编辑
6	数据验证	验证数据同步不正常 ETL工具BeeDI V10.0 功能组件即刻解决：数据比对&数据分析

北京灵蜂纵横软件有限公司 ETL工具产品系列之高端即刻下载验证官网：BeeDI V10.0http://www.livbee.com

BeeDI V10.0 功能组件

作业调度：BeeDI V10.0 作业调度功能，支持任务的启动、定时优先级设置、暂停、忧复及停止等控制。作业调度 界面如：

工作流调度：BeeDI V10.0工作流调度功能，支持任务的定时循环，支持成功、失败及条件等任务控制路径，支持任务的并发处理，支持任务运行时的动态轨迹显示。工作流调度 界面如：

作业定时：BeeDI V10.0 作业调度功能，支持任务的启动、定时、优先级设置、暂停、忧复及停止等控制；作业支持定时启动，提供多种定时策略，包括日、周、月、工作日、时、分、秒等，通过对作业定时启动可实现作业的循环自动运行

工作流异常重试：BeeDI V10.0支持成功、失败、条件等三种任务控制路径，支持基于全局变量的条件路径转移；支持任务的循环运行

数据追溯： BeeDI V10.0 提供数据追溯功能，支持对集成环境涉及的任意表进行追溯，识别指定数据表从产生到最终使用途经的各个系统及对应的映射转换规则，在全局范围快速了解数据使用情况。数据追溯 界面如下：

Bee脚本编辑：BeeDI V10.0 集成bee脚本（公司自研发）开发环境支持，支持脚本编辑、运行、断点调试、变量值查看等功能。内置集成脚本,支持用户对任务的无限扩展。支持实现相当复杂的数据清洗及标准化。提供集成脚本开发环境(IDE)，采用类似C语言的语法，充分满足用户定制各种复杂ETL任务的需要。以下为Bee脚本编辑 调试界面：

数据比对：BeeDI V10.0提供任意数据库之间（Oracle、SQL Server、MySQL、Elasticsearch、Cassandra、MongoDB等）表的数据比对功能，支持异构表（不同表名，目标表字段可多于源表）、无主键表的比对，比对结果包含概要统计信息及差异数据明细对照表。以下为数据比对界面：

数据分析：BeeDI V10.0 提供数据统计分析功能，可查看任意数据库、文件或Hadoop数据分布情况，对数据进行量化分析，提供记录总数、算术和、平均值、最大值、最小值、方差及标准差指标分析，支持一维、二维、三维数据度量，按照维度特征自动输出饼图、趋势图、及直方图。

开源Kettle 包装Kettle 深度功能缺陷相关推荐

kafka开源版本quota限流功能缺陷
1.当前quota维度如下 /config/users/<user>/clients/<client id> /config/users/<user>/client ...
开源ETL工具kettle系列
开源ETL工具kettle系列之常见问题摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. J ...
开源ETL工具kettle系列之常见问题
摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join 我得到A 数据流(不管是基于文件或 ...
poi数据导入arcgis_借助kettle(PDI)的POST功能同步POI到arcgis server注册数据库
零,应用场景刚刚接触arcgis不久,最近有需求增量同步其他数据库的地理数据到arcgis server 使用的sql server数据库中,升级为Geodatabase的sqlserver数据库不 ...
易观：正视GPT-4功能缺陷与能力局限可更好探索大模型应用
易观:GPT-4于2023年3月14日正式发布.与前代相比,GPT-4的功能有着非常大的提升,易观认为其功能符合预期,也依旧存在前代即存在的功能缺陷类型与能力局限性.GPT-4的原有功能提升与新特性使 ...
java调用kettle自定义kettle.properties配置文件路径
java调用kettle自定义kettle.properties配置文件路径默认路径 java调用kettle的jar包时,在初始化环境的时候,会在指定路径创建并加载kettle的kettle.pr ...
《安富莱嵌入式周报》第310期：集成大语言模型的开源调试器ChatDBG, 多功能开源计算器，M7内核航空航天芯片评估板, Zigbee PRO规范
周报汇总地址:嵌入式周报 - uCOS & uCGUI & emWin & embOS & TouchGFX & ThreadX - 硬汉嵌入式论坛 - Pow ...
这可能就是你苦苦寻找开源、高颜值、功能强大的 Markdown 编辑器（共5款）
这可能就是你苦苦寻找开源.高颜值.功能强大的 Markdown 编辑器(共5款) Markdown 是一个轻量级的标记语言,语法简单.容易上手,它深受程序员.博客主等人群的钟爱.随着越来越多的博客系统 ...
基于 RageFrame2 的一款免费开源的基础商城销售功能的开源微商城
前言基于 RageFrame2 的一款免费开源的基础商城销售功能的开源微商城,前端基于 uni-app,一端发布多端通用,目前已经适配 H5.微信小程序.QQ小程序.Ios App.Android ...

开源Kettle 包装Kettle 深度功能缺陷

BeeDI V10.0 功能组件

开源Kettle 包装Kettle 深度功能缺陷相关推荐

最新文章

热门文章