StreamX 1.2.3 正式发布, 唯快不破,支持 Flink 1.15 诸多更新来袭
亲爱的社区小伙伴们,我们很高兴地宣布,StreamX 今天迎来了 1.2.3 Release 版本的正式发布!本次增加了诸多新特性,修复了一些 bug ,对 StreamX 的易用性、稳定性等方面进行了加强,欢迎大家下载使用!
1. 重要更新
在 1.2.3 版本中,StreamX 支持了 最新的 Apache Flink 1.15.0 ,在使用上还是一如既往的简洁丝滑。同时支持了 Scala 2.11 / 2.12 从此可以自由的选择 Scala、重新划分了 Datastream Connector 模块、使得项目结构更清晰合理,增加了 ES 5 / 6 / 7 的 Datastream Connector ,开放了RESTApi 能力, 使得 StreamX 可以很方便的和其他系统集成。并且修复了一些 bug 。具体明细如下:
新增对 Scala 2.12 的支持
新增对 Flink 1.15 的支持
新增 RestApi 与外部系统的集成能力
新增 ES 5 / 6 / 7 Datastream connector
新增 Flink Cluster 集群管理 ( yarn | k8s )
新增 Flink SQL Pulsar connector
新增 Flink SQL Http connector
2. 修复增强
修复 hadoop 3 环境下 kerberos 认证续期相关的 bug
修复项目编译可能存在的不能输出日志的 bug
修复 tm managed memory参数设置不能为0的 bug
修复 jobId 为 0**0 导致任务恢复时不能正确识别 savepoint 的 bug
修复项目修改后未出现编译按钮, 不能重新编译项目的bug
增强在添加 Flink Home 时对 scala 版本的验证
重构 Datastream connector模块,模块和包名重新划分
连接器的示例程序迁移至 streamx-quickstart
3. 已有能力
系统管理
[√] 用户管理, 新增,修改,删除,多租户支持
[√] 角色管理, 新增,修改,删除
[√] 菜单管理, 新增,修改,删除, 权限管理(到按钮级别的权限控制)
[√] REST Token 管理
项目管理
[√] 项目创建,删除(目前只支持git)
[√] 项目编译,实时查看编译日志
[√] 项目列表过滤查询,分页
作业管理
[√] 作业创建,删除,编辑,更新,保存,常规参数配置
[√] 作业启动,停止,重启,删除,火焰图(非flink内置)
[√] 停止时自动savePoint,启动时从savePoint恢复
[√] 作业列表的查看,过滤,分页。
[√] 可视化 Flink SQL 编辑器,格式化,语法校验,保存
[√] flinkSQL 任务多版本的支持
[√] yarn-per-job 部署模式
[√] yarn-application 部署模式
[√] yarn-session部署模式
[√] k8s-native-application 部署模式
[√] k8s-native-session 部署模式
[√] standalone 部署模式
[√] 任务历史版本备份和回滚
[√] 任务启动失败的日志在线查看
[√] 任务依赖管理,支持标准maven pom坐标的依赖和手动上传jar
[√] 任务实时状态显示(实际任务保持一致)
[√] 任务监控,失败告警,发送邮件通知,自动重启
[√] 本地上传jar任务的支持
[√] 操作接口开放(REST请求可以控制任务启动|停止|savePoint等)
[√] 告警,重启策略, 针对checkpoint连续失败的处理(邮件告警|重启)
[√] 支持所有 Flink sql connector
[√] 支持所有 Flink UDF
兼容性
[√] Hadoop 2 / 3 的支持
[√] kerberos的认证支持
[√] 多版本flink的支持(flink 1.12.x,1.13.x, 1.14.x, 1.15.0)
[√] Scala 2.11 / 2.12 的支持
4. 感谢贡献者
StreamX 的发展离不开社区的 Contributor 们的付出的积极努力, 本次又涌现一批积极的开发者, Flink 1.15 、 RestApi、 Datastream connector重构、 Flink Cluster 管理 等几个核心特性都是社区的开发者独立贡献的, 特别感谢 @lvshaokang @lzyyy @wangqingrong @xxyykkxx 在上述核心特性中所作的努力, 真诚感谢本次所有参与开发测试讨论的小伙伴, 以下为 Contributor 名单, 排名不分先后:
ChunFu、Gilliam、benjobs、chengyuan、huzk、lvshaokang、lzyyy、sober、wangqingrong、wangrui、xxyykkxx、阿洋
5. 加入我们
StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自项目开源以来就受到很多同行的关注和认可,目前已经登记生产使用的用户有: 尚硅谷, INMOBI, JOYME , 联通数科... 更有百度这样的一线大厂。StreamX 开源刚满一年,目前全网累计 2k star,贡献者共计36位,总代码量已经突破11万行。StreamX 于 2021 年 11 月荣获开源中国「最有价值开源项目」。随后荣获「2021 年度 OSC 中国开源项目评选」的「最受欢迎项目」,并且陆续有多家IT教育机构出相关课程, 感谢大家支持, 我们会继续努力, 坚信未来会更好。
[贡献者墙]
[StreamX 用户墙]
流批一体,流式数仓,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们会积极进取,做好相关功能持续迭代优化,和社区所有小伙伴一起努力进一步建设好社区,让 StreamX 成为一个功能完善,体验更佳,用户更多的产品,再获得更多认可。真诚欢迎热爱开源的伙伴加入到社区中来,为做一个优秀实用的好项目献上一份自己的力量。
StreamX 1.2.3 正式发布, 唯快不破,支持 Flink 1.15 诸多更新来袭相关推荐
- 天下武功,唯快不破,论推荐系统的“实时性”
作者 | 王喆转载自知乎王喆的机器学习笔记 导读:周星驰著名的电影<功夫>里面有一句著名的台词--"天下武功,无坚不摧,唯快不破".如果说推荐系统的架构是那把" ...
- Redis 核心篇:唯快不破的秘密
" 天下武功,无坚不摧,唯快不破! " 学习一个技术,通常只接触了零散的技术点,没有在脑海里建立一个完整的知识框架和架构体系,没有系统观.这样会很吃力,而且会出现一看好像自己会,过 ...
- 项目启动 ora-00942:_如何解决大型软件项目开发难题?唯快不破!
目前多数信息管理软件可以满足行业内的通用需求,而在特殊流程和场景定制上成本很高.对于大型软件项目需求方来讲,主要面临三方面难题: l 软件行业专业性强,产品业务和技术实现衔接难: l 供应商及其输出品 ...
- 车主无忧:天下武功,唯快不破,神策让我们快人一步
速度是商业竞争的必杀技.近日,车主无忧与神策数据正式签约合作,神策数据将助力其挖掘数据价值的同时提高企业运营效率.加快产品迭代速度,在商业竞争中快人一步. 车主无忧一直致力于用数据指导工作决策,帮助企 ...
- 天下武功唯快不破,实时分析让企业决策又快又准
导语: 零点刚过,快递已至.尽管这背后有营销的痕迹,但不得不说双十一已不再是从前的双十一.是什么在支撑双十一变得更快?毫无疑问是技术,尤其是以内存计算为代表的实时分析技术,它正在让商业活动变得有迹可循 ...
- 天下武功无坚不破,唯快不破!
没有天下第一的武功,但如果你的速度够快(比如接近光速),必然无敌. 11 月 20 日晚,深圳龙岗爱联爱新小区里的 54 辆私家车被刮花,等到车主们调取监控录像后才发现,竟是 4 名年龄都不超过 10 ...
- # 天下武功无坚不破,唯快不破!
没有天下第一的武功,但如果你的速度够快(比如接近光速),必然无敌. 11 月 20 日晚,深圳龙岗爱联爱新小区里的 54 辆私家车被刮花,等到车主们调取监控录像后才发现,竟是 4 名年龄都不超过 10 ...
- 2017车载后市场年终回顾:天下武功,唯快不破
origin: http://www.esmchina.com/news/article/201701191035 短短一年内,百变大屏车机.4G大屏车机迅速成为市场主流并演变成红海市场,速度之快令人 ...
- Mendix低代码平台,唯快不破
关注我们牛年牛气冲天 6月4日,企业低代码应用开发全球领导者Mendix宣布,其业内首个一站式低代码平台Mendix 9全面上市.在"后疫情时代",为适应企业数字化转型速度不断加快 ...
最新文章
- Python使用Redis实现IP代理池
- neural network神经网络识别手写字体
- 怎么用c语言画出坐标曲线,c语言打印贝塞尔曲线坐标(三阶)
- wxPython布局管理
- django html 模板继承,Django模板的继承
- php测试号推送消息失败,信息发送失败是什么原因
- Linux笔记-nohup和
- profiling定位nodejs程序消耗情况
- ​全网首发,TensorFlow 2.0 中文视频教程来啦
- 【从0到1,搭建Spring Boot+RESTful API+Shiro+Mybatis+SQLServer权限系统】04、统一处理异常...
- esp32树莓派_用树莓派 DIY 宠物自动喂食机,再也不用担心家里的萌宠了
- ## CSP 201509-2 日期计算(C语言)(100分)
- 狸窝音频剪辑软件_干货资源之精选音频剪辑软件工具
- 图像复原matlab论文,基于matlab图像复原论文
- flash制作文字笔顺_汉字标准读音与笔顺Flash版
- Android8怎么格式化内存卡,安卓手机内存卡无法格式化怎么办【解方法决】
- 警惕非上架应用的下载和使用
- #第四章 星光灿烂4.1苍穹
- [2016ACM多校] HDU5784 极角序 正难则反
- 常用网络测试命令——arp命令、traceroute命令