openGemini正式加入openEuler DB SIG,携手开展全方面技术创新
2023年2月,openGemini正式申请加入openEuler DB SIG,现已完成对openEuler的各项兼容性测试,并计划加入openEuler 23.03版本。
openGemini可在物联网、嵌入式、边缘计算、运维监控(AIOps)等领域与openEuler社区展开合作,充分利用自身技术竞争优势,增强openEuler社区的影响力和竞争力的同时,不断挖掘新的机遇和技术创新点,进一步提升openGemini的技术实力和社区品牌知名度。
项目地址
https://github.com/openGemini
https://gitee.com/src-openeuler/openGemini
项目官网
http://opengemini.org
openGemini简介
openGemini是由华为云数据库创新实验室自行设计、研发并面向全球开源的一款云原生分布式时序数据库。主要面向物联网和运维监控等场景,提供海量时序数据库处理和分析的开源解决方案,以进一步降低企业运营和运维成本,提升产品质量和生产效率。
openGemini发展历程
![](/assets/blank.gif)
如图所示,openGemini经历了最初由InfluxDB改造的技术探索,到云服务商用、自研内核增强和开源等多个阶段的发展,经受住了华为云内外部100余家用户不同业务场景的打磨和检验,现已开放全部核心源码,全面拥抱开源,打造共享、共治、共建的开发社区,构建全球技术生态和影响力。
openGemini的架构
![](/assets/blank.gif)
openGemini采用MPP大规模并行处理分层架构,由ts-sql、ts-store、ts-meta组成。
ts-sql:统一处理客户端请求
数据按照时间线一致性Hash方式打散存储在不同的ts-store中,在查询语句执行期间,从ts-store获取数据并汇总,并返回客户端
ts-meta:统一元数据管理
数据库集群元数据和数据库元数据管理,如节点信息、数据保留时间、数据分区信息、表信息等
ts-store:统一数据管理
将原始数据按时序优化的数据格式进行统一组织和存储,查询时,按指定时间范围和时间线ID查询数据,并根据过滤条件,返回目标数据
openGemini的核心竞争力
openGemini开源后持续版本迭代,现已发布v1.0.0版本,在高性能、高安全、企业级特性、可扩展性、功能、应用开发等六个方面已全面具备生产环境可使用的完整能力。
高性能
openGemini针对物联网、运维监控等领域海量数据管理和分析诉求,对计算引擎和存储引擎做了大量的优化设计,取得了明显效果。
支持亿级指标管理
每秒千万级指标数据并发写入
查询万级指标数据毫秒级响应
在30万指标,259亿条指标测试数据的场景下,采用TSBS性能测试工具,相比开源的单机版InfluxDB v1.7,openGemini单机版写入性能提升5倍,简单查询提升2-5倍,复杂查询响应时间缩短60倍以上。
![](/assets/blank.gif)
高安全
openGemini支持数据传输加密和用户密码鉴权,支持用户弱密码校验和审计日志。此外,openGemini集群的各组件之间通信可配置HTTPS双向认证(Mutual TLS),确保每一个链接都是可信的。
企业级特性
openGemini具备丰富的企业级特性,部分关键特性如下:
高效数据压缩
采用列式数据存储,不同数据类型对应不同的数据压缩算法,可支持PB级指标数据的长期数据存储。存储成本是传统关系型数据库 1/20,是NoSQL的 1/10
支持数据保留策略
数据过期后自动删除
支持写前日志(WAL)
设备掉电后,缓存数据不丢失
流计算
当数据量较大时,传统降采样工作方式对磁盘I/O消耗过大,I/O放大也很严重。可通过流式计算,写入数据的同时实现数据降采样,该方法具有高性能、网络开销小的优点
数据分级存储
结合时序数据特点,数据按热、温、冷多级存储,进一步提升查询性能
内核运行状态可观测
提供了开源监控工具ts-monitor,可采集260余种内核和服务器关键监控指标,更好的观察系统的运行状况,快速排查、定位和解决问题
多级降采样
可针对不同时间范围的历史数据进行不同方式的降采样,保留历史数据的特征,原地删除其余历史数据,节约存储空间50%,计算资源节约90%
向量化
充分利用架构的并行处理优势,每次迭代批量返回数据,大数据量下查询性能更好
异常检测和预测
内置基于AI的时序异常检测和预测分析框架,具备流批一体、严重程度分级等多项能力,支持每秒万级实时指标数据并发检测,内含13种异常检测器,可覆盖常见的离群点、数值变化、阈值、持续上升下降等常见时序异常场景
可扩展性
openGemini集群由ts-sql、ts-store、ts-meta组成,支持单一组件独立横向扩展,可支持100+节点的集群规模。
功能
openGemini提供丰富的聚合算子(如COUNT、SUM、MAX等)、统计分析算子(如PERCENTILE分位数、DIFFERENCE等)、算术分析算子(如ABS、LN等)、Full Join、近似统计算子以及字符串算子(如SUBSTR、STR等)共60+个。此外,还支持秒、毫秒、纳秒等多种时间精度以及TAG(分组查询)和嵌套查询。
应用开发(技术生态)
![](/assets/blank.gif)
如图所示,在时序大数据处理方面,openGemini已初步完成对数据接入、数据存储、数据可视化、数据分析、数据迁移等各环节关键能力构建和技术生态对接。
在云原生方面,openGemini已支持K8s、KubeEdge容器化部署,正在积极和KubeEdge社区进行联合创新。
在底层操作系统方面,openGemini支持主流的Linux系统和x86、arm64等架构。
在应用开发方面,支持C/C++、Java、JavaScript、Ruby、GO、Python、PHP等主流的开发语言。
总结
openGemini具备卓越的读写性能和高效的数据分析能力,支持单机和集群,部署形式多样,可边缘、可云、可物理机部署,支持主流开发语言,二进制运行,无第三方组件依赖,带有260+项系统运行指标监控,运维简单。
独木难成林,百川聚江海。openGemini与openEuler共同携手,双方将在IoT、AIOps、嵌入式、边缘计算等领域深化技术解决方案集成,开展线上开源协作和线下社区互动等方面合作,努力为全球开发者提供一流的行业解决方案。
了解更多openGemini咨询,欢迎关注openGemini公众号
openGemini正式加入openEuler DB SIG,携手开展全方面技术创新相关推荐
- openGemini正式加入openEuler SIG-DB ,携手开展全方面技术创新
2023年2月,openGemini正式申请加入openEuler DB SIG,现已完成对openEuler的各项兼容性测试,并计划加入openEuler 23.03版本.openGemini可在物 ...
- 开源之夏2023 | 欢迎申请openEuler Embedded SIG开发任务
关于开源之夏 开源之夏是开源软件供应链点亮计划下的暑期活动,由中科院软件研究所与openEuler社区联合主办,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展. 活动联合各 ...
- 英特尔On技术创新峰会:携手开发者打造开放生态系统
2021年10月28日,英特尔On技术创新峰会(Intel Innovation)正式开幕,归根溯源重新拥抱广大开发者,强调对开发者社区的承诺,以及英特尔横跨软件和硬件的开发者至上的理念.在此次峰会期 ...
- 图技术创新新高地!创邻港科大(广州)图数据联合实验室正式成立!
3月30日上午,浙江创邻科技有限公司(以下简称:创邻科技)与香港科技大学(广州)(以下简称:港科大(广州))合作共建的"创邻图数据联合实验室"在香港科技大学(广州)校园内正式揭牌. ...
- 众美集团携手行业伙伴 聚焦城镇创新与城市更新
众美集团携手行业伙伴 聚焦城镇创新与城市更新 众美集团作为正在转型中的定制生活服务商,自成立以来,一直探索践行定制服务模式,同时秉承"携手伙伴,定制美好生活"的使命,与社会各界伙伴 ...
- 虹膜识别专家张慧博士正式加入中科虹霸,主攻技术创新和场景落地
机器之心报道 作者:藤子 2017 年 9 月,虹膜识别专家.中国科学院软件研究所副研究员张慧博士正式加盟中科虹霸,创立创新实验室,负责生物特征识别的核心算法研发,专注于虹膜识别技术创新和场景落地. ...
- 华为云发布三大生态举措,携手伙伴及开发者共创新价值
摘要:2022年是华为云与开发者.伙伴共同加速成长的一年.目前,华为云生态已聚合了全球超过350万开发者,相比去年同期增长1.3倍:汇聚41000多家合作伙伴,相比去年增长1.4倍:越来越多的开发者和 ...
- IT实践达人赛携手IBM续写“技术精神”
2012 年 12 月 18 日, IBM 在京举办 IT 实践达人赛之"行业应用创新设计大赛"新闻发布会.该大赛将延续在 2012 年 8 月举行的首届 IBM 软件技术峰会&q ...
- Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍
转载自:http://blog.csdn.net/kanghua/article/details/44650831 Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍 1. 背景介绍 ...
最新文章
- autowired注入为 mapper为null_兰新高铁为区域经济发展注入活力
- B站获得英雄联盟赛事直播三年独播版权
- 开源项目:SandDance-数据可视化
- org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].Standard
- 下列哪个python语句是正确的_Python笔试面试题_牛客(待完善)
- jira7.3.6添加导出excel的按钮
- 精心整理的10套最美Web前端新年特效--提前祝大家新年快乐
- 【概率论与数理统计】猴博士 笔记 p24-25 条件概率密度函数、求两个随机变量形成的函数的分布
- C++字符串常量总结(包含表达式必须是可修改的左值问题)
- 塑胶卡扣弹性计算公式_塑胶产品结构设计卡扣
- 30天自制操作系统(day1)
- 怎么给图片换背景?点开收货一些新方法
- string头文件函数
- 北京圣思园视频下载及时跟新
- redis 查看的版本
- 有哪些靠谱的服务器安全软件?
- ZOL桌面壁纸的提取
- HTG评论RAVPower Bolt:您渴望的多合一充电器
- freopen重定向函数
- lua中面向对象(class)