StarRocks 简介
简介
StarRocks 是一款支持对海量数据进行快速分析的MPP(Massively Parallel Processing)大规模并行处理数据库。它采用新一代的弹性MPP架构,可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。
定位
StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的 MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。它采用了全面向量化技术,比同类产品平均快3-5倍。甚至在查询性能上远超当代最快的开源数据库 clickhouse
整体架构
StarRocks 的整体架构分为两层
- FE(Frontend)是前端节点。多个FE组成第一层,提供FE的横向扩展和高可用。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
- BE(Backend)是后端节点。多个BE组成第二层,负责数据存储与管理、查询计划执行等工作
FE 分为 follower 和 observer 两类。各个FE之间通过 bdbje (BerkeleyDB Java Edition)进行 leader 选举,数据同步等工作
- follower 节点通过选举,其中一个 follower 成为 leader 节点,负责原数据的写入操作。当 leader 节点宕机后,其他 follower节点会重新选举出一个 leader,保证服务的高可用
- observer 节点仅从 leader 节点进行元数据同步,不参与选举。可用横向扩展以提供元数据的读服务的扩展性
适用 dbje(Oracle Berkeley DB Java Edition)来实现元数据操作日志持久化、FE 高可用等功能。
StarRocks 的目录结构如下
应用
StarRocks 支持本地文件、实时数据和HDFS文件的导入、通过兼容MySQL协议,用户可以将原来通过各种主流BI工具和可视化平台,将业务切换到Doris
优势
- 完全兼容 MySQL协议
- 采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率
- 支持多种存储模型
- 支持两层分区
- 支持多数据导入方式
- 安全资源格力扩容缩容
- 备份恢复
- 支持web监控和管理
适用场景
- 高并发的点查询
- 高吞吐的即席查询
- BI报表分析
- 实时查询
相关资源
StartRocks 下载地址 https://www.starrocks.com/zh-CN/download/community
类型 | 名称 |
---|---|
数据迁移 | StarRocks Migration Tool |
数据迁移 | Flink Connector StarRocks |
数据迁移 | DataX Writer |
监控报警 | Grafana Dashboard |
扩展依赖 | Hive S3 lib |
StarRocks 简介相关推荐
- StarRocks(一)简介与手动部署
前言 关于 Apache Doris 和 DorisDB.StarRocks 的关系 Apache Doris和DorisDB是两个不同公司的产品.DorisDB开源后改名为StarRocks.现在的 ...
- 猿创征文|国产数据库[StarRocks]实战学习
目录 一.概述 1.StarRocks简介 1.1.StarRocks适合什么场景 1.2.StarRocks基本概念 1.3.StarRocks系统架构 1.4.数据管理 2.StarRocks安装 ...
- ClickHouse vs StarRocks 全场景MPP数据库选型对比
ClickHouse vs StarRocks 选型对比 面向列存的 DBMS 新的选择 Hadoop 从诞生已经十三年了,Hadoop 的供应商争先恐后的为 Hadoop 贡献各种开源插件,发明各种 ...
- 寒冬之下持续吸金,蛰伏30年的国产数据库终迎黄金时代?
作者|真梓(微信ID:315159284) Ray(微信ID:raylazy) 编辑|石亚琼 把冷板凳坐热的不仅有国内的半导体企业,还有一众国产数据库厂商.36氪不久前统计,在2020-2021年获得 ...
- EMR StarRocks 极速数据湖分析原理解析
简介:数据湖概念日益火热,本文由阿里云开源大数据 OLAP 团队和 StarRocks 数据湖分析团队共同为大家介绍" StarRocks 极速数据湖分析 "背后的原理. [首月9 ...
- 【圆梦名企】上海CA、StarRocks、亚信科技、贝壳找房、博乐科技、学科网众多岗位JD解读直播预告
为了帮助企业更好的应对用人难的挑战,CSDN面向所有企业全新升级了CSDN2022雇主品牌计划,在企业发展.吸引人才.连接人才.宣传公司多个维度提供专属的支持. ----本次为"金三银四&q ...
- 干货 | StarRocks在携程大住宿智能数据平台的应用
作者简介 Wenjun,携程资深软件工程师,负责大住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣. 一.平台现状 大住宿数据智能平台(简称HData)是一个为携程大住宿业务提供数据可视化的 ...
- 顺丰科技 x StarRocks :双十一实时运单分析实践
顺丰科技有限公司隶属于顺丰速运集团,成立于2009年,致力于构建智慧大脑,建设智慧物流服务.顺丰科技经过多年的自主研发,已经建成大数据整体生态系统,完成数据采集与同步.数据存储与整合.数据分析与挖掘. ...
- StarRocks从入门到精通系列六:使用EXPORT、Spark、Flink从StarRocks中导出数据
StarRocks从入门到精通系列六:使用EXPORT.Spark.Flink从StarRocks中导出数据 一.使用EXPORT导出数据 1.背景信息 2.导出流程 3.基本原理 4.相关配置 5. ...
最新文章
- c++ 怎么读取rtf文件_最全集合!Word、PPT、Excel、PDF文件转换方法大全!建议收藏...
- 设计模式 -- (7)外观模式
- vs找不到dll_零基础学习Python_绝对VS相对
- gj12-1 协程和异步io
- python和c混合编程 gil,如何在python中使用C扩展来解决GIL
- phpstudy下载、安装、配置、网站部署、卸载(windows下php、apache、nginx环境测试)
- [转]Effective C#原则4:用条件属性而不是#if
- Android 使用代码设置selector 的图片或文字颜色
- 2层框架结构柱子间距_3分钟牢记框架结构要点
- nodejs 下载最新版本
- KEIL5 C51软件安装详细图文教程
- get请求400错误 vue_VUE 配置proxy代理后,前台报错400 bad request
- 关于 TFT 、 TFD 、 UFB 、 STN 、 DSTN 和 OLED
- sonar代码质量检测告警“static“ base class members should not be accessed via derived types
- if函数多个条件php,excelif函数的多个条件使用方法
- php 获取qq头像,免费的API接口推荐(获取QQ昵称、头像、QQ秀等等)
- 常见WebShell客户端的流量特征及检测思路
- 如何用闲置手机/电脑摄像头,搭建远程视频监控
- spring cloud系列一:Cloud Native Applications
- java开发hadoop报错误 java.net.UnknownHostException
热门文章
- 双模sa_为什么NSA/SA双模的说法是错误的?为什么5G出来后你觉得4G慢了?
- 利用阿里CODE或码云的Webhooks功能,实现开发者push代码后服务器自动pull代码
- 揭秘字节跳动埋点数据实时动态处理引擎(附源码)
- 自己的微信小程序学习笔记【3】——第三方UI库Lin-Ui的加载及使用
- 浙江大学计算机考研分析
- Gaea源码阅读(三):服务端启动流程
- 美国与印度的职场文化有何差异?Ravi Krishnamurthy博士专访
- 巅峰之战,2021年中国移动创客马拉松大赛移动云专题赛决赛落幕!
- 服务器进入bios修改硬盘启动项,【BIOS设置】硬盘第一启动项修改
- openlayers 加载geoserve发布的WMS数据