简介

StarRocks 是一款支持对海量数据进行快速分析的MPP(Massively Parallel Processing)大规模并行处理数据库。它采用新一代的弹性MPP架构,可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。

定位

StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的 MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。它采用了全面向量化技术,比同类产品平均快3-5倍。甚至在查询性能上远超当代最快的开源数据库 clickhouse

整体架构

StarRocks 的整体架构分为两层

  • FE(Frontend)是前端节点。多个FE组成第一层,提供FE的横向扩展和高可用。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
  • BE(Backend)是后端节点。多个BE组成第二层,负责数据存储与管理、查询计划执行等工作

FE 分为 follower 和 observer 两类。各个FE之间通过 bdbje (BerkeleyDB Java Edition)进行 leader 选举,数据同步等工作

  • follower 节点通过选举,其中一个 follower 成为 leader 节点,负责原数据的写入操作。当 leader 节点宕机后,其他 follower节点会重新选举出一个 leader,保证服务的高可用
  • observer 节点仅从 leader 节点进行元数据同步,不参与选举。可用横向扩展以提供元数据的读服务的扩展性

适用 dbje(Oracle Berkeley DB Java Edition)来实现元数据操作日志持久化、FE 高可用等功能。

StarRocks 的目录结构如下

应用

StarRocks 支持本地文件、实时数据和HDFS文件的导入、通过兼容MySQL协议,用户可以将原来通过各种主流BI工具和可视化平台,将业务切换到Doris

优势

  • 完全兼容 MySQL协议
  • 采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率
  • 支持多种存储模型
  • 支持两层分区
  • 支持多数据导入方式
  • 安全资源格力扩容缩容
  • 备份恢复
  • 支持web监控和管理

适用场景

  • 高并发的点查询
  • 高吞吐的即席查询
  • BI报表分析
  • 实时查询

相关资源

StartRocks 下载地址 https://www.starrocks.com/zh-CN/download/community

类型 名称
数据迁移 StarRocks Migration Tool
数据迁移 Flink Connector StarRocks
数据迁移 DataX Writer
监控报警 Grafana Dashboard
扩展依赖 Hive S3 lib

StarRocks 简介相关推荐

  1. StarRocks(一)简介与手动部署

    前言 关于 Apache Doris 和 DorisDB.StarRocks 的关系 Apache Doris和DorisDB是两个不同公司的产品.DorisDB开源后改名为StarRocks.现在的 ...

  2. 猿创征文|国产数据库[StarRocks]实战学习

    目录 一.概述 1.StarRocks简介 1.1.StarRocks适合什么场景 1.2.StarRocks基本概念 1.3.StarRocks系统架构 1.4.数据管理 2.StarRocks安装 ...

  3. ClickHouse vs StarRocks 全场景MPP数据库选型对比

    ClickHouse vs StarRocks 选型对比 面向列存的 DBMS 新的选择 Hadoop 从诞生已经十三年了,Hadoop 的供应商争先恐后的为 Hadoop 贡献各种开源插件,发明各种 ...

  4. 寒冬之下持续吸金,蛰伏30年的国产数据库终迎黄金时代?

    作者|真梓(微信ID:315159284) Ray(微信ID:raylazy) 编辑|石亚琼 把冷板凳坐热的不仅有国内的半导体企业,还有一众国产数据库厂商.36氪不久前统计,在2020-2021年获得 ...

  5. EMR StarRocks 极速数据湖分析原理解析

    简介:数据湖概念日益火热,本文由阿里云开源大数据 OLAP 团队和 StarRocks 数据湖分析团队共同为大家介绍" StarRocks 极速数据湖分析 "背后的原理. [首月9 ...

  6. 【圆梦名企】上海CA、StarRocks、亚信科技、贝壳找房、博乐科技、学科网众多岗位JD解读直播预告

    为了帮助企业更好的应对用人难的挑战,CSDN面向所有企业全新升级了CSDN2022雇主品牌计划,在企业发展.吸引人才.连接人才.宣传公司多个维度提供专属的支持. ----本次为"金三银四&q ...

  7. 干货 | StarRocks在携程大住宿智能数据平台的应用

    作者简介 Wenjun,携程资深软件工程师,负责大住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣. 一.平台现状 大住宿数据智能平台(简称HData)是一个为携程大住宿业务提供数据可视化的 ...

  8. 顺丰科技 x StarRocks :双十一实时运单分析实践

    顺丰科技有限公司隶属于顺丰速运集团,成立于2009年,致力于构建智慧大脑,建设智慧物流服务.顺丰科技经过多年的自主研发,已经建成大数据整体生态系统,完成数据采集与同步.数据存储与整合.数据分析与挖掘. ...

  9. StarRocks从入门到精通系列六:使用EXPORT、Spark、Flink从StarRocks中导出数据

    StarRocks从入门到精通系列六:使用EXPORT.Spark.Flink从StarRocks中导出数据 一.使用EXPORT导出数据 1.背景信息 2.导出流程 3.基本原理 4.相关配置 5. ...

最新文章

  1. c++ 怎么读取rtf文件_最全集合!Word、PPT、Excel、PDF文件转换方法大全!建议收藏...
  2. 设计模式 -- (7)外观模式
  3. vs找不到dll_零基础学习Python_绝对VS相对
  4. gj12-1 协程和异步io
  5. python和c混合编程 gil,如何在python中使用C扩展来解决GIL
  6. phpstudy下载、安装、配置、网站部署、卸载(windows下php、apache、nginx环境测试)
  7. [转]Effective C#原则4:用条件属性而不是#if
  8. Android 使用代码设置selector 的图片或文字颜色
  9. 2层框架结构柱子间距_3分钟牢记框架结构要点
  10. nodejs 下载最新版本
  11. KEIL5 C51软件安装详细图文教程
  12. get请求400错误 vue_VUE 配置proxy代理后,前台报错400 bad request
  13. 关于 TFT 、 TFD 、 UFB 、 STN 、 DSTN 和 OLED
  14. sonar代码质量检测告警“static“ base class members should not be accessed via derived types
  15. if函数多个条件php,excelif函数的多个条件使用方法
  16. php 获取qq头像,免费的API接口推荐(获取QQ昵称、头像、QQ秀等等)
  17. 常见WebShell客户端的流量特征及检测思路
  18. 如何用闲置手机/电脑摄像头,搭建远程视频监控
  19. spring cloud系列一:Cloud Native Applications
  20. java开发hadoop报错误 java.net.UnknownHostException

热门文章

  1. 双模sa_为什么NSA/SA双模的说法是错误的?为什么5G出来后你觉得4G慢了?
  2. 利用阿里CODE或码云的Webhooks功能,实现开发者push代码后服务器自动pull代码
  3. 揭秘字节跳动埋点数据实时动态处理引擎(附源码)
  4. 自己的微信小程序学习笔记【3】——第三方UI库Lin-Ui的加载及使用
  5. 浙江大学计算机考研分析
  6. Gaea源码阅读(三):服务端启动流程
  7. 美国与印度的职场文化有何差异?Ravi Krishnamurthy博士专访
  8. 巅峰之战,2021年中国移动创客马拉松大赛移动云专题赛决赛落幕!
  9. 服务器进入bios修改硬盘启动项,【BIOS设置】硬盘第一启动项修改
  10. openlayers 加载geoserve发布的WMS数据