前言

腾讯云弹性MapReduce是结合云技术和 Hadoop、Hive、Spark、Hbase、Presto、Flink、Druid、ClickHouse 等社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端泛 Hadoop 大数据架构。

一、弹性MapReduce产品架构

EMR 主要由开源组件、腾讯云基础设施和集群管理三部分构成：
1)   开源组件；
2)   腾讯云基础设施
3)   集群管理

二、弹性MapReduce 应用功能

弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术，为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。其主要功能体现在以下方面：
1.弹性伸缩：
(1)分钟级集群创建
(2)分钟级集群扩缩容
(3)API 支持
2.存储计算分离：
(1) 集群内存储计算分离
(2) 基于 COS 的存储计算分离
3.运维支撑：
(1) 监控与多渠道告警
(2)技术服务支持
(3)安全

三、弹性MapReduce优势

与自建 Hadoop 集群相比，弹性 MapReduce 能提供更方便、更安全、更可靠的云端 Hadoop 服务。
1.灵活；
2.可靠；
3.安全；
4.易用；
5. 节约成本；

四、弹性MapReduce试用场景

1.离线数据分析
把游戏、Web 应用、手机 App 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后，可借助于 Hue 等工具，使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。可使用 Sqoop 等工具加载分散于各 TencentDB 或其他存储引擎的数据，并把分析后的数据同步到 TencentDB，为 RayData 这样的数据可视化产品提供数据支撑。

在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件之后，可在 EMR 产品中选择合适的流式数据处理引擎来分析数据，以实现对业务变动的实时告警；还可以把分析结果实时同步到 TencentDB 等存储引擎，以便于通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。

2.流式计算
把游戏、Web 应用、手机 App 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后，可借助于 Hue 等工具，使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。可使用 Sqoop 等工具加载分散于各 TencentDB 或其他存储引擎的数据，并把分析后的数据同步到 TencentDB，为 RayData 这样的数据可视化产品提供数据支撑。

3.分析COS数据
可通过 EMR 产品快速分析存储于 COS 上的海量数据，以实现彻底的存储计算分离。通过这样的设计，可充分利用 COS 提供的丰富数据同步工具，同时还可以让多个不同版本 Hadoop 集群分析同一份数据，以满足数据一致性及历史原因导致的多版本 Hadoop 集群共存的问题。

总结

本文大概介绍了EMR产品，后面会把搭建过程分享出来。

腾讯云弹性MapReduce相关推荐

i 智慧 | 计算产业发展黄金10年腾讯云弹性计算抢占计算蓝海
戳蓝字"CSDN云计算"关注我们哦! 作者 | 刘丹出品 | CSDN云计算(ID:CSDNcloud) 近年来,随着云计算如火如荼的发展,上云已经成为当前企业发展的必然选择.在 ...
腾讯云弹性伸缩工程优化揭秘
本期溪歪歪专栏将带大家一起探索,关于腾讯云弹性计算产品的技术设计要点. 在各行各业都一定程度上适用这句话:Those who talk don't know, and those who know d ...
腾讯云EMR基于YARN针对云原生容器化的优化与实践
导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期.实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中.离在线业务分开部署的首要问题 ...
腾讯云重磅发布系列自研产品，自研服务器星星海为云而生
今日在腾讯全球数字生态大会成都峰会上,腾讯云重磅发布系列自研产品,包括腾讯自研第四代数据中心T-block产品家族.第一款真正为云而生的自研服务器"星星海"等基础产品,结合现场发布 ...
腾讯云首次披露云原生智能数据湖全景图，数据湖之争再起波澜
(图片下载自视觉中国) 数据湖并不是一个很有历史感的概念,从2010年才首次被Pentaho创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出,至今发展仅有十多年,但已经成为一个谈到大数据 ...
腾讯云 coding使用
https://coding.net/help 文章目录功能目录代码仓库持续集成使用详解持续部署使用应用中心.应用管理 Orbit 旧版新版功能目录 |- 团队 | |- 项目 | ...
云端数智新引擎，腾讯云原生数据湖计算重磅发布
引言是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对 ...
腾讯云运维工程师认证TCA--真题（最新2022.11）
腾讯云运维工程师认证TCA题库,覆盖95%题目. 1.TSF控制台的配置中心,目前支持以下哪一种格式的配置文件? JSON格式 XML格式 YAML格式 Properties配置格式正确答案:C 解 ...
day16-硅谷课堂-腾讯云部署
硅谷课堂第十六天-腾讯云部署文章目录硅谷课堂第十六天-腾讯云部署一.项目部署方案 1.原始部署方式 2.整合Jenkins 3.整合CODING 二.腾讯云CODING DevOps概述 1.产 ...
硅谷课堂 16_腾讯云部署
硅谷课堂第十六天-腾讯云部署文章目录硅谷课堂第十六天-腾讯云部署一.项目部署方案 1.原始部署方式 2.整合Jenkins 3.整合CODING 二.腾讯云CODING DevOps概述 1.产 ...

腾讯云弹性MapReduce

文章目录

前言

一、弹性MapReduce产品架构

二、弹性MapReduce 应用功能

三、弹性MapReduce优势

四、弹性MapReduce试用场景

总结

腾讯云弹性MapReduce相关推荐

最新文章

热门文章