Cloudera Manager是什么？

官方解释：Cloudera Manager是业界公认的用于管理生产中Hadoop的工具。
Cloudera Manager是一个管理CDH的端到端的应用。
作用：管理监控诊断集成

如图1所示

理解Cloudera Manager

6.1 产生的背景

6.1.1 Apache版本的大数据组件

Hadoop的原始版本为Apache的开源版本，在国内的使用非常多。

6.1.1.1 优点

完全开源，更新速度很快
大数据组件在部署过程中可以深刻了解其底层原理
可以了解各个组件的依赖关系

6.1.1.2 缺点

部署过程极其复杂，超过20个节点的时候，手动部署已经超级累
各个组件部署完成后，各个为政，没有统一化管理界面
组件和组件之间的依赖关系很复杂，一环扣一环，部署过程心累
各个组件之间没有统一的metric可视化界面，比如说hdfs总共占用的磁盘空间、IO、运行状况等
优化等需要用户自己根据业务场景进行调整（需要手工的对每个节点添加更改配置，效率极低，我们希望的是一个配置能够自动的分发到所有的节点上）

6.1.3 CDH版本大数据组件

正是为了解决Apache原生版本的各种缺陷，诞生了可以使用Cloudera Manager进行管理的CDH版本。CDH是Apache Hadoop和相关项目中最完整、最稳定的、经过测试和最流行的发行版。Cloudera Manager是用于管理CDH群集的B/S应用程序。

6.1.3.1 优点

统一化的可视化界面自动部署和配置，大数据各类组件(hadoop、hive、hue、kudu、impala、zookeeper等)安装、调优极其便捷零停机维护（免费版本不具有弹性升级）
多用户管理（权限控制）
稳定性极好（部分优化措施都已经调整好）

6.1.3.2 缺点

server和agent需要占用额外的内存和cpu(server占用内存为2G，agent占用内存1G，总共cpu为0.5核)
对linux常用命令需要了解颇深
对hadoop的apache版本有一定的安装经验和调优经验

6.2 ClouderaManager介绍

Cloudera Manager是用于管理CDH群集的B/S应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。
使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务（Hadoop、Hive、Spark、Kudu）。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟; 并提供运行主机和服务的集群范围的实时监控视图; 提供单个中央控制台，以在整个群集中实施配置更改; 并集成了全套的报告和诊断工具，可帮助优化性能和利用率。

6.3 ClouderaManager应用场景

适用于节点在5个以上的集群，小公司用到的服务较少时，为了节省服务器等资源，不需要部署cm。
适用于所有的专业大数据公司，这类企业的硬件资源一般都比较充足。
适用于运维工作较频繁的场景，使用apache版本的运维人员，对某一个组件进行调优配置，需要消耗半天的时间进行调整，效率极低；该平台安装好以后，维护工作相对来将就轻松许多。

补充：

cm在国内用户量很大，戴尔、一号店等知名公司都在使用
cm在主流的大数据平台框架中，用户量比例很高
cm的免费版本不支持弹性升级。

6.4 ClouderaManager架构\

1.Server：Cloudera Manager的核心是Cloudera Manager Server。提供了统一的UI和API方便用户和集群上的CDH以及其它服务进行交互，能够安装配置CDH和其相关的服务软件，启动停止服务，维护集群中各个节点服务器以及上面运行的进程。
2.Agent：安装在每台主机上的代理服务。它负责启动和停止进程，解压缩配置，触发安装和监控主机
3.Management Service：执行各种监控、报警和报告功能的一组角色的服务
4.Database：CM自身使用的数据库，存储配置和监控信息
5.Cloudera Repository：云端存储库，提供可供Cloudera Manager分配的软件
6.Client：用于与服务器进行交互的接口，包含Admin Console和API
(1)Admin Console：管理员可视化控制台
(2)API：开发人员使用API可以创建自定义的Cloudera Manager应用程序

6.5 ClouderaManager功能

6.5.1 信号检测

默认情况下，Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是，为了减少用户延迟，在状态变化时会提高频率。

6.5.2 状态管理

模型状态捕获什么进程应在何处运行以及具有什么配置。
运行时状态是哪些进程正在何处运行以及正在执行哪些命令（例如：重新平衡HDFS或执行备份/灾难恢复计划或集群升级、停止）。
当更新配置（例如Hue Server Web 端口）时，相当于更新了模型状态。但是，如果 Hue 在更新时正在运行，则它仍将使用旧端口。当出现这种不匹配情况时，角色服务会标记为“过时的配置”。要重新同步，需重启角色服务（这会触发重新生成配置和重启进程）。

6.5.3 主机管理

Cloudera Manager 作为群集中的托管主机身份，可对JDK、Cloudera Manager Agent、CDH、Impala、Solr等所有软件角色的主机进行管理。
Cloudera Manager 提供添加和删除主机的操作。
Cloudera Management Service Host Monitor 角色执行状况检查并收集主机度量，可以监控主机的运行状况和性能。

6.5.4 进程启停

在Cloudera Manager管理的群集中，只能通过 Cloudera Manager 启动或停止服务。Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败，Cloudera Manager 还会用不良状态标记该实例。

特别需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集；所有正在运行的实例都将保持运行。

6.5.5 监控管理

Activity Monitor：收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色。
Host Monitor：收集有关主机的运行状况和指标信息。
Service Monitor：从YARN服务中收集关于服务和活动信息的健康和度量信息。
Event Server：聚合组件的事件并将其用于警报和搜索。
Alert Publisher ：为特定类型的事件生成和提供警报。
Reports Manager：生成图表报告。

Clouderamanager详解相关推荐

给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
不多说,直接上干货! 这个很简单,在集群机器里,选择就是了,本来自带就有Impala的. 扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 欢迎大 ...
CDH Hadoop 基于CM方式半在线安装步骤详解
CDH Hadoop基于Cloudera Manager半在线方式安装详解 1 CM简介 Cloudera Manager是一个端到端的管理CDH集群的工具.它通过管理CDH集群(组件安装.服务管理. ...
cloudera manager的7180 web界面访问不了的解决办法（图文详解）
说在前面的话我的机器是总共4台,分别为ubuntucmbigdata1.ubuntucmbigdata2.ubuntucmbigdata3和ubuntucmbigdata4.(注意啦,以下是针对Ub ...
Hadoop详解以及历史版本介绍
Hadoop详解 Hadoop的介绍以及发展历史 Hadoop之父Doug Cutting Hadoop最早起源于lucene下的Nutch.Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页 ...
从命令行到IDE，版本管理工具Git详解（远程仓库创建+命令行讲解+IDEA集成使用）
首先,Git已经并不只是GitHub,而是所有基于Git的平台,只要在你的电脑上面下载了Git,你就可以通过Git去管理"基于Git的平台"上的代码,常用的平台有GitHub.Gi ...
JVM年轻代，老年代，永久代详解
秉承不重复造轮子的原则,查看印象笔记分享连接↓↓↓↓ 传送门:JVM年轻代,老年代,永久代详解速读摘要最近被问到了这个问题,解释的不是很清晰,有一些概念略微模糊,在此进行整理和记录,分享给大家.在 ...
docker常用命令详解
docker常用命令详解本文只记录docker命令在大部分情境下的使用,如果想了解每一个选项的细节,请参考官方文档,这里只作为自己以后的备忘记录下来. 根据自己的理解,总的来说分为以下几种: Doc ...
通俗易懂word2vec详解词嵌入-深度学习
https://blog.csdn.net/just_so_so_fnc/article/details/103304995 skip-gram 原理没看完 https://blog.csdn.net ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
深度学习优化函数详解系列目录深度学习优化函数详解(0)– 线性回归问题深度学习优化函数详解(1)– Gradient Descent 梯度下降法深度学习优化函数详解(2)– SGD 随机梯度下降 ...

Clouderamanager详解