YARN Timeline Server 概述

YARN Timeline Server 介绍

以通用方式存储和检索应用程序的当前和历史信息是通过时间轴服务器在 YARN 中实现的。它有两项责任：

1、存储应用程序特定的信息

完全特定于应用程序或框架的信息的收集和检索。例如，Hadoop MapReduce 框架可以包含一些信息，比如 map 任务的数量、reduce 任务、计数器等等。应用程序开发人员可以通过应用程序主容器和/或应用程序容器中的 TimelineClient 将特定信息发布到时间轴服务器。

然后，可以通过 REST api 查询此信息，以供特定于应用程序/框架的ui呈现。

2、保存关于已完成应用程序的通用信息

在此之前，应用程序历史服务器只支持 MapReduce 作业。随着时间轴服务器的引入，应用程序历史服务器成为时间轴服务器的一种用途。

一般信息包括应用程序级别的数据，如：

队列名称
用户信息和类似的设置在 ApplicationSubmissionContext 中
为应用程序运行的应用程序尝试列表
关于每个应用程序尝试的信息
在每次应用程序尝试下运行的容器列表
关于每个容器的信息

YARN 资源管理器将通用数据发布到时间轴存储区，并使用其 web-UI 显示有关已完成应用程序的信息。

现状和未来计划

Current status

时间轴服务器的核心功能已经完成。
它可以在安全集群和非安全集群中工作。
通用历史服务是在时间轴存储上构建的。
历史记录可以存储在内存或 leveldb 数据库存储中;后者确保在时间轴服务器重新启动时保留历史记录。
不支持在纱线中安装特定于框架的 ui。
特定于应用程序的信息只能通过使用 JSON 类型内容的 RESTful api 获得。
“时间轴服务器v1” REST API 已经被声明为 REST API 之一，其兼容性将在未来的版本中维护。
时间轴服务器的单服务器实现限制了服务的可伸缩性；它还可以防止服务成为 YARN 基础设施的高可用性组件。

Future Plans

未来的版本将引入一个可扩展且可靠的下一代时间轴服务，即“时间轴服务v2”。
此服务的扩展特性可能不适用于使用时间轴服务器 v1 REST API 的应用程序。这包括扩展的数据结构以及客户端在时间轴服务器实例之间进行故障转移的能力。

Timeline 结构

Timeline Domain

时间轴域为时间轴服务器提供了一个名称空间，允许用户托管多个实体，将它们与其他用户和应用程序隔离开来。时间轴服务器安全性在此级别定义。

“域”主要存储所有者信息、读写 ACL 信息、创建和修改时间戳信息。每个域由一个 ID 标识，该 ID 必须在纱线集群中的所有用户中是唯一的。

Timeline Entity

时间线实体包含概念实体及其相关事件的元信息。

实体可以是应用程序、应用程序尝试、容器或任何用户定义的对象。

它包含主过滤器，用于索引时间轴存储中的实体。因此，用户/应用程序应该谨慎地选择他们想要作为主要过滤器存储的信息。

其余的数据可以存储为非索引信息。每个实体都由 EntityId 和 EntityType 唯一标识。

Timeline Events

时间线事件描述与应用程序的特定时间线实体相关的事件。

用户可以自由定义事件的含义 -- 例如启动应用程序、分配容器、操作失败或其他与用户和集群操作员相关的信息。

......

The YARN Timeline Server相关推荐

app timeline server
之前运行在YARN上的计算框架中,只有MapReduce配有Job History server,该server可以供用户查询已经运行完成的作业的信息,随着YARN上计算框架的增多,有必要增加一个通用 ...
Hive on Tez出现exec.Task: Failed to execute tez graph. java.lang.NullPointerException
报错复现: hive>select count(*) from student; 报错如下: 2020-06-03 22:00:36,787 ERROR [57ee4918-ac03-4f15- ...
启用Kerberos后，如何使用Tez UI
Ambari自从2.7版本以后不再提供TezUI Views,如果集群启用Kerberos,对于如何使用Tez UI呢?我们也搜索了好久资料,一直没有太好的解决方案,经过最近的一些努力,我们现在可以提 ...
自定义 Hive Hook
前言在关联hive SQL时,yarn application有多个与其对应,所以需要划分二者对应关系.通过开启hive seesion,解析hive session日志,来解析 hive sql ...
Hive鲜为人知的宝石-Hooks
本来想祝大家节日快乐,哎,无奈浪尖还在写文章.谴责一下,那些今天不学习的人.对于今天入星球的人,今天调低了一点价格.减少了20大洋.机不可失失不再来.点击阅读原文或者扫底部二维码. hive概述 Hi ...
YARN, MR History Server和Spark History Server
转载来自:http://blog.csdn.net/cymvp/article/details/52090348 YARN, MR History Server和Spark History Serve ...
Yarn的默认端口(转载)
转载自: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_reference/content/yarn-ports.html Tabl ...
Yarn分布式集群操作系统
Yarn分布式集群操作系统 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目,为分离Hadoop2.0资源管理和计算组件而引入.YA ...
浅析资源调度框架YARN
第一章资源调度框架YARN理论 1.1 YARN概述分布式操作系统 hadoop 1.xMapReduce主从架构主节点JobTracker 从节点TaskTrackerslot hadoop ...
Yarn系统架构与原理详解
Apache Hadoop Yarn (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提 ...

The YARN Timeline Server

YARN Timeline Server 概述

YARN Timeline Server 介绍

现状和未来计划

Timeline 结构

The YARN Timeline Server相关推荐

最新文章

热门文章