Hadoop Mapreduce Counters详解

以下文件系统计数器的含义

FILE_BYTES_READ
FILE_BYTES_WRITTEN
FILE_READ_OPS
FILE_LARGE_READ_OPS
FILE_WRITE_OPS
HDFS_BYTES_READ
HDFS_BYTES_WRITTEN
HDFS_READ_OPS
HDFS_LARGE_READ_OPS
HDFS_WRITE_OPS

FILE_BYTES_READ

是本地文件系统读取的字节数。假设所有map输入数据都来自HDFS，那么在map阶段，FILE_BYTES_READ应该为零。另一方面，reduce的输入文件是reduce侧本地磁盘上的数据，这些数据是从map侧磁盘获取的。因此，FILE_BYTES_READ表示减速器读取的总字节数。

FILE_BYTES_WRITTEN

由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘上。映射器写入磁盘的所有字节将包含在FILE_BYTES_WRITTEN中。第二部分来自减速器。在改组阶段，所有化简器将从映射器获取中间数据，然后合并并溢出到化简器侧磁盘。减速器写入磁盘的所有字节也将包含在FILE_BYTES_WRITTEN中。

HDFS_BYTES_READ

表示作业开始时映射器从HDFS读取的字节。该数据不仅包括源文件的内容，还包括有关拆分的元数据。

HDFS_BYTES_WRITTEN

表示写入HDFS的字节。它是最终输出的字节数。

read operations

读取操作的数量，例如listStatus，getFileBlockLocations，open等。

write operations

写操作的数量，例如create，append，setPermission等。

Hadoop Mapreduce Counters详解相关推荐

【深入理解Hadoop原理】Hadoop 参数配置详解
Hadoop 参数配置详解一.常用端口组件节点默认端口配置用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传 ...
Hadoop Delegation Tokens详解
转载自:<Hadoop Delegation Tokens详解> https://www.jianshu.com/p/617fa722e057 本文是cloudera公司的一篇技术博客,原 ...
Hadoop 用户命令详解
Hadoop 集群用户的常用命令 hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] archive 创建一个 ...
Hadoop学习笔记：MapReduce框架详解
原文:http://blog.jobbole.com/84089/ 原文出处: 夏天的森林开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手, ...
hadoop 学习笔记：mapreduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
Hadoop生态系统框架详解(一):Hadoop框架
Hadoop框架简述:Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 主要解决海量数据的存储和海量数据的分析计算问题. 广义上来说,HADOOP通常是指一个更广泛的概念--HAD ...
Hadoop史诗级入门详解
Hadoop 1.Hadoop概述 1.1 什么是Hadoop? 1.2 Hadoop发展历史 1.3 Hadoop的三大发行版本 1)Apache Hadoop 2)Cloudera Hadoop ...
MapReduce计数器--详解
1.MapReduce计数器是什么? 计数器是用来记录job的执行进度和状态的.它的作用可以理解为日志.我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况. 2.MapReduce计数器能 ...
Hadoop 之 HDFS 详解
一.产生背景: 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更到的操作系统管理的磁盘中,但是管理不方便和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统,HD ...

Hadoop Mapreduce Counters详解

Hadoop Mapreduce Counters详解相关推荐

最新文章

热门文章