Mapreduce中的分区Partitioner

Mapreduce中的分区Partitioner
4.2.1 需求
根据归属地输出流量统计数据结果到不同文件，以便于在查询统计结果时可以定位到省级范围进行
4.2.2 分析
Mapreduce中会将map输出的kv对，按照相同key分组，然后分发给不同的reducetask
默认的分发规则为：根据key的hashcode%reducetask数来分发
所以：如果要按照我们自己的需求进行分组，则需要改写数据分发（分组）组件Partitioner
自定义一个CustomPartitioner继承抽象类：Partitioner
然后在job对象中，设置自定义partitioner： job.setPartitionerClass(CustomPartitioner.class)

4.2.3 实现
/**
* 定义自己的从map到reduce之间的数据（分组）分发规则按照手机号所属的省份来分发（分组）ProvincePartitioner
* 默认的分组组件是HashPartitioner
*
* @author
*
*/
public class ProvincePartitioner extends Partitioner

Mapreduce中的分区Partitioner相关推荐

并行中的分区Partitioner
本篇介绍在C#中,把一个大集合,或大数组分成若干个区来执行.Demo中是把一组字符串放在list中,然后并行生成MD5串,返回回来. using System; using System.Collec ...
MapReduce中的partitioner
1.日志源文件: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 ...
Mapreduce的分区—Partitioner
1．需求将流量汇总统计结果按照手机归属地不同省份输出到不同文件中. 2．分析 Mapreduce中会将map输出的kv对,按照相同key分组,然后分发给不同的reducetask. 默认的分发规 ...
mapreduce工作流程_详解MapReduce中的五大编程模型
前言我们上一节讲了关于 MapReduce 中的应用场景和架构分析,最后还使用了一个CountWord的Demo来进行演示,关于MapReduce的具体操作.如果还不了解的朋友可以看看上篇文章:[初 ...
Hadoop入门（八）Mapreduce高级shuffle之Partitioner
一.Partitioner概述 Map阶段总共五个步骤,2就是一个分区操作哪个key到哪个Reducer的分配过程,是由Partitioner规定的. 二.Hadoop内置Partitioner M ...
MapReduce分片、分区、分组傻傻分不清
MapReduce分片.分区.分组关系图分片对于HDFS中存储的一个文件,要进行Map处理前,需要将它切分成多个块,才能分配给不同的MapTask去执行.分片的数量等于启动的MapTask的数量. ...
MapReduce之Partition分区实例操作
1.需求: 将统计结果按照手机归属地不同省份输出到不同文件中(分区) 2.案例数据: phone_data.txt 如下: 1363157985066 13726230503 00-FD-07-A4- ...
MapReduce中加强内容
课程大纲(MAPREDUCE详解) MapReduce快速入门如何理解map.reduce计算模型 Mapreudce程序运行演示 Mapreduce编程规范及示例编写 Mapreduce程序运行模 ...
详解MapReduce中的五大编程模型
前言我们上一节讲了关于 MapReduce 中的应用场景和架构分析,最后还使用了一个CountWord的Demo来进行演示,关于MapReduce的具体操作.如果还不了解的朋友可以看看上篇文章:初识 ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...

Mapreduce中的分区Partitioner

Mapreduce中的分区Partitioner相关推荐

最新文章

热门文章