mapreduce简单的gzip压缩

MapReduce使用简单的gzip格式进行文件的压缩

package example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;public class countData {public static final String INPUT_PATH="hdfs://hadoop0:9000/test/";public static final String OUTPUT_PATH="hdfs://hadoop0:9000/testout/";public static void main(String[] args) throws Exception {Configuration conf=new Configuration();

     //设置输出压缩conf.setBoolean("mapred.compress.map.out", true);//设置map输出压缩conf.setBoolean("mapred.output.compress", true);//设置输出压缩conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);//设置压缩算法Job job = new Job(conf,countData.class.getSimpleName());//input pathFileInputFormat.setInputPaths(job, new Path(INPUT_PATH));//input formatjob.setInputFormatClass(TextInputFormat.class);//Mapper classjob.setMapperClass(MyMapper.class);//map output formatjob.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);//排序、分组、规约、分区//set reducejob.setReducerClass(MyReducer.class);//reduce output formatjob.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);//output pathFileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));//output formatjob.setOutputFormatClass(TextOutputFormat.class);job.waitForCompletion(true);}static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{@Overrideprotected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {String[] split = value.toString().split(",");int count=0;for(int i=0;i<split.length;i++){if(i==split.length-1){count=1;}context.write(new Text(split[i]),new LongWritable(count));}}}static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>{@Overrideprotected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException {int count=0;int sum=0;for (LongWritable value : v2s) {count+=Integer.parseInt(value.toString());sum+=1;}if(count>0){count=0;for (int i=0;i<sum;i++) {count+=1;}context.write(k2, new LongWritable(count));}}}
}

gzip压缩是一个比较简单的压缩方式，但它有很多缺点（不支持分割，导致mapreduce效率低；压缩和解压速度慢）；所以下面有一个更好的压缩格式：lzo

mapreduce简单的gzip压缩相关推荐

nginx的gzip压缩功能
我们在开发网站的时候,应该要考虑到pv,因为pv比较大可能会造成服务器带宽不够用,进而导致用户体验变差. 这个时候我们就可以考虑用nginx的gzip功能. 在nginx中开启gzip压缩功能很简单, ...
从 Gzip 压缩 SVG 说起 — 论如何减小资源文件的大小
原文地址:Of SVG, Minification and Gzip 原文作者:Anton Khlynovskiy 译文出自:掘金翻译计划本文永久链接:github.com/xitu/gold-m- ...
godaddy php5.ini,Godaddy主机如何开启GZIP压缩 | Godaddy美国主机中文指南
为什么要开启GZIP压缩呢?原因很简单:使用GZIP压缩技术能让用户感受更快的速度.这一般是指WWW服务器中安装的一个功能,当有人来访问这个服务器中的网站时,服务器中的这个功能就将网页内容压缩后传输到 ...
ASP.NET页面进行GZIP压缩优化的几款压缩模块的使用简介及应用测试!(附源码)
在介绍之前,先简单说一说ASP.NET服务端GZIP压缩模块的作用及工作原理,很多人编写网页的时候页面因为使用了大量的JS特效又或者放置很多大型动态广告导致了页面或脚本体积庞大,通常都会使用一些压缩工 ...
thinkphp框架开启页面gzip压缩
Thinkphp下开启gzip压缩很简单,不管你是哪个版本,只要在你的入口文件index.PHP中加入以下两行,如果你的服务器支持,那么就OK了. define ( "GZIP_ENABLE ...
启用Gzip压缩(IIS)提高客户端网站访问速度
IIS上启用Gzip压缩(HTTP压缩) 详解一.摘要本文总结了如何为使用IIS托管的网站启用Gzip压缩, 从而减少网页网络传输大小, 提高用户显示页面的速度. 二.前言. 本文的知识点是从互联 ...
在IIS上启用Gzip压缩 (HTTP压缩)方法
本文总结了如何为使用IIS托管的网站启用Gzip压缩, 从而减少网页网络传输大小, 提高用户显示页面的速度. 一.摘要本文总结了如何为使用IIS托管的网站启用Gzip压缩, 从而减少网页网络传输大小 ...
Apache开启Gzip压缩,LAMP网页压缩
源自http://hi.baidu.com/mrlbz/blog/item/69447759beedafc19d82046b.html 我Wordpress的主机为LAMP架构,即Linux+ Apa ...
asp.net实现GZip压缩和GZip解压
最近在开发一个网站doc.115sou.com,使用到了GZip压缩技术,经过多次搜索找到asp.net中用GZip对数据压缩和解压缩非常方便,当我第一次拿到这个类的时候却感觉很迷茫,无从下手.主要是 ...

mapreduce简单的gzip压缩

mapreduce简单的gzip压缩相关推荐

最新文章

热门文章