hadoopsnappy解压_Hadoop的Snappy安装配置

1.snappy编译安装

下载snappy,编译。

前置条件：gcc c++, autoconf, automake, libtool, Java6, JAVA_HOME set, Maven 3

1)运行：autogen.sh

2)运行：

./configure

make

make check

make install

3)验证：查看/usr/local/lib下面是否有libsnappy.*

4)拷贝到其他集群：scp -r ./google-snappy-2d99bd1/ bigdata@xxx:/ssd/bigdata/install/

2. Hadoop Snappy 编译安装

1、下载

2、The built tarball is at target/hadoop-snappy-0.0.1-SNAPSHOT.tar.gz. The tarball includes snappy native library。

解压拷贝：

cp -r * $HADOOP_HOME/lib

scp -r * bigdata@xxx:/ssd/bigdata/software/hadoop/lib

3、配置环境变量：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

export

HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

2°、修改$HADOOP_HOME/etc/hadoop/core-site.xml：

io.compression.codecs

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec

3°、修改$HADOOP_HOME/etc/hadoop/mapred-site.xml中有关压缩属性，测试snappy：

mapreduce.map.output.compress

true

mapreduce.map.output.compress.codec

org.apache.hadoop.io.compress.SnappyCodec

4°、验证

hadoop checknative -a

hadoopsnappy解压_Hadoop的Snappy安装配置相关推荐

hadoopsnappy解压_Hadoop Snappy 压缩的安装和配置
snappy是google的一个开源的压缩库,在合理的压缩率的前提下提供了提供了一个很高的压缩/解压的速度,利用单颗Intel Corei7处理器内核处理达到每秒处理250MB~500MB的数据流.s ...
dpkg命令用法、Ubuntu下deb包的解压、打包、安装、卸载及常用命令参数
dpkg命令的用法不带图简装:https://blog.csdn.net/wanghuohuo13/article/details/78916821?ops_request_misc=&re ...
python解压版怎么安装_python 解压版 zip file 安装
python 解压版 zip file 安装 Python Releases for Windows 找到最新稳定版本的 "Download Windows x86-64 embeddabl ...
03_Flink本地安装、分别解压scala和Flink、配置环境变量、启动集群、提交一个job、停止集群
1.3.Flink本地安装 1.3.1.分别解压scala和Flink 1.3.2.配置环境变量 1.3.3.启动集群 1.3.4.提交一个job 1.3.5.停止集群 1.3.Flink本地安装如 ...
一文学会Linux安装Mysql5.7（解压方式），加上配置详解，帮你完美避坑
高调起标题,低调写文章过程步骤三步走第一步安装准备 1.0.检查电脑是否预装了mysql(预装的mysql叫mariadb ),有则卸载删除 rpm -qa | grep mariadb #查询 ...
mysql：安装版(解压版)MySQL下载、配置、安装以及解决MySQL服务无法启动问题
一.MySQL官网下载解压版 1.进入官网下载 MySQL官网 2.进入后看到社区服务器点击进入 3.这里就可以下载,建议大家下载以前的版本,最新版本容易出现问题,这里我选择的是5.7版本 4.如图选 ...
linux apr文件解压失败,Apache编译安装提示configure: error: APR not found错误解决方法...
在配置Apache的时候,出现configure: error: APR not found错误原因是缺少一些依赖包,安装这些依赖包就行了下载依赖包,注意我这里下载的与参考链接上的有些不同,安装上 ...
linux解压gcc,Linux,GCC安装（解压版）
一.安装Gcc前,需要安装依赖: 1.gmp安装: 下载:gmp-6.0.0a.tar.bz2 解压:tar jxf gmp-6.0.0a.tar.bz2 cd gmp-6.0.0 ./configu ...
tomcat7解压版的下载与配置
[PS]Tomcat7解压版的安装与配置,分三步:下载.解压.配置. 第一步-下载可以去官网下载,也可以从下面链接下载. 链接:https://pan.baidu.com/s/18WcK3cPVjx ...
解压版mysql下载安装
一,下载mysql-已上传免费下载或者mysql解压版官网下载二,解压文件夹,选择放到自己安装软件的目录. 三,在安装目录下新建my.ini文件,并填入以下代码并保存. [mysqld] # 设置3 ...

hadoopsnappy解压_Hadoop的Snappy安装配置

hadoopsnappy解压_Hadoop的Snappy安装配置相关推荐

最新文章

热门文章