CDH6.3.2 hive on tez搭建过程

该文章借鉴了相关博客的搭建过程，仅用作与日后自己查阅方便，如若侵犯其他博主的权益，请与作者联系，谢谢！

环境准备：

1.安装jdk

安装的jdk版本为jdk1.8

mkdir -r /opt/jdk1.8
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/jdk1.8配置环境变量
vim /etc/profile
在最后添加如下内容：
export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin:
保存并退出使环境变量生效
source /etc/profile验证
java -version

2.安装maven

安装的maven版本为maven3.6.3

mkdir /opt/maven3.6.3
tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /opt/maven3.6.3配置环境变量
vim /etc/profile
在最后添加如下内容：
export MVN_HOME=/opt/maven3.6.3
export PATH=$PATH:$JAVA_HOME/bin:$MAV_HOME/bin:
保存并退出使环境变量生效
source /etc/profile验证
mvn -version

3.安装protobuf

安装的protobuf版本为protobuf-2.5.0

protobuf下载地址：mkdir -r /opt/protof-2.5.0
tar -zxvf protobuf-2.5.0.tar.gz -C /opt/protof-2.5.0配置环境变量
vim /etc/profile
在最后添加如下内容：
export POF_HOME=/opt/protof-2.5.0
export PATH=$PATH:$JAVA_HOME/bin:$MAV_HOME/bin:$POF_HOME/bin:
保存并退出使环境变量生效
source /etc/profile编译
cd /opt/protobuf-2.5.0
./configure
make
make install
注：如果在编译的过程中报错缺少c或者c++，使用yum方式安装后重试即可验证
protoc --version
注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc

4.安装tez

安装的tez版本为tez0.9.1

tez-0.9.1下载地址：mkdir /opt/tez-0.9.1
tar -zxvf apache-tez-0.9.1-src.tar.gz -C /opt/tez-0.9.1解压完成后进行如下操作:
cd /opt/tez-0.9.1修改整个项目的pom.xml文件
第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
第二处:
<repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url><name>Cloudera Repositories</name><snapshots><enabled>false</enabled></snapshots>
</repository>
第三处:
<pluginRepository><id>cloudera</id><name>Cloudera Repositories</name><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</pluginRepository>
第四处:
<dependency><groupId>com.sun.jersey</groupId><artifactId>jersey-client</artifactId><version>1.19</version>
</dependency>
第五处:
<!--<module>tez-ext-service-tests</module>
<module>tez-ui</module>-->
注:将这两个注释掉,如果有需要可以不用注释修改mapreduce的java文件
vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.java
return ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A","N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);
注:可以先进行编译,如果报这个错再进行修改这一步也行修改完成后进行maven编译
mvn clean package -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
注:这样会跳过test编译,很快就编译完成经过一段时间等待，所有输出选项均为SUCCESS则表示为编译通过编译完成的软件位置
/opt/tez-0.9.1/tez-dist/target/整个tez的编译过程即可完成

TEZ搭建

1.整合到hdfs

hdfs dfs -mkdir /tez
hdfs dfs -put /opt/tez-0.9.1/tez-dist/target/tez-0.9.1.tar.gz /tez

2.整合hive

注：以下操作均需要在所有节点执行

cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/libmkdir ./tez
cd ./tez
vim ./tez-site.xml
<configuration><property><name>tez.lib.uris</name><value>${fs.defaultFS}/tez/tez-0.9.1.tar.gz</value></property><property><name>tez.use.cluster.hadoop-libs</name><value>false</value></property>
</configuration>拷贝jar包
将tez-0.9.1-minimal文件夹下的jar及lib下的jar拷贝到tez中
cd /opt/tez-0.9.1/tez-dist/target/tez-0.9.1-minimal
cp ./*.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/
cp ./lib /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/避免kryo的错误
cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib
mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bak
mv hive-exec-core.jar hive-exec-core.jar.bak配置hive的env配置文件
cd /etc/hive/conf
vim hive-env.sh
在最后添加
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*cd /etc/hadoop/conf
vim hadoop-env.sh
在最后添加
export TEZ_HOME=/opt/tezfor jar in `ls $TEZ_HOME | grep jar`; doexport HADOOP_CALSSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; doexport HADOOP_CALSSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jar
done完成后，重新部署hive客户端并重启相关组件

3.hive更换默认引擎为tez

登录到cm的hive的配置文件管理界面修改hive的Getaway
在hive-env.sh的Gateway客户端环境高级安全代码段中添加
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*搜索hive-site.xml
在hive-site.xml的hive客户端高级配置代码段中添加
<name>tez.lib.uris</name>
<value>/opt/tez-0.9.1.tar.gz</value>
<name>hive.execution.engine</name>
<value>tez</value>
<name>hive.tez.container.size</name>
<value>1024</value>
在hive-site.xml的Hiveserver2高级配置代码段中添加
<name>hive.execution.engine</name>
<value>tez</value>
<name>hive.tez.container.size</name>
<value>1024</value>配置完成后重新部署客户端以及重启相关组件

CDH6.3.2 hive on tez搭建过程相关推荐

Ochadoop之hive on tez搭建[转自 AIMP平台wiki]
1.软件版本 och 3.1.0 hive 0.13.0 tez 0.4.0-incubating 2.部署tez 2.1编译 $tar zxvf tez-0.4.0-incubating.tar.g ...
Hive on Tez配置过程
没包的可以私信我,一次性发给你 ①hive 官网地址:http://hive.apache.org/ 一.部署 MySQL 部署hive前要先把MySQL部署好,首先检测当前系统是否安装过MySQL ...
CDH6.3.2搭建HIVE ON TEZ步骤
|引言参考:CDH6.3.2 hive on tez搭建过程_我不是橙子的博客-CSDN博客 CDH6.3.2版本搭建Tez执行引擎过程 - 虎啸千峰 - 博客园 hive on tez集成完整采坑 ...
将xscj指定为当前数据库_通过网络连接数据库模式Hive的搭建过程详解
最近在搭建通过网络直接连接数据库模式的Hive时总是在启动的时候报各种错误,所以今天,我们来总结一下这种模式的Hive的搭建过程. [数据库安装] 安装mysql yum install mysql- ...
启动hive报错_远程服务器模式Hive的搭建过程详解
昨天总结了一下Hive通过网络连接数据库模式的搭建过程,今天我来总结一下另外一种模式-远程服务器模式Hive的搭建过程. 首先,我们来看一下机器如何分配: 在集群中,我们准备四台虚拟机,node001 ...
Hive SQL的编译过程
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用.美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析.Hive的稳定性和 ...
hive on tez集成完整采坑指南(含tez-ui及安全环境)
hive on tez 介绍 tez是hive官方推荐的一个有向无环图的执行引擎,从测试结果来看,相对于mr是数量级上的提升使用版本 hadoop 3.1.1 hive 3.1.0 tez 0.9. ...
【美团技术博客】Hive SQL的编译过程
转载自:http://tech.meituan.com/hive-sql-to-mapreduce.html Hive SQL的编译过程木叶丸2014-02-12 17:30 Hive是基于Hado ...
hadoop + spark+ hive 集群搭建(apache版本)
0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑.经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考. 由于搭建过程比较 ...

CDH6.3.2 hive on tez搭建过程

CDH6.3.2 hive on tez搭建过程相关推荐

最新文章

热门文章