将tez安装包拷贝到集群

mkdir /opt/module/tez-0.10.1

解压tar包

tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez-0.10.1

解决日志 Jar 包冲突

rm slf4j-log4j12-1.7.10.jar

上传tez依赖到HDFS

hadoop fs -mkdir /tez-0.10.1

hadoop fs -put /opt/software/tez-0.10.1-SNAPSHOT.tar.gz /tez-0.10.1

新建tez-site.xml

vim tez-site.xml

内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!--  指定依赖位置  --><property><name>tez.lib.uris</name><value>${fs.defaultFS}/tez-0.10.1/tez-0.10.1-SNAPSHOT.tar.gz</value></property><!-- 使用hadoop自身的lib包,true : 可以使用minimal的tez包,false : 需要使用tez-0.9.2.tar.gz的包--><property><name>tez.use.cluster.hadoop-libs</name><value>true</value></property><!-- 设置 tez AM容器内存 --><property><name>tez.am.resource.memory.mb</name><value>3072</value></property><!-- am分配的cpu个数，默认1 --><property><name>tez.am.resource.cpu.vcores</name><value>1</value></property><!-- 设置task/AM占用jvm内存大小的比例 --><property><name>tez.container.max.java.heap.fraction</name><value>0.4</value></property><!-- 分配的task内存，默认1024 --><property><name>tez.task.resource.memory.mb</name><value>3072</value></property><!-- task分配的cpu个数，默认1 --><property><name>tez.task.resource.cpu.vcores</name><value>1</value></property></configuration>

修改Hadoop环境变量

vim tez.sh

信息 :

hadoop_add_profile tez
function _tez_hadoop_classpath
{hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" afterhadoop_add_classpath "/opt/module/tez-0.10.1/*" afterhadoop_add_classpath "/opt/module/tez-0.10.1/lib/*" after
}

修改 Hive 的计算引擎

vim hive-site.xml

 <!-- tez 计算引擎 --><property><name>hive.execution.engine</name><value>tez</value></property><!-- 设置 tez container内存 --><property><name>hive.tez.container.size</name><value>3072</value></property>

启动 Hive

beyond the ‘VIRTUAL‘ memory limit 错误解决方案 :

https://blog.csdn.net/qq_44226094/article/details/123518480?spm=1001.2014.3001.5501

hive

切换到 Tez 引擎

set hive.execution.engine=tez;

Hive 安装 Tez相关推荐

Tez 0.9安装部署+hive on tez配置 + Tez-UI
Tez说明将xyz替换为您正在使用的tez发行版号.例如0.5.0.对于Tez版本0.8.3和更高版本,Tez需要Apache Hadoop版本为2.6.0或更高版本.对于Tez版本0.9.0及更高 ...
hive on tez安装部署、配置及tez-ui配置
目录 Tez官网:http://tez.apache.org/ 下载开始下载安装部署Tez 下载解压简单配置运行tez的实例mr程序,验证是否安装成功: 设置tez-ui 先安装部署Tomcat ...
Hive On Tez，Tez 和 MapReduce engine 性能对比
2019独角兽企业重金招聘Python工程师标准>>> 接上一篇文章: https://my.oschina.net/zhzhenqin/blog/781670 Tez On Yar ...
Hive更换TEZ引擎
1.关于版本问题: hive-1.2.1+tez-0.9.0+hadoop-2.7.7 hive-2.3.6+tez-0.9.0+hadoop-2.7.1 两种搭配均试过可行,之前配置的时候觉得与版本 ...
hive on tez集成完整采坑指南(含tez-ui及安全环境)
hive on tez 介绍 tez是hive官方推荐的一个有向无环图的执行引擎,从测试结果来看,相对于mr是数量级上的提升使用版本 hadoop 3.1.1 hive 3.1.0 tez 0.9. ...
Hive集成Tez让大象飞起来
[img]http://dl2.iteye.com/upload/attachment/0114/5700/de4b9062-7d61-3ea5-995d-5ae35deb61c0.jpg[/img] ...
CDH安装Tez 0.8.5
CDH安装Tez 0.8.5 1.1前置环境 1)安装JDK 2)安装Maven 下载安装包:apache-maven-3.5.4-bin.tar.gz 解压: tar -zxvf apache-ma ...
CDH6.3.2 hive on tez搭建过程
CDH6.3.2 hive on tez搭建过程该文章借鉴了相关博客的搭建过程,仅用作与日后自己查阅方便,如若侵犯其他博主的权益,请与作者联系,谢谢! 环境准备: 1.安装jdk 安装的jdk版本为 ...
Ochadoop之hive on tez搭建[转自 AIMP平台wiki]
1.软件版本 och 3.1.0 hive 0.13.0 tez 0.4.0-incubating 2.部署tez 2.1编译 $tar zxvf tez-0.4.0-incubating.tar.g ...

Hive 安装 Tez

Hive 安装 Tez

将tez安装包拷贝到集群

解压tar包

解决日志 Jar 包冲突

上传tez依赖到HDFS

新建tez-site.xml

修改Hadoop环境变量

修改 Hive 的计算引擎

启动 Hive

Hive 安装 Tez相关推荐

最新文章

热门文章