Spark on Yarn环境搭建

1，解压缩spark安装文件

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

2，修改spark目录名称

mv spark-3.0.0-bin-hadoop3.2 spark-yarn

3，修改hadoop的yarn-site.xml文件，新增下面内容

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

4，将hadoop的yarn-site.xml配置文件分发到其它机器

xsync yarn-site.xml

5，修改spark-yarn/conf/spark-env.sh配置文件

export JAVA_HOME=/opt/module/jdk1.8.0_144
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

6，拷贝hive的hive-site.xml配置文件到spark conf目录下

cp /opt/module/hive-3.1.2/conf/hive-site.xml /opt/module/spark-yarn/conf/

7，拷贝mysql的驱动包&hadoop的lzo jar包到spark jars目录下

cp /opt/module/hive-3.1.2/lib/mysql-connector-java-5.1.27-bin.jar /opt/module/spark-yarn/jars/
cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark-yarn/jars/

8，重启hadoop集群

sbin/start-dfs.sh # 注意：启动yarn环境一定要在部署的节点启动
sbin/start-yarn.sh

Spark on Yarn环境搭建相关推荐

Spark On YARN 环境搭建
1.确保前边的环境都是否配置成功搭建环境之前先确定自己的环境是否做好 1.jdk 1.8版本 2.HDFS MapReduce Hadoop 3.2.1 + 3.zookeeper 4.python ...
Spark学习之路一——Spark基础及环境搭建
Spark学习之路一--Spark基础及环境搭建文章目录一. Spark 概述 1.1 概述 1.2 优势特性 1.2.1 运行速度快 1.2.2 容易使用 1.2.3 通用性 1.2.4 运行模 ...
Spark集群环境搭建（standalone模式）
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...
Spark详解（二）：Spark完全分布式环境搭建
1. 前言本文搭建了一个由三节点(master.slave1.slave2)构成的Spark完全分布式集群,并通过Spark分布式计算的一个示例测试集群的正确性.本文将搭建一个支持Yarn的完全分布 ...
spark入门及环境搭建
简介快速,通用,大数据处理分析框架 scala编写采用DAG引擎,支持内存计算,速度快可以运行scala,java,python,r等开发的程序集成多种数据源 spark组件 spark co ...
windows10下python开发spark应用的环境搭建
环境搭建主要涉及到3方面,第1是安装,第2是环境变量的配置,第3是验证安装和配置是否成功,总的涉及到以下5个部分. 环境变量配置是在此电脑 -> 属性 -> 高级系统设置 -> 高 ...
linux spark单节点环境搭建,Linux下基于Hadoop的Spark1.2单机安装
一,安装环境硬件:虚拟机操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2. ...
YARN环境搭建之一：CentOS7.0系统配置
一.我缘何选择CentOS7.0 14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux,对于Hadoop2.X/YARN的环境配置缘何选择CentOS7. ...
Windows下Scala+Spark+IDEA+Hadoop环境搭建
下载安装包,添加环境变量不再赘述. 注意spark和scala要对应版本.例如Spark使用官网下载的spark-2.4.4-bin-hadoop2.7,打开%SPARK_HOME%\jars文件夹, ...

Spark on Yarn环境搭建

1，解压缩spark安装文件

2，修改spark目录名称

3，修改hadoop的yarn-site.xml文件，新增下面内容

4，将hadoop的yarn-site.xml配置文件分发到其它机器

5，修改spark-yarn/conf/spark-env.sh配置文件

6，拷贝hive的hive-site.xml配置文件到spark conf目录下

7，拷贝mysql的驱动包&hadoop的lzo jar包到spark jars目录下

8，重启hadoop集群

Spark on Yarn环境搭建相关推荐

最新文章

热门文章