进入安装sparkclient的节点

hdfs准备一个文件

su - hdfs

vi text.txt

随便写几行东西

#创建目录

hdfs dfs -mkdir /user/hdfs/test

#上传文件

hdfs dfs -put test.txt /user/hdfs/test/

#检查文件是否在

hdfs dfs -ls /user/hdfs/test/

#检查内容是否对

hdfs dfs -cat /user/hdfs/test/test.txt

spark在yarn上运行参见官方文档

http://spark.apache.org/docs/latest/running-on-yarn.html

进入spark-shell

spark-shell --master yarn --deploy-mode client

统计下

scala> sc.textFile("/user/hdfs/test/test.txt").count()

res0: Long = 7

scala> sc.stop()

再次刷新Spark History Server页面即可

http://192.168.128.55:18081/?showIncomplete=false

spark-submit提交任务到yarn

spark-submit --class org.whq.sparkTest.MLTest1 \

--master yarn \

--deploy-mode cluster \

--driver-memory 4g \

--executor-memory 2g \

--executor-cores 1 \

--queue default \

spark244test_2.11-0.1.jar \

--deploy-mode cluster集群模式，多个application，每个application启动一个Driver在集群的多台worker（NodeManager）上启动。

--deploy-mode client客户端模式，多个application，每个application启动一个Driver只在本机运行，与集群产生大量通讯。

Spark在Ambari集群环境的使用相关推荐

spark 入门及集群环境搭建
软件环境: VMware workstation 11.0 linux :CentOS 6.7 hadoop-2.7.3 jdk-1.0.7_67 spark-2.1.0-bin-hadoop2.7/ ...
Spark 1.2 集群环境安装
我是在单机环境下修改下配置完成的集群模式单机安装查看:http://blog.csdn.net/wind520/article/details/43458925 参考官网配置:http://spar ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十二）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。...
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
Spark集群环境搭建（standalone模式）
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...
kafka 基础知识梳理及集群环境部署记录
一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...
Spark 0.8 集群(CentOS6.4)-简单统计测试
环境:CentOS 6.4, hadoop-2.0.0-cdh4.2.0, JDK 1.6, spark-0.8.0-incubating-bin-cdh4.tar.gz,Scala 2.9.3 1. ...
Spark On YARN 集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 最近毕设需要用到 Spark 集群,所以就记录下了部署的过程.我们知道 Spark 官方提供了三种集群部署方案: Standa ...

Spark在Ambari集群环境的使用

hdfs准备一个文件

进入spark-shell

spark-submit提交任务到yarn

Spark在Ambari集群环境的使用相关推荐

最新文章

热门文章