Spark之源码二次开发

2024-05-03 22:10:05

目录

一：意义

二：环境配置

三：替换步骤

一：意义

存在着更符合自己公司业务，服务器现状的分配算法逻辑，需要在源码层面进行改动。

二：环境配置

需要SCALA，JDK，MAVEN环境

Maven在Linux环境的配置：
第一步、使用mv命令将apache-maven-3.5.4文件夹拷贝到自己指定的文件夹，比如/usr/local/下

mvapache-maven-3.5.4/usr/local/

第二步、配置环境变量，编辑/etc/profile文件，添加如下代码

MAVEN_HOME=/usr/local/apache-maven-3.5.4

exportMAVEN_HOME

exportPATH=${PATH}:${MAVEN_HOME}/bin

第三步、保存文件，并运行如下命令使环境变量生效source /etc/profile第六步在控制台输入如下命令，如果能看到Maven相关版本信息，则说明Maven已经安装成功

mvn -v

三：替换步骤

1、下载spark-1.5.1.gz 的源码包（http://d3kbcqa49mib13.cloudfront.net/spark-1.5.1.tgz），并且经过自己的二次改造后

2、准备JDK，Scala，Maven环境

3、利用spark源码自带的 make-distribution.sh 脚本针对指定hadoop版本进行编译：
命令：./make-distribution.sh --tgz -Phadoop-2.6 -Pyarn -DskipTests -Dhadoop.version=2.6.0 -Phive

4、长时间的编译之后，得到spark-1.5.0-bin-2.6.0.tgz
（保证你环境有足够的内存）

GET：在Linux中运行的 Spark 都是与Hadoop集成的版本。
不会单纯的存在.

Spark之源码二次开发相关推荐

抖音seo源码短视频seo源码二次开发，怎么使用抖音seo源码，视频seo源码私有化部署？
抖音seo源码短视频seo源码二次开发,怎么使用抖音seo源码,短视频seo源码私有化部署? 抖音seo源码短视频seo源码二次开发,怎么使用抖音seo源码,短视频seo源码私有化部署到本地.首先 ...
抖音seo源码二次开发，短视频seo源码二次开发
抖音seo源码二次开发,短视频seo源码二次开发开发逻辑及部分代码展示抖音seo系统前端采用vue 与React技术语言,后端采用jave后台技术语言. 抖音seo是什么技术逻辑呢?seo是搜索引 ...
【共享农场】智慧农业小程序，定制开发与开元源码二次开发那个更合适呢？
如果要谈定制开发和拥有源码二次开发哪个更合适的话,首先得搞清智慧农业小程序这两个有什么区别呢?如果你要完全定制开发一套小程序费用基本上是在5-8W.而且时间比较长.很多人就算愿意承担资金成本,也不愿意 ...
spring cloud alibaba中台架构源码二次开发+系统集成、集中式应用权限管理
基于Spring Cloud Alibaba 分布式微服务高并发数据平台化(中台)思想+多租户saas设计的企业开发架构,支持源码二次开发.支持其他业务系统集成.集中式应用权限管理.支持拓展其他任意子 ...
手机微信群控源码二次开发
源码就像小学学习的拼音一样,只有认识每一个拼音才会打出一个完整的字,只有打出完整的字才会成为一篇优秀的文章.因此对于程序来讲,源码更是重要了,程序员要对系统升级或者二次开发都需要有完整的源代码才可以. ...
群控手机源码二次开发
少人都会问源码是什么?源码也叫源代码.源程序,就是编写的最原始程序的代码,即程序员工作的"语言",为何那么多人都会求群控源码呢?群控源码究竟对群控系统来说有多重要,下面我就来为大家 ...
php源码二次开发的技术,Thinkphp二次开发威客RW平台源码详细搭建教程（技术分享帖）-一颗优雅草科技yungui...
Thinkphp二次开发威客RW平台源码详细搭建教程(技术分享帖)-一颗优雅草科技yungui原地址:这里不能发应会员要求,本着互帮互助的原则,在这里出一套搭建教程. 首先查看是否跟我的运行环境一 ...
Ambari源码二次开发实战课程（持续更新中）
如果大家想基于 ambari 开发一套自己的大数据平台,那么 ambari 二次开发的相关知识就必须具备.比如:ambari 整体编译,ambrai 汉化,ambari 页面开发,ambari api ...
群控云控源码二次开发定制教程
来自秋天不穿秋裤,天冷也要风度的程序猿之手,必属精品!源码就像小学学习的拼音一样,只有认识每一个拼音才会打出一个完整的字,只有打出完整的字才会成为一篇优秀的文章.因此对于程序来讲,源码更是重要了,程序 ...

最新文章

热门文章