虚拟机配置spark

进入系统，设置开机以root用户启动：

进入root模式：
su root
修改配置文件：
vi /etc/gdm/custom.conf
在[daemon]下写入：
AutomaticLoginEnable=True
AutomaticLogin=root

准备工作：

修改主机名

 vim /etc/sysconfig/network在文件中加入：NETWORKING=yesHOSTNAME=hadoopvim /etc/sysconfig/network-scripts/ifcfg-ens33最后一行加入：HOSTNAME=hadoopvim /etc/hostname删掉原有的一行，加入：hadoopifconfig，找到自己ens##的ip（如192.168.159.130），然后：vim /etc/hosts删除原有的内容，加入：192.168.159.130 hadoop localhost

2. 免密登录

ssh-keygen -t rsa
之后全都直接回车：

然后：

3. 创建文件目录

4. 将需要安装的软件的压缩包放到software中

5. 配置java环境
Centos7自带了jdk1.8，要先卸载。

卸载原本的jdk，noarch文件可以不删：

然后解压jdk到app目录下，并改名：
tar -zvxf jdk-8u231-linux-x64.tar.gz -C ~/app

配置环境变量，激活配置文件：

6. 安装hadoop
解压压缩包，并改名：

修改Hadoop配置文件：

hadoop-env.sh，将文件原有的JAVA_HOME注释掉，加入本机的路径：

core-site.xml：

<configuration>  <property>  <name>fs.default.name</name>  <value>hdfs://hadoop:9000</value>  </property><property>  <name>hadoop.tmp.dir</name>  <value>/root/app/tmp</value>  </property>
</configuration>

hdfs-site.xml：

<configuration>  <property>  <name>dfs.replication</name>  <value>1</value>  </property>
</configuration>

配置环境变量，并生效：

格式化DFS文件系统：

启动集群并检查：

关闭防火墙：

永久关闭防火墙
systemctl stop firewalld.service

查看hadoop网页：
Ip（如：192.168.159.130）:50070

配置yarn：

复制模板文件配置mapred-site.xml：

<configuration>  <property>  <name>mapreduce.framework.name</name>  <value>yarn</value>  </property>
</configuration>

配置yarn-site.xml：

<configuration><property><name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value>  </property>
</configuration>

启动yarn：

查看web端：
Ip（如：192.168.159.130）:8088

测试yarn：

创建file，提交到hdfs上运行：

出现了VM warning，出现这个问题基本都是在64位操作系统上，这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的，如果在64位系统上运行会出现这个问题错误。
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

如果不想看NativeCodeLoader WARN，可以配置log4j文件：

在文件最后面追加：

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

执行命令测试：

hadoop jar /root/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input/wc/file /output/wc/file

7. 安装mysql（一开始安装出来很大的问题，最后发现，我安装的i686是32位的，应该安装x86的）

卸载自带的mysql和mariadb（已经删掉了，自己需要的时候百度）

按顺序安装mysql的组件

解决在CentOS上安装mysql出现/lib/ld-linux.so.2: bad ELF interpreter问题和缺少共享库libstdc++.so.6_tree_ifconfig的博客-CSDN博客

上面的是32位的错误安装，下面重新安装64位：

初始化mysql

查看临时密码：

启动mysql服务：

使用临时密码登录：

修改密码：

刷新：

重新登录，并开放权限：

8. 安装hive
解压到app目录下：

配置hive：
hive-env.sh:

出bug，不配了

hive-site.xml:（新文件）

<configuration><property><name>javax.jdo.option.ConnectionURL</name>  <value>jdbc:mysql://localhost:3306/spark?createDatabaseIfNotExsit=true;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name>  <value>com.mysql.jdbc.Driver</value>  </property><property><name>javax.jdo.option.ConnectionUserName</name>  <value>root</value>  </property><property><name>javax.jdo.option.ConnectionPassword</name>  <value>数据库root的密码</value>  </property>
</configuration>

拷贝架包：

初始化hive

失败了
9. 配置maven
解压，改名：

设置环境变量：

配置settings.xml：

<mirror><id>alimaven</id><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf></mirror>

<localRepository>/root/repository</localRepository>

检查是否安装成功：

10. 配置scala
安装并改名：

配置环境：

检查：

11. 配置git

卸载原有版本：

解压压缩包，改名：

安装依赖

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install  gcc perl-ExtUtils-MakeMaker

安装：

make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/root/app/git/bin" >> .bash_profile
source /etc/profile

检查：

配置git：

git config --global user.name "1210611257"
git config --global user.email “1210611257@qq.com”

查看配置是否生效

git config --list

创建本地仓库：

mkdir gitspace
cd gitspace
git init

配置github
12. 安装IDEA
centos7中idea的安装与部署 - 活跃星竹 - 博客园 (cnblogs.com)

然后覆盖即可。

虚拟机配置spark相关推荐

windows下虚拟机配置spark集群最强攻略！
全文共4356个字,58张图,预计阅读时间20分钟. 虚拟机安装首先需要在windows上安装vmware和ubuntu虚拟机,这里就不多说了. vmware下载地址:直接百度搜索,使用百度提供的链 ...
虚拟机安装spark配置推荐
如果虚拟机配置的内存太少,spark运行计算的时候会报: WARN TaskSchedulerImpl: Initial job has not accepted any resources; che ...
VMware提示：已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作。解决方案
VMware提示:已将该虚拟机配置为使用 64 位客户机操作系统.但是,无法执行 64 位操作.解决方案参考文章: (1)VMware提示:已将该虚拟机配置为使用 64 位客户机操作系统.但是,无法 ...
apache虚拟机配置步骤和修改访问端口
这篇文章主要介绍了apache虚拟机配置步骤和修改访问端口的方法(虚拟机端口映射),需要的朋友可以参考下一.添加服务端口在文件Apache\conf\httpd.conf中, 1.找到 Liste ...
Idea配置spark环境及编写scala代码
由于之前在往上没有找到比较好的关于IDEA配置spark环境,现在分享一下 1.打开IDEA create New Project 2.创建项目,如下图所示 3.配置maven文件,即使你本地没有sp ...
FE.ENV-manjaro虚拟机配置和常见前端工具安装
manjaro 虚拟机配置在vbox下创建linux虚拟机,iso文件见https://manjaro.org/get-manjaro/ ,作者选择Manjaro GNOME Edition (17 ...
linux上配置spark集群
环境: linux spark1.6.0 hadoop2.2.0 一.安装scala(每台机器) 1.下载scala-2.11.0.tgz 放在目录: /opt下,tar -zxvf scala- ...
VMware12提示已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作...
VMware12提示已将该虚拟机配置为使用 64 位客户机操作系统.但是,无法执行 64 位操作. 此主机支持 Intel VT-x,但 Intel VT-x 处于禁用状态解决办法: 下载LeoM ...
VMware12提示已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作。...
VMware12提示已将该虚拟机配置为使用 64 位客户机操作系统.但是,无法执行 64 位操作. 此主机支持 Intel VT-x,但 Intel VT-x 处于禁用状态解决办法: 下载LeoM ...

虚拟机配置spark

虚拟机配置spark相关推荐

最新文章

热门文章