先电云计算大赛大数据平台搭建

该操作是在虚拟机的基础上进行搭建，用CRT连接。该操作需要两个节点，分别是master和slave1节点。我并没有展示使用CRT进行常规操作，比如说：挂载镜像那个地方，这是因为是虚拟机所有可以，如果在服务器上就不能使用，而是进行常规操作。

镜像：

XianDian-BigData-v2.2

CentOS-7-x86_64-DVD-1511.iso

IP可自行设置

配置主机名

【master】

# hostnamectl set-hostname master
# bash

【slave1】

# hostnamectl set-hostname slave1
# bash

修改hosts文件

【master】（内网IP）

# vi /etc/hosts
192.168.200.131 master.hadoop master
192.168.200.133 slave1.hadoop

【slave1】(内网IP)

# vi /etc/hosts
192.168.200.131 master.hadoop
192.168.200.133 slave1.hadoop slave1

备份（两个都执行）

#mv /etc/yum.repos.d/* /media/

挂载镜像

【master】

#lsblk
#mkdir /opt/centos
#mount -o loop /dev/sr0  /mnt/
#cp -rvf /mnt/* /opt/centos/
#umount  /mnt/
#mount -o loop /dev/sr1  /mnt/
#cp -rvf /mnt/* /opt/
#umount  /mnt/

将XianDian-BigData-v2.2.iso挂在到/mnt目录下，将其中的ambari解压到/opt目录下，并在master节点配置ftp服务。

注意：

因为安装大数据相关软件包时，可能会用到相关依赖软件包，所以需要配置Centos7 Yum源，这里可以采用IAAS中的Centos7 Yum源。

由于该操作是基于虚拟机而不是在服务器上搭建，所以需要centos镜像，并且可以使用lsblk，这个lsblk我在前两个平台搭建都有介绍。

创建master节点的repo文件

#vi /etc/yum.repos.d/ambari.repo

[centos]
name=centos
baseurl=file:///opt/centos
gpgcheck=0
enabled=1
[ambari]
name=ambari
baseurl=file:///opt/ambari-2.6.0.0
gpgcheck=0
enabled=1

搭建ftp服务器，开启并设置自启

#yum install vsftpd –y
#vi /etc/vsftpd/vsftpd.conf添加anon_root=/opt/
保存退出#systemctl start vsftpd
#systemctl enable vsftpd

创建slave1节点repo文件

#vi /etc/yum.repos.d/ambari.repo

[centos]
name=centos
baseurl=ftp://192.168.100.131/centos
gpgcheck=0
enabled=1
[ambari]
name=ambari
baseurl=ftp://192.168.100.131/ambari-2.6.0.0
gpgcheck=0
enabled=1

关闭防火墙(两节点都关)

【master、slave1】

#systemctl stop firewalld
#systemctl disable firewalld

清理yum源

【master】

#yum clean all
#yum list
#vi /etc/selinux/config
SELINUX=permissive
#setenforce 0
#getenforce
permissive

【slave1】

# yum clean all
# yum list

启动httpd服务

#yum -y install httpd
#cd /mnt/
#ll
#cp -rvf  HDP* /var/www/html/
#systemctl enable httpd.service
#systemctl status httpd.service

配置ntp

【master】

# yum -y install ntp
# vi /etc/ntp.conf
注释或者删除以下四行
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
添加以下两行
server 127.127.1.0
fudge 127.127.1.0 stratum 10
#systemctl enable ntpd
#systemctl start  ntpd

【slave1】

# yum -y install ntpdate
# ntpdate master.hadoop
# systemctl enable ntpdate

安装配置JDK

【master】

在挂载镜像中，我是使用的/dev/sr1，如果在服务器上便是真正的镜像XianDian-BigData-v2.2.iso。

# mkdir /usr/jdk64/
# mount -o loop /dev/sr1 /mnt/
# cd /mnt/
# tar -zxvf jdk-8u77-linux-x64.tar.gz  -C  /usr/jdk64/
# vi /etc/profile
export JAVA_HOME=/usr/jdk64/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
# source /etc/profile
#java –version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

【slave1】

在第二个命令是使用的masterIP,在执行完这个命令，输入的是进入虚拟机root的密码。

#mkdir /usr/jdk64/
#scp 172.24.14.106://mnt/jdk-8u77-linux-x64.tar.gz .
# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/
# vi /etc/profile
export JAVA_HOME=/usr/jdk64/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
# source /etc/profile
#java  –version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

配置ambari-server

【master】

# yum -y install ambari-server

安装MariaDB数据库

【master】

# yum install  mariadb mariadb-server mysql-connector-java

启动服务

【master】

# systemctl enable mariadb
# systemctl start mariadb

配置MySQL

【master】

在配置MySQL中如果命令执行后一直无法展示，到时候使用reboot命令重启一下，就可以了。我在执行这个命令时，有时候出错，就是使用的reboot重启一下，就好了

#mysql_secure_installation
按enter确认后设置数据库root密码，我们这里设置为“bigdata”
Remove anonymous users? [Y/n] y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] y
Reload privilege tables now? [Y/n] y

创建ambari数据库

# mysql -uroot -pbigdata
MariaDB [(none)]> create database ambari;
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> use ambari;
MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
MariaDB [ambari]> quit

安装配置ambari-server

【master】

#vi /etc/profile
export buildNumber=2.6.0.0
# ambari-server setup
WARNING: SELinux is set to 'permissive' mode and temporarily disabled.
OK to continue [y/n] (y)?
Customize user account for ambari-server daemon [y/n] (n)? n
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
Path to JAVA_HOME: /usr/jdk64/jdk1.8.0_77
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
====================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
====================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Proceed with configuring remote database connection properties [y/n] (y)?
Ambari Server 'setup' completed successfully.# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

启动ambari-server服务

【master】

# ambari-server start

登陆界面http://192.168.200.131:8080/

登录用户名密码为admin：admin

以上内容便是平台搭建。