Hadoop(MapR)分布式安装及自动化脚本配置

　　MapR的分布式集群安装过程还是很艰难的，远远没有计划中的简单。本人总结安装配置，由于集群有很多机器，手动每台配置是很累的，编写了一个自动化配置脚本，下面以脚本为主线叙述（脚本并不完善，后续继续完善中）。

　　编写脚本需要shell基础的，还要掌握awk和sed等统计手段为佳。操作系统是CentOS7。

　　准备：安装CentOS操作系统并分区

　　分区：

　　/ 50G

　　/home 50G

　　/boot 500M

　　/var 50G

　　/swap 8G

　　/disk 305G（剩余全部，用于MapR的文件管理系统使用。特别注意，后面需要去掉挂载，reboot后会进入紧急模式，需要在配置里删掉disk的挂载）

　　一配置IP

　　根据公司网络代理配置Ip，这里注意使用awk，用=划分每一行，根据=前的变量修改=后的变量，输出到备份文件中；然后替换原有的Ip配置文件，最后重启网卡。ip在设置前一定要ping一下，不通才可以使用，否则会有ip冲突。

function config_ip(){
NETWORK_PATH=/etc/sysconfig/network-scripts/
ENFILE=`ls $NETWORK_PATH/ifcfg-en*`
IPADDR="10.4.45.211"
NETMASK="255.255.255.0"
GATEWAY="10.4.45.1"
DNS1="210.83.210.155"
TEMP_FILE="ifcfg.temp"cat $ENFILE | awk -F "=" '{if($1=="BOOTPROTO"){print $1"=static"}else if($1=="ONBOOT"){print $1"=yes"}else{print $1"="$2}
}
' > $TEMP_FILE
echo "IPADDR="$IPADDR >> $TEMP_FILE
echo "NETMASK="$NETMASK >> $TEMP_FILE
echo "GATEWAY="$GATEWAY >> $TEMP_FILE
echo "DNS1="$DNS1 >> $TEMP_FILEmv $TEMP_FILE $ENFILE
service network restart
}

　　二配置host文件

　　本集群暂时有四台主机，分别为apm1,apm2,apm3和apm4。用相应名称代替ip，简化了机器间的通讯。

function config_hosts(){echo "10.4.45.210    apm1" >> /etc/hosts
echo "10.4.45.211    apm2" >> /etc/hosts
echo "10.4.45.212    apm3" >> /etc/hosts
echo "10.4.45.213    apm4" >> /etc/hosts
}

　　三配置网络代理

　　/etc/profile文件中加入代理配置，但这里是追加到文件尾部了，需要替换到文件顶部。根据自己的代理配置账户和密码。

function config_proxy(){
echo "# add by user" >> /etc/profile
echo "setterm -blength 0" >> /etc/profile
echo "export http_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile
echo "export https_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile
echo "export ftp_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profilesource /etc/profile#curl "www.baidu.com"
}

　　四配置本地repo

　　repo配置成国内镜像，可以加快下载速度。

function config_repo(){

WY_REPO=CentOS-163.com.repo
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
cp /mnt/usb/$WY_REPO /etc/yum.repos.d/CentOS-Base.repo
yum clean all
yum makecache
}

　　五下载安装JDK

　　上一步配置好代理后，下面就可以yum下载安装JDK，vim,和createrepo。

function config_software(){
yum install vim
yum install java-1.8.0-openjdk-devel.x86_64
yum install createrepo
}

　　六安装MapR

　　使用MapR的repo，配置安装MapR相应的服务，包括fileserver,nfs,nodemanager,zookeeper,resourcemanager 和cldb

function config_mapr(){

MAPR_REPO=CentOS-mapr.repo
cp /mnt/usb/$MAPR_REPO /etc/yum.repos.d/maprtech.repo

yum install mapr-fileserver
yum install mapr-nfs
yum install mapr-nodemanager
yum install mapr-zookeeper
yum install mapr-resourcemanager
#yum install mapr-cldb
}

　　七配置env.sh

function config_env(){
bash /opt/mapr/conf/env.sh
}

　　以上为脚本的内容，可以完成MapR的大部分自动化配置安装。

　　八格式化disk，配置结点

　　后续完善。。。。。。。

　　脚本源码为下：

#!/bin/bash# config ip address
function config_ip(){
NETWORK_PATH=/etc/sysconfig/network-scripts/
ENFILE=`ls $NETWORK_PATH/ifcfg-en*`
IPADDR="10.4.45.211"
NETMASK="255.255.255.0"
GATEWAY="10.4.45.1"
DNS1="210.83.210.155"
TEMP_FILE="ifcfg.temp"cat $ENFILE | awk -F "=" '{if($1=="BOOTPROTO"){print $1"=static"}else if($1=="ONBOOT"){print $1"=yes"}else{print $1"="$2}
}
' > $TEMP_FILE
echo "IPADDR="$IPADDR >> $TEMP_FILE
echo "NETMASK="$NETMASK >> $TEMP_FILE
echo "GATEWAY="$GATEWAY >> $TEMP_FILE
echo "DNS1="$DNS1 >> $TEMP_FILEmv $TEMP_FILE $ENFILE
service network restart
}# config hosts
function config_hosts(){echo "10.4.45.210    apm1" >> /etc/hosts
echo "10.4.45.211    apm2" >> /etc/hosts
echo "10.4.45.212    apm3" >> /etc/hosts
echo "10.4.45.213    apm4" >> /etc/hosts
}# config proxy
function config_proxy(){
echo "# add by user" >> /etc/profile
echo "setterm -blength 0" >> /etc/profile
echo "export http_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile
echo "export https_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile
echo "export ftp_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profilesource /etc/profile#curl "www.baidu.com"
}function config_repo(){#cp -r /mnt/usb/mapr /home/# config repo
WY_REPO=CentOS-163.com.repo
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
cp /mnt/usb/$WY_REPO /etc/yum.repos.d/CentOS-Base.repo
yum clean all
yum makecache
}# config softwarefunction config_software(){
yum install vim
yum install java-1.8.0-openjdk-devel.x86_64
yum install createrepo}# mapr repo
function config_mapr(){
#cp /mnt/usb/mapr/* /home/apm2/mapr
#createrepo /mnt/usb/mapr
MAPR_REPO=CentOS-mapr.repo
cp /mnt/usb/$MAPR_REPO /etc/yum.repos.d/maprtech.repo#rpm --import http://package.mapr.com/releases/pub/maprgpg.keyyum install mapr-fileserver
yum install mapr-nfs
yum install mapr-nodemanager
yum install mapr-zookeeper
yum install mapr-resourcemanager
#yum install mapr-cldb
}function config_env(){
bash /opt/mapr/conf/env.sh
}# main
config_repo
config_software
config_mapr
#config_ip
#config_hosts
#config_proxy

转载于:https://www.cnblogs.com/rongyux/p/5661009.html

Hadoop(MapR)分布式安装及自动化脚本配置相关推荐

第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动
第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置.集群启动第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置 ...
基于Docker的Hadoop完全分布式安装
之前安装Hadoop是用VMWare创建虚拟机,然后安装伪分布式,因为虚拟机太慢,太卡,实在没有玩下去的心情了,现在想到Docker可以实现虚拟化,看看能不能安装Hadoop,网上查了查,果然可以,并 ...
Hive、Hadoop完全分布式安装，基本SQL，基本SQL，基本表结构，数据类型，函数，窗口函数，jion,查询和排序，beeline,文件格式及基本架构汇总
目录 Hive简介一.概述二.Hive和数据库的比较三.特点 Hadoop完全分布式安装一.配置二.安装步骤 Hive安装一.概述二.安装步骤其他一.Hive运行日志二.Hive的 ...
单机安装 hadoop 环境（Hadoop伪分布式安装）
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
php集群管理自动采集cns,CNS平台集成Expect自动化脚本配置功能
CNS解决方案现在已集成了Expect自动化脚本配置和指令下发功能,可以大量替换原有网管人员对交换机频繁配置所带来的不变.Expect是进行高效的系统和网络管理工作不可或缺的一种工具,如果您从事系统和 ...
Hadoop完全分布式安装
Hadoop 博客链接:http://hphblog.cn/2018/12/17/Hadoop简介与分布式安装/ 简介 Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutti ...
Hadoop完全分布式安装步骤
文章目录第一节:新建虚拟机 1.配置类型为"自定义" 2.安装来源为"稍后安装操作系统" 3.客户机和版本分别为"Linux"和" ...
hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
Hadoop完全分布式安装Kafka
应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后,发现hadoop完全分布式集群自带了HDFS,MapReduce,Yarn等基本的服务,一些其他的服务组件需要自己重新安装,比 ...

Hadoop(MapR)分布式安装及自动化脚本配置

Hadoop(MapR)分布式安装及自动化脚本配置相关推荐

最新文章

热门文章