大数据学习笔记（二）hadoop

一、Hadoop生态

二、Hadoop环境的搭建

1. 准备工作

A…新建一台虚拟机 (刚刚安装的全新系统)dt100

B.关闭防火墙

systemctl stop firewalld #关闭防火墙
systemctl disable firewalld # 禁用防火墙开机启动

C.创建一个普通权限的用户 “dt”

useradd dt #新建普通用户dt
passwd dt  #修改密码为dt
su dt      #切换登陆到用户dt

D.进入/opt文件夹新建文件夹software和module文件夹

cd /opt #进入/opt文件夹,1.切回root 创建    2.完成E之后，使用sudo创建
mkdir software module  #新建两个文件夹
chown dt:dt software  moudle   #更改权限组

E.将普通用户dt添加到sudoers中

vi  /etc/sudoers      #编辑sudoers配置文件 ,需root权限
增加一行内容
dt ALL=(ALL)  NOPASSWD:ALL
:wq!   #保存并退出

F.改hosts

vi /etc/hosts#   sudo   vi /etc/hosts
192.168.x.100  dt100
192.168.x.101  dt101
......
192.168.x.109  dt109   #x是网段。

或用脚本修改

vi sethosts.sh
#!/bin/bash
for((i=100li<110;i++))
doecho "192.168.x.$i  dt$i" >> /etc/hosts
done

#执行脚本,需要增加权限 chmod +x sethosts
./sethosts.sh

或py脚本 py2

vi pysethosts.py
#!/bin/python
f = open('/etc/hosts','a')
for i in range(100,110):f.write('192.168.x.'+str(i)+'  dt'+str(i)+'\n')f.close()

G.关机，并拍摄快照，克隆3台（dt101,dt102,dt103)

H.修改每一台机器的IP地址

vi /etc/sysconfig/net......./ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO='static'
IPADDR="192.168.x.10x"
GATEWAY="192.168.x.2"
DNS1="192.168.x.2"
NAME="ens33"
DEVICES="ens33"
ONBOOT="yes"

I.修改每一台主机名

vi /etc/hostname
或
hostnamectl set-hostname dt10x
查看主机名
hostname

2. 安装与配置

A.将hadoop与java安装文件上传到/opt/software文件夹
B.解压文件
```
tar -zxvf 压缩包名 -C /opt/module
```

C.配置环境变量-JAVA

vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk....
export PATH=$PATH:$JAVA_HOME/bin
:wq!
source /etc/profile
java -version #查看版本
jps  #查看java进程

D.配置环境变量-Hadoop

vi /etc/profile
#Hadoop_HOME
export  HADOOP_HOME=/opt/module/hadoop..........
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
:wq!source /etc/profile
hadoop version #查看hadoop版本

网络不可用时，尝试关闭网络管理器，并重启网络服务器

systemctl stop NetworkManager #关闭网络管理器
#systemctl disable NetworkManager #每次都需要关闭的情况下，再选择禁用.
systemctl restart network #重启网卡

大数据学习笔记（二）hadoop相关推荐

大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
大数据学习笔记二：Ubuntu/Debian 下安装大数据框架Hadoop
文章目录安装Java 为Hadoop创建用户安装Hadoop 配置Hadoop 配置环境变量设置配置文件格式化namenode 启动hadoop集群访问hadoop集群大数据学习系列文章: ...
大数据学习笔记之Hadoop（一）：Hadoop入门
文章目录大数据概论一.大数据概念二.大数据的特点三.大数据能干啥? 四.大数据发展前景五.企业数据部的业务流程分析六.企业数据部的一般组织结构 Hadoop(入门) 一从Hadoop框架 ...
大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建一.环境准备二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群六.打通3台服务器的免密登录七.hadoop集群配 ...
Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
hdp对应hadoop的版本_好程序员大数据学习路线分享hadoop的知识总结
大数据学习路线分享hadoop的知识总结,Hadoop的背景:原生公司是apache, cdh的cloudar公司,hortworks公司提供hdp. 其中apache的发行版本大致有1.x ,2.x ...
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
大数据学习系列之八----- Hadoop.Spark.HBase.Hive搭建环境遇到的错误以及解决方法参考文章: (1)大数据学习系列之八----- Hadoop.Spark.HBase.Hiv ...
大数据学习笔记（一）
大数据学习笔记(一)大数据概论大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...
大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink
大数据学习系列文章:大数据-博客专栏今天在学习极客时间专栏:<从0开始学大数据> 从预习 01 | 大数据技术发展史:大数据的前世今生到预习 03 | 大数据应用领域:数据驱动一切,系统 ...

大数据学习笔记（二）hadoop

一、Hadoop生态

二、Hadoop环境的搭建

大数据学习笔记（二）hadoop相关推荐

最新文章

热门文章