hadoop完全分布式
2019独角兽企业重金招聘Python工程师标准>>>
本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。
一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作)
0.将三台电脑安装centos6.5系统
1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信)
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 #描述网卡对应的设备别名,例如ifcfg-eth0的文件中它为eth0
BOOTPROTO=static #设置网卡获得ip地址的方式,可能的选项为static,dhcp或bootp,分别对应静态指定的 ip地址,通过dhcp协议获得的ip地址,通过bootp协议获得的ip地址
BROADCAST=192.168.0.255 #对应的子网广播地址
HWADDR=00:07:E9:05:E8:B4 #对应的网卡物理地址
在文件最后面添加一下代码
IPADDR=192.168.80.100
NETMASK=255.255.255.0
NETWORK=192.168.0.0
里面的IPADDR地址设置你想要的,我这里是192.168.80.100。
设置好后,需要让IP地址生效,运行下面命令:
service network restart Shutting down interface
然后运行ifconfig就可以看到静态ip是否生效。
2.修改主机名(每台电脑都要修改,建议使用hadoop100,hadoop101,hadoop102,对应于ip地址最后面三位数)
vi /etc/sysconfig/network
hostname=hadoop100
重启一下网络service network restart
验证reboot -h now 立刻重启 然后hostname
3.关闭防火墙
关闭已经启动的防火墙: service iptables stop (只能关闭当前)
验证:service iptables status
Firewall is not running
关闭防火墙开机自动启动功能:
(1). 先查看 查看: chkconfig --list |grep iptables
iptables 0:off 1:off 2:on 3:on 4:on 5:on 6:off
(2). 关闭 chkconfig iptables off
验证:chkconfig --list |grep iptables
4.建立hadoop运行帐号
最好不要使用root操作hadoop,root是超级管理员权限,不推荐各个机器之间使用root访问,
二、配置hosts文件(只需要对主机192.168.80.100(hadoop100)进行操作,然后通过scp命令将这些配置分发给其他电脑即可)
操作192.168.80.100机器
192.168.80.100 hadoop100
192.168.80.101 hadoop101
192.168.80.102 hadoop102
三、为hadoop账户配置ssh免密码连入(只需对hadoop100操作)
操作hadoop100机器
① ssh-keygen -t rsa会在~/.ssh/文件夹下生成id_rsa id_rsa.pub两个文件
[root@hadoop100 local]# cd /usr/local
[root@hadoop100 local]# ./jdk-6u30-linux-x64.bin解压jdk后,生成jdk1.6.0_30文件夹
export PATH=.:$JAVA_HOME/bin:$PATH
chgrp -R hadoop /usr/local/hadoop/
修改为
export JAVA_HOME=/usr/local/jdk1.6.0_30
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop100:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop100:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
scp -r /etc/hosts root@hadoop102:/etc/
scp -r /usr/local/jdk1.6.0_30 root@hadoop102:/usr/local/
scp -r /etc/profile root@hadoop102:/etc/
分别验证: java -version
ping hadoop101
ping hadoop100
scp -r /usr/local/hadoop/ root@hadoop102:/usr/local/hadoop/
执行命令 hadoop namenode -format
32387 Jps
32283 JobTracker
32198 SecondaryNameNode
32021 NameNode
hadoop101和hadoop102上有
30770 TaskTracker
30866 Jps
30666 DataNode
说明运行成功,。,这时你可以运行个wordcount这个小例子体验一下、。
转载于:https://my.oschina.net/u/559635/blog/404982
hadoop完全分布式相关推荐
- 搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root ...
- hadoop完全分布式集群群起
hadoop完全分布式集群群起 1.配置slaves 2. 启动集群 1.配置slaves [xuzhenchao@hadoop102 hadoop-2.7.5]$ vim slaves 在文件中增加 ...
- 构建Hadoop伪分布式环境
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简 ...
- 用Hadoop进行分布式并行编程
程序实例与分析 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算.在 ...
- 在多台机器上搭建Hadoop的分布式环境
2019独角兽企业重金招聘Python工程师标准>>> 分布式环境搭建之环境介绍 之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的 ...
- 用 Hadoop 进行分布式并行编程, 第 3 部分 部署到分布式环境
一 前言 在本系列文章的第一篇:用 Hadoop 进行分布式并行编程,第 1 部分: 基本概念与安装部署中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, ...
- 用 Hadoop 进行分布式并行编程, 第 2 部分 程序实例与分析
前言 在上一篇文章:"用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署"中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本 ...
- 用 Hadoop 进行分布式并行编程, 第 1 部分 基本概念与安装部署
Hadoop 简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop D ...
- hadoop伪分布式模式_Hadoop模式介绍-独立,伪分布式,分布式
hadoop伪分布式模式 了解了什么是Hadoop之后,让我们在单机上启动Hadoop: 这篇文章包含在ubuntu上安装Hadoop的说明. 这是Hadoop安装的快速分步教程. 在这里,您将获得以 ...
- Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
最新文章
- 8岁上海小学生B站教编程惊动苹果CEO,库克亲送生日祝福
- Dockerfile 常用指令 - 每天5分钟玩转 Docker 容器技术(16)
- jQuery Autocomplete
- AI理论知识整理(12)-向量子空间
- centos查看mysql信息_CentOS查看和修改MySQL字符集
- docker三剑客之docker-machine
- 教师计算机考试登记网,计算机等级考试及计算机资格考试
- std::set作为一个有序集合
- vue学习笔记(五):对于vuex的理解 + 简单实例
- git pull keeping local changes
- Shell脚本和Python查看Nginx并发连接数、进程数和常驻内存占用情况
- IOS UIView直接响应点击事件的解决方法
- 卷积的发展历程,原理和基于 TensorFlow 的实现
- rpcbind结合nfs实现文件共享
- UBUNTU18.04系统安装打印机
- POSTMAN接口测试流程
- [论文阅读][CVPR2021]EventZoom: Learning to Denoise and Super Resolve Neuromorphic Events
- 个人收集的mac破解软件免费下载(不断更新中)
- 正菱台体积在线计算机,正四棱台体积,表面积,棱长,质量在线计算器_三贝计算网_23bei.com...
- 姿态估计mmpose一手体验 Ⅱ - 使用它!
热门文章
- python编程面向对象很简单,只需要掌握这几点
- php 限制刷新,PHP禁止频繁刷新方法
- tabcontainer控件太长_AjaxControlToolKit--TabContainer控件的介绍收藏[摘录]
- 汇编call指令详解_我也能写出雷军的的代码吗?最好的汇编语言入门教程在这里!...
- ECharts 饼图绘制教程
- 【Java】 leetCode 删除链表中等于给定值 val 的所有节点。
- 【C语言】一文搞定如何计算结构体的大小----结构体内存对齐规则
- TensorFlow自编码器(AE)实战
- HDU3440(差分约束+SPFA算法)
- 2020牛客多校第3场:Two Matchings[找规律+dp]