Hadoop单点安装(伪分布式)
Hadoop单点安装,基于版本2.7.1,
在一台Lunix主机上面安装Hdoop,
包括Hdfs的NameNode和DataNode,
以及Yarn的ResouceManager和NodeManager。
1.安装规划
vi /etc/hosts
10.43.159.7 zdh-7
useradd -g hadoop -s /bin/csh -md /home/hdfsone hdfsone
hdfsone/zdh1234
2.配置文件
登陆hdfsone用户,
安装jdk,修改.bashrc文件,配置jdk目录:
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置hadoop的安装目录:
export HADOOP_HOME=/home/hdfsone/hadoop-2.7.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
3.配置ssh,实现免密登陆
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
必须修改权限,否则无法免秘登陆
chmod 600 ~/.ssh/authorized_keys
验证无密码登陆
ssh localhost
注意,本步骤单机也需要配置的,在启动脚本中会用到相应的功能。
4.安装rsync
使用如下命令查看是否已经安装,一般都有:
type rsync
5.解压hadoop
tar -zxvf hadoop-2.7.1.tar.gz
6.配置伪分布模式
修改etc/hadoop/core-site.xml如下:
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.43.159.7:9000</value>
</property>
修改etc/hadoop/hdfs-site.xml如下:
<property>
<name>dfs.replication</name>
<value>1</value>
</property><property><name>dfs.namenode.name.dir</name><value>file:/home/hdfsone/dfs/name</value>
</property><property><name>dfs.datanode.data.dir</name><value>file:/home/hdfsone/dfs/data</value>
</property><property><name>dfs.namenode.rpc-address</name><value>10.43.159.7:9000</value><description>RPC address that handles all clients requests. In the case of HA/Federation where multiple namenodes exist,the name service id is added to the name e.g. dfs.namenode.rpc-address.ns1dfs.namenode.rpc-address.EXAMPLENAMESERVICEThe value of this property will take the form of nn-host1:rpc-port.</description>
</property><property><name>dfs.namenode.secondary.http-address</name><value>10.43.159.7:40090</value><description>The secondary namenode http server address and port.</description>
</property>
注意:core-site.xml的fs.defaultFS的端口要和hdfs-site.xml的dfs.namenode.rpc-address一致,以rpc配置的端口开启监听
7.初始化并且启动hdfs
格式化namenode,修改完配置后执行:
hdfs namenode -format
dfs/name等目录不存在会自动新建
启动hdfs服务:
start-dfs.sh
停止hdfs服务:
stop-dfs.sh
hdfs的web管理页面:
http://10.43.159.7:50070
hdfs服务地址:
hdfs://10.43.159.7:9000
查看namenodes节点:
hdfs getconf -namenodes
8.配置yarn
cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
启动yarn服务:
start-yarn.sh
停止yarn服务:
stop-yarn.sh
yarn的web管理页面:
http://10.43.159.7:8088/
9.验证hdfs安装
创建目录
hadoop fs -mkdir /user
列出根目录
hadoop fs -ls /
10.验证yarn安装
后台执行mapreduce任务,可以在yarn的web管理页面查看到:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input/wordcount /user/wordresult
11.参考文章
http://www.aboutyun.com/thread-12798-1-1.html
Hadoop单点安装(伪分布式)相关推荐
- Hadoop系列之九:Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
- Hadoop 单机版和伪分布式版安装
1 依赖项 java ssh $ java -version java version "1.8.0_181" Java(TM) SE Runtime Environment (b ...
- hadoop 2.6 伪分布式的安装
我们选择安装的版本为: hadoop-2.6.0-cdh5.4.0.tar.gz. 一.下载.解压 二.修改配置文件 配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路 ...
- Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境 单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
- hadoop - hadoop2.6 伪分布式 示例 wordcount 分词 和 hdfs常用操作命令
1.背景 上篇已经学习了hadoop伪分布式安装,这篇演示一个例子:更好的理解hdfs 文件系统! 2.hdfs 命令操作 说明:我这里hadoop进行了path 变量配置,所以可以使用 hadoop ...
- windows下hadoop的单机伪分布式部署(3)
下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件 在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hado ...
- Hadoop入门-单机伪分布式配置
为了配置的的方便建议先提升你的登录用户权限,本配置中凡是要在终端中输入的命令都用红色字体,需注意对应的目录用了色字体标出. 启用超级用户 sudo passwd root(然后输入你的超级用户密码)以 ...
- Ubuntu Linux服务器安装Hadoop并配置伪分布式
文章目录 1. 流程 2. 解压并安装Hadoop 2.7.1
- hadoop 配置 docker伪分布式(单节点)
在~/.bashrc中添加环境变量 export JAVA_HOME=/bigdata/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin export HAD ...
最新文章
- vss2005与vs2005绑定问题解决
- asp开发中存储过程应用全接触 _asp技巧
- boost::geometry::srs::spar用法的测试程序
- 学习Python最好的途径——激发自己的学习兴趣!
- 如何在log4j.properties文件中使用相对路径
- 【贪心】【高精度】zoj3987 Numbers
- 强化学习能挑战众多世界冠军,人类亦能利用强化学习成为冠军
- python123判断字符串结尾_Python学习教程:在字符串的开头和结尾处做文本匹配
- Atitit 常见的树形结构 红黑树 二叉树 B树 B+树 Trie树 attilax理解与总结
- mac os模拟器linux,Mac系统如何启动iOS模拟器 快速启动iOS模拟器教程
- 生产环境部署springcloud微服务启动慢的问题排查
- 谷歌负载均衡Maglev实现简析
- 企业级负载均衡LVS集群——DR模式下的(加权)轮询调度器、DR模式下的健康检测(ldirectord)
- 自媒体人必备神器,200w+自媒体人都在用
- 将 MobaXterm 的高亮/突出显示集功能(HighLight sets)移植到 Xshell6 中使用
- ADB 操作命令及用法
- 杰理 开发环境搭建以及软件使用
- 7-1 藏尾诗 (20 分)
- 怎么从淘宝上保存视频素材
- mastercam铣刀的应用