Hadoop详细配置教程

windows下采用PuTTY或者Xshell连接远程主机

mac用终端连接远程linux主机：ssh user@hostname

user 为 linux 服务器的管理员名称

hostname 为 linux 服务器的IP

注意：

pwd 可显示当前目录所在位置。

使用who命令可以查看当前登录用户，使用w命令可以看到所有登录用户信息。

查看主机名hostname命令：hostname 或者 uname -n

查看系统版本、内核等详细信息：uname -a

linux如何查看主机的cpu个数和总内存：cat /proc/cpuinfo 和cat /proc/meminfo

安装jdk

# ls

# javac //检测java环境(得出提示，按提示安装)

# sudo apt-get install openjdk-7-jdk

# javac //检测java环境

# vim /etc/profile

键盘输入a,进入编辑模式，编辑文件，设置JAVA环境变量

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=JAVA_HOME/lib:JAVA\_HOME/lib:JAVA_HOME/lib:JRE_HOME/lib:$CLASSPATH

export PATH=JAVA_HOME/bin:JAVA\_HOME/bin:JAVA_HOME/bin:JRE_HOME/bin:$PATH

点ESC键退出编辑模式

输入:wq保存退出

# source /etc/profile 　　(使之生效)

# javac//检测java环境

安装hadoop

下载hadoop:

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

# ls

# mv hadoop-1.2.1.tar.gz /opt/ 　(把hadoop安装包放到opt目录下，注：mkdir为创建文件夹命令)

# cd /opt/

# ls

# tar -zxvf hadoop-1.2.1.tar.gz 　 (解压缩)

# ls

# cd hadoop-1.2.1/

# ls

(主要配置的文件夹为conf)

# cd conf/

# ls

主要配置4个文件：mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh

# vim hadoop-env.sh

编辑有export=JAVA_HOME那一行:去掉前面#号，export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

如果忘了java环境变量地址，先退出，然后通过 # echo $JAVA_HOME 查看变量地址，然后复制下来去粘贴。最后:wq保存

# vim core-site.xml(注：imooc是自己本机的hostname即主机名,9000是端口号)

配置内容：

hadoop.tmp.dir

/hadoop

dfs.name.dir

/hadoop/name

fs.default.name

hdfs://imooc:9000

:wq保存退出

# vim hdfs-site.xml

配置内容：

dfs.data.dir

/hadoop/data

:wq保存退出

# vim mapred-site.xml

配置内容：

mapred.job.tracker

imooc:9001

:wq保存退出

# vim /etc/profile (hadoop环境变量配置)

export HADOOP_HOME=/opt/hadoop-1.2.1

export PATH=JAVA_HOME/bin:JAVA\_HOME/bin:JAVA_HOME/bin:JRE_HOME/bin:HADOOP_HOME/bin:HADOOP\_HOME/bin:HADOOP_HOME/bin:PATH

:wq保存退出

# source /etc/profile (设置生效)

# hadoop (检测hadoop)

# cd …

# cd bin/ (即/opt/hadoop-1.2.1/bin目录)

# ls

# hadoop namenode -format (对namenode进行格式化操作)

启动hadoop:

# cd /opt/hadoop-1.2.1/bin/

# ls

# start-all.sh

# jps (使用jps查看hadoop是否运行正常，运行了哪些进程)

# hadoop fs -ls /(看看hadoop下面有哪些文件)

Hadoop详细配置教程相关推荐

apache mysql 连接数 winnt,APACHE PHP MYSQL PHPMYADMIN超详细配置教程
Apache+PHP+MySQL+phpMyAdmin超详细配置教程安装之前需要下载 Apache2.0.59 PHP4.4.4Win32 MySQL4.12 phpMyAdmin2.9.1.1rc ...
用微信公众号做淘宝优惠券查券和返利机器人的详细配置教程
用微信公众号做淘宝优惠券查券和返利机器人的详细配置教程:微信公众号淘宝客机器人,微信公众号淘客系统自助搭建教程一.淘宝联盟官方淘宝客私域渠道ID申请 1.登陆淘宝联盟用需要开通淘宝联盟的手机淘宝扫 ...
SAP S4 FI后台详细配置教程- PART4 （科目及税费相关配置篇）
目录 1.总帐科目 1.1编辑科目表清单 1.2 科目表分配给公司代码 1.3 定义科目组 1.4 定义留存收益科目 2.销售/购置税 2.1 维护销售/购置税务代码税率 2.2 配置销项/销项税会 ...
SAP S4 FI后台详细配置教程- PART5 （应收帐目和应付帐目配置篇）
SAP S4 FI后台详细配置教程- PART5 (应收帐目和应付帐目配置篇) 1 .客户 1.1 定义客户科目组概念功能说明: • 客户是按照账户组来管理的,可以通过定义客户科目组来进 ...
校园二手书商城源代码基于微信小程序云开发，可在线支付提现，含详细配置教程
校园二手书商城源代码基于微信小程序云开发,可在线支付提现,含详细配置教程完整代码下载地址:校园二手书商城源代码基于微信小程序云开发欢迎使用,下面是配置教程长话短说,下面直接说配置流程一.小程序 ...
微信公众号找券搜券和返利机器人的详细配置教程分享
微信公众号找搜券和返利机器人的详细配置教程分享一.淘宝联盟官方淘宝客私域渠道ID申请 1.登陆淘宝联盟用需要开通淘宝联盟的手机淘宝扫码授权登陆联盟地址:https://www.alimama.c ...
hadoop 2.0 详细配置教程
作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我. update: 20130518 大家可以尝试下Ambari来配置Hadoop的相关环境快速的部署Ha ...
基于阿里云服务器ECS和宝塔面板，适合初学者的蚂蚁笔记（Leanote）超详细配置教程（但是真的不好用）
文章目录前言环境准备蚂蚁笔记(Leanote)介绍一.设置安全组.配置规则二.安装 Leanote 二进制版三.安装MongoDB 四.导入Leanote初始数据五.配置 Leanote ...
you-get详细配置教程
一.you-get介绍 you-get是一款能够直接从网页上下载视频.音乐.图片的命令行多媒体下载器,它支持80多个网站,包括某酷.某奇艺.某讯.Bzhan.YouTube等,具体说明及支持网站可点击 ...

Hadoop详细配置教程

Hadoop详细配置教程相关推荐

最新文章

热门文章