Mac单机安装Hadoop
1.前言
hadoop必须先安装jdk,没安装的请自行安装。本次使用的是Hadoop 3.2.1,下载路径如下:
Hadoop 3.2.1下载地址:https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
2.配置SSH免密登陆
打开系统偏好设置-共享-远程登录(默认情况下关闭,将“远程登录打开即可”)
生成密钥对,执行如下命令
ssh-keygen -t rsa
执行如下命令将在当前用户目录中的.ssh文件夹中生成id_rsa文件并且以后可以不使用密码登录:
cat ~/.ssh/id-rsa.pub >> ~/.ssh/authorized_keys
使用下面命令,测试是否可以不适用密码登录:
ssh localhost(主机名或者IP都可以)
3.安装Hadoop
将下载的Hadoop安装包解压到指定的目录,然后开始下面的配置
3.1设置环境变量
打开文件~/.bash_profile
open ~/.bash_profile
在文件中添加环境变量
xport HADOOP_HOME=/Users/xiongpeng/library/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
读取并执行.bash_profile中的命令
source ~/.bash_profile
3.2配置hadoop-env.sh
进入hadoop-env.sh,添加配置文件,hadoop-env.sh在etc/hadoop目录下。
vi hadoop-env.sh
增加环境变量信息
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/xiongpeng/Library/hadoop/hadoop-3.2.1.1/etc/hadoop
3.3修改core-site.xml
vi core-site.xml
注意fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致
<configuration><property><name>fs.defaultFS</name><value>hdfs://XXXXXXXXX:9000</value></property><!--用来指定hadoop运行时产生文件的存放目录自己创建--><property><name>hadoop.tmp.dir</name><value>/Users/xiongpeng/library/hadoop/hadoop-3.2.1.1/tmp</value></property>
</configuration>
3.4修改hdfs-site.xml
进入hdfs-site.xml文件
vi hdfs-site.xml
把hdfs 中文件副本的数量设置为1
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
3.5修改mapred-site.xml
进入mapred-site.xml文件
vi mapred-site.xml
设置mapreduce 使用的资源调度框架
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
3.6修改yarn-site.xml
进入yarn-site.xml
vi yarn-site.xml
设置yarn 上支持运行的服务和环境变量白名单
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
</configuration>
4.运行hadoop
1.格式化文件系统
bin/hdfs namenode -format
2.启动所有进程
sbin/start-all.sh
3.查看运行中的服务
终端输入jps
4.查看运行中的服务
登陆地址:http://192.168.0.110:9870/
Mac单机安装Hadoop相关推荐
- 在Mac上安装Hadoop HA 高可
**Mac安装Hadoop HA高可 在Mac上安装Hadoop HA 高可用 配置环境: HA & Federation介绍 Hadoop 1.x与Hadoop 2.x Hadoop 2.x ...
- Mac下安装Hadoop
文章目录 01 引言 02 配置ssh环境 02 安装与配置Hadoop 03 启动Hadoop并验证 3.1 启动Hadoop 3.2 启动yarn服务 04 Hadoop sbin下的命令 01 ...
- 单机安装 hadoop 环境(Hadoop伪分布式安装)
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
- Mac上安装hadoop
1.安装JAVA--之后会运行jar包,肯定需要java的运行环境 查看java版本: [html] view plaincopy java -version -------------------- ...
- 在Mac上安装Hadoop
对我这个之前从未接触过*nix的用户来说,使用命令行来做一系列的事情还是废了一番功夫.特写这个记录,以做备份. 获取Java 我的Mac运行的操作系统是OS X 10.7 Lion,之前已经安装过Ja ...
- 在mac上安装hadoop伪分布式
换了macbook pro之后,要重新安装hadoop,但是mac上的jdk跟windows上的不同,导致折腾了挺久的,现在分享出来,希望对大家有用. 一:下载jdk 选择最新版本下载,地址:http ...
- Mac下安装hive
文章目录 01 引言 02 Hive安装 03 配置hive元数据库 04 验证与运行hive 4.1 运行前准备 4.2 验证与运行 01 引言 hive本身是没有存储功能的,数据是存储在hadoo ...
- hbase 单机连接hadoop_随手搭hadoop+hbase(mac单机)
摘要 单机搭hadoop+hbase流程记录 引用学习: 1.hadoop 2.7.4 单机版安装 2.HBase环境搭建 安装程序准备: hadoop-2.7.7 : https://mirrors ...
- Ubuntu 14.04 hadoop单机安装
2019独角兽企业重金招聘Python工程师标准>>> 摘要自:http://www.powerxing.com/install-hadoop/ wget http://mirror ...
最新文章
- 一个中心、三大原则,阿里这样做智能对话开发平台
- react下移动端可吸附悬浮窗按钮,支持拖动拖拽功能
- 4:如何实现对两个整数变量的值进行互换。
- mysql学生选课系统的关系模型_使用PowerDesigner搭建学生选课管理系统(学生老师管理员一体系结构)由基础设计至数据库生成(SQL语句源代码的生成)全过程实例操作...
- 190906二级刷题水果与小女孩
- python编程高手教程_写给编程高手的Python教程(01) 数据结构
- 在Linux中GNU的名词解释,GNU在GNU / Linux操作系统中的主要贡献是什么...
- 陶瓷封装产品的6大优点
- MTK 一个分支兼容多客户开机Logo方案
- 前期交互流程(PTES的第一步)
- 吴伯凡-认知方法论-如何做到真正的反思
- K8S 三种探针 readinessProbe、livenessProbe和startupProbe
- 极简桌面 android 2.3,低端 Android 备机的轻量级启动器:极简光速桌面
- 摄像头在未来自动驾驶中的商业化落地方案
- 计算机count是什么函数,2010年职称计算机考试:计数函数COUNT
- 北京单身狗都去哪儿了
- 图论总结 for noip
- 关系型数据库和非关系型数据
- 计算机组装需要注意什么东西,电脑DIY:电脑组装时应该注意的几个细节以及方法...
- Genero BDL concepts (BDL概念)
热门文章
- SQL Server主从数据库同步
- 小程序线下怎么推广?和APP地推有什么差别?
- ubuntu安装python库_Python安装:如何在ubuntu下安装python库
- 【JavaScript-节点操作】什么是节点,节点操作怎么用,操作节点能干吗?
- JavaScript 实现打印操作
- c#:表达式树概念及应用场景(Expression)
- nagios 使用 sendEmail 发送报警邮件
- 利用aspose-cells解决 excel预览的折叠问题
- 扎克伯格的政治野心:2017年他想走遍美国52个州
- 大一计算机考试简单拿分点,大一计算机考试重点.doc