hadoop在windows下安装
下载hadoop地址 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 这是一个镜像地址,可以找到很多hadoop的版本
我下载的是2.6.5的版本 如果镜像找不到可以换地址找http://hadoop.apache.org(官网)
将下载的hadoop2.6.5解压放在你喜欢的文件夹下
由于在linux和windows环境不同,下载的hadoop文件夹的bin需要被替换成windows的版本
bin下载地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖hadoop的bin
我用的2.6.5的版本,用的是2.6.4的bin,将原本解压的hadoop中的bin本分成bin_bak,讲2.6.4的bin复制到hadoop目录下
配置hadoop 配置之前先配置好jdk
所有的配置文件都在D:\hadoop\tools\hadoop-2.6.5\etc\hadoop的目录下,使用Notepad++/记事本/..打开.
修改hadoop-env.cmd文件,jdk1.8后面不要有空格
set JAVA_HOME=D:\java\developTools\jdk1.8
修改core-site.xml
<configuration><property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
修改hdfs-site.xml
<configuration>
<property> <name>dfs.replication</name> <value>1</value>
</property>
<property><name>dfs.namenode.name.dir</name><value>file:/hadoop/data/dfs/namenode</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml是复制mapred-site.xml.template,去掉template
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
修改 yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>
启动hadoop
进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd
hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd //先启动dfs
start-yarn.cmd //再启动yarn
//或者
//start-all.cmd //相当于以上的两条命令 推荐使用
启动后
参考地址 https://blog.csdn.net/xrui_java7/article/details/70231221
hadoop在windows下安装相关推荐
- Windows下安装Cygwin配置Hadoop集群
Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集 ...
- [Hadoop]在Windows上安装Hadoop
详细步骤请下载附件:在Windows上安装Hadoop ,以下是主要章节: 1.引言 本示例主要介绍如何在windows下安装/启动hadoop,本示示例中在以下环境测试通过: ★ 操作系统:wind ...
- PyCharm搭建Spark开发环境windows下安装pyspark
目录 windows下安装pyspark PyCharm搭建Spark开发环境 windows下安装pyspark spark和hadoop版本版本之间有对应关系 安装jdk 安装hadoop 下载 ...
- 基于svnserve的SVN服务器(windows下安装与配置)
基于svnserve的SVN服务器(windows下安装与配置) 关键字: svn 安装SVNserve 从http://subversion.tigris.org/servlets/ProjectD ...
- Windows下安装Z3的Python3版
文章目录 Windows下安装Z3的Python3版 pip 安装(不推荐,很慢) 使用微软官方构建好的DLL(推荐,快速) Windows下安装Z3的Python3版 GitHub官方仓库地址:Z3 ...
- 在windows下安装concurrentlua
concurrentlua的makefile只提供了unix下的版本,如果直接按make里面得拷贝路径安排文件 在windows下是无法凑效的.这里我把我在windows下安装concurrentlu ...
- linux/windows下安装scala
为什么80%的码农都做不了架构师?>>> 一.linux下安装scala 1.保证jdk安装成功,版本在1.5或者更改版本,java和javac均可用. 2.官网下载scala ...
- windows下安装cygwin及配置
windows下安装cygwin及配置 对于使用Windows操作系统作为开发平台同时又喜欢类unix环境的朋友(Windows不是最方便的开发环境),这里是在Cygwin环境下安装Rails的步骤 ...
- Redis第一集:Windows下安装Redis和测试
Redis第一集:Windows下安装Redis和测试 一.资源 Windows下的Redis的下载地址 点击这里即可下载,如果进不去GitHub的话,可以上网搜一下怎么进GitHub,搭个梯子(●ˇ ...
最新文章
- jquery的页面加载完执行的函数
- 19.VS属性管理器窗口不见了怎么办?
- 百度富文本编辑jsp上传_百度富文本编辑器教程,从入门到放弃
- 结构体成员地址获得结构体起始地址
- ECharts - 嵌套环形图
- python如何输出结果_如何在python2.7中打印输出结果?
- 读取ppt并存入数据库_Java解析Excel文件并把数据存入数据库
- 获取http地址如何从上面抓取图片_用 Python 自动抓取妹子图
- jQuery星级评分插件
- 基金销售系统和TA系统
- 火车票电子客票系统已全面上线,如何识别多种身份有效证件?
- html如何实现自动登录,Js实现下次自动登录功能
- 未知病毒篡改火狐浏览器主页修复方法
- Linux入门参考文档(超详细)
- lin卡pci linux驱动下载,万能PCI串口卡驱动
- 单例模式(中):单例模式的弊端
- 数据库的四种事物隔离级别(基于MySQL的InnoDB存储引擎)
- 编写windbg调试器扩展 入门篇1
- uva 12627	Erratic Expansion
- centos7 搭建主机信任、重定向、挂载
热门文章
- python argparse模块详解_python自学argparse模块
- 代购商避税摘吊牌 消费者难辨真假不买账
- 基于linux嵌入式浏览,基于Linux的嵌入式浏览器的实现
- Codeforces--50B--Choosing Symbol Pairs
- nodejs 请求库 superagent response 中文乱码解决办法
- 抓取摩拜单车API数据,并做可视化分析
- prettierrc.json 配置
- 使用老毛桃进行uefi下的win10备份
- java计算机毕业设计果蔬在线销售系统MyBatis+系统+LW文档+源码+调试部署
- AUTOjs3.0文档之悬浮窗