hadoop2.9 idea_Windows系统使用IntelliJ IDEA 搭建Hadoop的开发调试环境(一)
准备
Hadoop集群
上一篇讲到的Hadoop环境搭建,开启Hadoop几个服务
./sbin/start-dfs.sh
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver
使用jps查看是否执行成功 命令:start-all.sh已经不推荐使用了。
[root@hadoop01 hadoop-2.6.0]# jps
1941 JobHistoryServer
1665 ResourceManager
1355 NameNode
1977 Jps
1497 SecondaryNameNode
IDEA+MAVEN
安装好IDEA,配置好MAVEN即可
WINDOWS系统账号
(同Linux下的Hadoop运行账号,如root)
如果在Windows中,新建一个账号,用户名为root(必须和Hadoop运行的账号一致,比如叫root、hadoop等等)
新建好之后,注销该账号登录的系统即可,不用在该账号下运行。
搭建
Hadoop
如果在调试HDFS功能,拒绝访问,并且在测试环境下,尝试下述做法
1、调用hdfs无需使用和运行hadoop用户名一致前提,但是需要到hdfs-site.xml中设置permission=false
dfs.namenode.secondary.http-address
hadoop01:9001
dfs.namenode.name.dir
file:/usr/hadoop-2.6.0/dfs/name
dfs.datanode.data.dir
file:/usr/hadoop-2.6.0/dfs/data
dfs.replication
2
dfs.webhdfs.enabled
true
dfs.permissions
false
IDEA工程
新建一个maven工程:hadoop
1、POM依赖
org.apache.hadoop
hadoop-common
2.6.0
org.apache.hadoop
hadoop-hdfs
2.6.0
org.apache.hadoop
hadoop-client
2.6.0
2、新建一个测试类Test
在hadoop中已经通过执行wordcount导入了input和output的fs文件,这里通过hdfs的api进行调试
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URI;
/**
* Created with j360 -> me.h360.hdfs.
* User: min_xu
* Date: 2015/4/14
* Time: 9:05
* 说明:测试hdfs的文件的情况
*/
public class Test {
public static void main(String[] args) throws Exception {
//hdfs的地址
String uri = "hdfs://192.168.145.128:9000/";
Configuration config = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), config);
// 列出hdfs上/tmp/input/目录下的所有文件和目录
FileStatus[] statuses = fs.listStatus(new Path("/tmp/input"));
for (FileStatus status : statuses) {
System.out.println(status);
}
// 在hdfs的/tmp/input目录下创建一个文件,并写入一行文本
FSDataOutputStream os = fs.create(new Path("/tmp/input/test.log"));
os.write("Hello World!".getBytes());
os.flush();
os.close();
// 显示在hdfs的/tmp/input下指定文件的内容
InputStream is = fs.open(new Path("/tmp/input/test.log"));
IOUtils.copyBytes(is, System.out, 1024, true);
}
}
调试
执行main方法
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/f1; isDirectory=false; length=20; replication=2; blocksize=134217728; modification_time=1428671368587; access_time=1428998938744; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/f2; isDirectory=false; length=25; replication=2; blocksize=134217728; modification_time=1428671368663; access_time=1428998938711; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/test.log; isDirectory=false; length=12; replication=3; blocksize=134217728; modification_time=1428991073630; access_time=1428998938072; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
Hello World!
Process finished with exit code 0
已经把前面生成的fs文件打印出来。
hadoop2.9 idea_Windows系统使用IntelliJ IDEA 搭建Hadoop的开发调试环境(一)相关推荐
- 搭建安卓盒子开发调试环境
最近由于想将手机屏幕投放到投影仪上买了一台小米盒子3增强版,测试了一下,感觉投放效果基本满意. 但是,这货能用来开发调试吗?答案是肯定的. 打开隐藏的设置程序 手里的这台盒子把android标准的设置 ...
- RT-Thread 模拟器 simulator 搭建 LVGL 的开发调试环境
前言 RT-Thread 当前的版本:4.1.0,通过简单的配置就可以支持最新的LVGL 图形库版本,LVGL图形库以软件包的方式加入工程 LVGL 可以认为是当前开源.免费的优秀GUI的图形库,对内 ...
- vs2017搭建Linux的开发调试环境(VisualGDB)
在Linux下调试工程是一件很苦逼的事情,不像在Windows下用Visual Studio那样简便,但是最近发现一件神器可以让Linux下的程序一样可以在Windows下的Viusal Studio ...
- Windows下使用cmake vscode搭建 C/C++开发调试环境
在windows下搭建的方式,在第3章之后同样适用于Linux系统,大致步骤均相同 1. MinGW的下载与安装 MinGW提供了 C/C++编译器,可以将程序源代码编译为可以在 Windows 中运 ...
- vs安装 c语言编译环境,Visual Studio Code安装与C/C++开发调试环境搭建
目录 简介 VSCode安装 VSCode语言设置 安装开发套件 构建C/C++编译环境 安装Clang 安装MinGW VSCode工程配置 launch.json tasks.json 测试 简介 ...
- 大数据平台架构实战(二)IntelliJ IDEA搭建hadoop
IntelliJ IDEA 构建工程 工具类开发,随便找,IntelliJ IDEA搭建Hadoop开发环境(下)_Captain.Y.的博客-CSDN博客 生成jar包 由于我们的开发环境和hado ...
- auto.js id为参数滑动_【Autojs教程】02Autojs PC端开发调试环境搭建
[Autojs教程]02-Autojs PC端开发调试环境搭建 写在前面 本篇教程算是保姆级教程了,希望以此能吸引更多感兴趣的同学学习Autojs,也希望大家能因此碰撞出更多的奇思妙想 关注微信公众号 ...
- 用pycharm搭建odoo 12, 11,10 开发调试环境
用pycharm搭建odoo 12, 11,10 开发调试环境 个人认为在windows平台下Pycharm 是最好的 odoo开发工具, 配置简单,操作简便,界面清爽,支持远程调试python,ja ...
- macos 环境下搭建 windbg 虚拟机双机调试环境
「求职」阿哈哈哈广告来了,博主本人,23届落魄web安全,在线求职,本科学历有一段大厂实习,有缺人的大佬么或者有内推的大佬给个机会吧,求求啦,可以微信联系我给您简历:ocean888-_- 文章底下有 ...
最新文章
- Echarts柱状图的点击事件
- 深度学习核心技术精讲100篇(五十五)-深度解读分布式定时任务框架
- Dubbo 一篇文章就够了:Dubbo遇到初恋
- SpringBoot集成EasyPoi实现Excel导入导出
- angularjs 让当前路由重新加载_Spring Cloud Gateway的动态路由怎样做?集成Nacos实现很简单...
- python3.6基础知识_python的基础知识
- C库函数与系统函数的关系
- TPAMI 2021 华为诺亚悉尼大学陶大程团队提出多功能卷积,助力轻量级网络
- FatFs - Generic FAT Filesystem Module
- 进入浏览器下载文件,状态栏不显示下载图标
- matlab对语音信号预加重处理,语音信号的预加重处理和加窗处理
- 星际争霸Ⅱ 神族操作记录
- selectpicker 清空选项_boostrap selectpicker 用法
- JS调用本地摄像头拍照(兼容各大浏览器及IE8+)
- MathType 安装到 WPS 的小插曲
- 6.3 由学得用——《逆袭大学》连载
- PbootCMS采集-PbootCMS采集插件-免费PbootCMS采集方法点解
- 修者和修士不同,修士又称修道者
- MSC阿里比赛第三题详解
- 局域网语音对讲系统_SOC1900申瓯电话录音系统 南京电话录音设备销售中心