IDEA连接hadoop hdfs
一、下载插件
进入一下界面， 搜索 big data tools
重启IDEA
二、本地配置
首先保证浏览器可以访问到
按照下述步骤创建一个HDFS连接
点击Test Connection出现报错，点击哪个报错的链接
https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems
点击之后出现如下界面，点击to github
下面这个页面就是解决方案，HADOOP_HOME not found
https://github.com/steveloughran/winutils
下载解压后，放在某个路径下,并且保存该路径，并且找到对应的hadoop版本，我们要为他配置环境变量。我用的是hadoop-2.7.1
我的路径是 D:\winutils\winutils-master\hadoop-2.7.1
三、配置环境变量
在桌面上，点击此电脑右键->属性 ->高级系统设置->环境变量
HADOOP_HOME
D:\winutils\winutils-master\hadoop-2.7.1
点击确定。
找到Path，双击
新建一个 %HADOOP_HOME%\bin
四、再次连接
回到IDEA （建议重启IDEA），重新进行连接。
点击Test connection，可以连接了！！！
如果出现如下错误
在linux中随便创建一条数据即可hdfs dfs -mkdir /data/1
这个时候就连接成功了！
IDEA连接hadoop hdfs相关推荐
- php 连接hadoop hdfs,Hadoop HDFS操作
启动HDFS 首先,格式化配置HDFS文件系统,打开NameNode(HDFS服务器),然后执行以下命令. $ hadoop namenode -format 格式化HDFS后,启动分布式文件系统.以 ...
- 大数据之_Hadoop工作笔记002---SpringBoot连接Hadoop HDFS进行创建文件夹，添加上传文件，删除文件，下载文件操作
技术交流QQ群[JAVA,.NET,BigData,AI]:170933152 首先,把环境搭好,至今我只搭了非集群的.看另一篇博文, idea开发 1.创建工程,选择:WEB,把web勾上,选择sq ...
- bboss hadoop hdfs大数据抽取工具
bboss大数据抽取工具功能特点如下: 实现db到hadoop hdfs数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区.按字段分区.分页方式并行批处理抽取db数据到hdfs文件系统中: ...
- JAVA程序连接hadoop HDFS服务报无法连接。
2019独角兽企业重金招聘Python工程师标准>>> 在虚拟机部署hadoop的HDFS系统,在centos系统中敲各种操作命令,对文件读取.上传.删除等都没什么问题.但用JAVA ...
- 使用python来访问Hadoop HDFS存储实现文件的操作
在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程 查看文件内容 www.xiaorui.cc 用python访问hdfs是个很头疼的事情.... 这个是p ...
- myeclipse连接hadoop集群编程及问题解决
原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程had ...
- eclipse手动pom本地包_环境篇--Eclipse如何远程连接Hadoop集群调试
关注 DLab数据实验室 公众号 带你一起学习大数据- 写在前面:最近终于闲下来了,打算把之前了解到的内容整理一下,先从搭建环境开始吧- 现在接触大数据开发的朋友可能直接使用Spark或者其他的查询引 ...
- 用eclips连hadoop报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.ClientProtoco
win7上开发hadoop 在eclips连接hadoop时,报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.Cli ...
- windows下eclipse远程连接hadoop集群开发mapreduce
转载请注明出处,谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此 ...
最新文章
- 爱奇艺效果广告的个性化探索与实践
- Yii 框架调试之CWebLogRoute
- c语言二极管控制程序,二极管(STC89C52): 编写程序控制二极管花样流水灯
- 【Python】logging内置模块基本使用
- 【POJ】2296 Map Labeler
- c#图片处理之:在图片上打上文字
- 使用Julia进行图像处理--图像表示与匹配算法
- 38张技术知识图谱，IT架构师必备【附下载】
- NetApp存储方案及巡检命令
- HCI超融合供应商全球六强对比
- 为什么要参加hadoop培训
- 参加西湖论剑2021
- 盗贼之海服务器维护时间,盗贼之海常见问题解决方法
- exec函数用法总结
- xamarin其实也是一个鸡肋
- 拆解老式电饭锅限温器并验证其原理
- 解读ACL2020的一篇机器阅读理解方向的论文(Recurrent Chunking Mechanisms for Long-text machine reading comprehension)
- android+属性动画+高度,android 自定义view+属性动画实现充电进度条
- Unity3D基础知识之Camera摄像机及其属性
- 计算机操作系统 (第四版汤小丹老师) 复习笔记第一章