hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作

hadoop fs ，hadoop dfs 和 hdfs dfs的区别

1、hadoop fs：该命令可以作用于hadoop的所有子系统
2、hadoop dfs：专门针对HDFS分布式文件系统
3、hdfs dfs：专门针对HDFS分布式文件系统，使用hadoop
dfs时内部会被转为hdfs dfs命令

常用命令：

1、-help：输出这个命令参数
2、-ls: 显示目录信息
3、-mkdir：在HDFS上创建目录
4、-moveFromLocal：从本地剪切粘贴到HDFS
5、-appendToFile：追加一个文件到已经存在的文件末尾
6、-cat：显示文件内容
7、-chgrp 、-chmod、-chown：修改文件所属权限
8、-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
9、-copyToLocal：从HDFS拷贝到本地
10、-cp：从HDFS的一个路径拷贝到HDFS的另一个路径
11、-mv：在HDFS目录中移动文件
12、-get：等于copyToLocal，就是从HDFS下载文件到本地
13、-getmerge：合并下载多个文件
14、-put：等同于copyFromLocal
15、-tail：显示一个文件的末尾
16、-rm：删除文件或文件夹
17、-rmdir：删除空目录
18、-du统计文件夹的大小信息
19、-setrep：设置HDFS中文件的副本数量

hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作相关推荐

大数据技术之Hadoop（HDFS）第2章 HFDS的Shell操作
1)基本语法 bin/hadoop fs 具体命令 2)命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile < ...
HDFS系统上使用命令hadoop fs -rm -rf 误删文件补救
1.首先明确一点使用hadoop fs -rm -rf 并不是直接的删除文件而是将文件暂存在了hdfs的垃圾护收站里面,如果删除时间较久了就会被自动清理掉无法恢复建议第一时间去垃圾回收站恢复 [hdf ...
Hadoop学习笔记—2.不怕故障的海量存储：HDFS基础入门
一.HDFS出现的背景随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护->因此,迫切需要一种系统来管理多 ...
Hadoop HDFS (3) JAVA訪问HDFS
如今我们来深入了解一下Hadoop的FileSystem类. 这个类是用来跟Hadoop的文件系统进行交互的.尽管我们这里主要是针对HDFS.可是我们还是应该让我们的代码仅仅使用抽象类FileSyst ...
hadoop 权限错误 Permission denied: user=root, access=WRITE, inode=/:hdfs:super
关于不能执行Hadoop命令并报权限问题执行错误1.Permission denied: user=root, access=WRITE, inode="/":hdfs:supe ...
Hadoop fs 常用命令
操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样. Hadoop启动: start-all.sh 等价于 start-dfs.sh + start-yarn.s ...
Python +大数据-hadoop生态-hadoop(三)--Hadoop HDFS
Python +大数据-hadoop生态-hadoop(三)–Hadoop HDFS 今日课程学习目标理解分布式文件存储的概念与实现掌握HDFS分块存储.副本机制等特性学会shell操作HDFS ...
hadoop fs 命令大全（解析和例子）
hadoop fs [generic options] hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录 ---------------------- ...
Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...
【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录前言一.hadoop fs常用命令参数列表二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...

hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作

hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作相关推荐

最新文章

热门文章