第三章 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务:
在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
在本地查看文件位置(ls)
在本地显示文件内容
cd /usr/local/hadooptouch ly.txt cat ly.txt
使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
./sbin/start-dfs.sh./bin/hdfs dfs -mkdir -p /user/hadoop./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./ly.txt input
查看hdfs中的文件(-ls)
./bin/hdfs dfs -ls input
显示hdfs中该的文件内容
./bin/hdfs dfs -cat input/ly.txt
删除本地的txt文件并查看目录
./bin/hdfs dfs -rm -ls input/ly.txt
从hdfs中将txt下载地本地原来的位置。
./bin/hdfs dfs -get input/test.txt ~/ly.txt
从hdfs中删除txt并查看目录
./bin/hdfs dfs -rm -ls input/ly.txt
二、
向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
if $(hdfs dfs -test -e ly.txt); then $(hdfs dfs -appendToFile local.txt ly.txt); else $(hdfs dfs -copyFromLocal -f local.txt ly.txt); fi
从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
if $(hdfs dfs -test -e file: then $(hdfs dfs -copyToLocal ly.txt ./ly2.txt); else $(hdfs dfs -copyToLocal ly.txt ./ly.txt); fi
将HDFS中指定文件的内容输出到终端中;
hdfs dfs -cat ly.txt
显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
hdfs dfs -ls -h ly.txt
给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
hdfs dfs -ls -R -h /user/hadoop
提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
if $(hdfs dfs -test -d dir1/dir2); then $(hdfs dfs -touchz dir1/dir2/filename); else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); fi删除文件:hdfs dfs -rm dir1/dir2/filename
提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
hdfs dfs -mkdir -p dir1/dir2 hdfs dfs -rmdir dir1/dir2 hdfs dfs -rm -R dir1/dir2
向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
hdfs dfs -appendToFile local.txt ly.txt
删除HDFS中指定的文件;
hdfs dfs -rm ly.txt
删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
hdfs dfs -rmdir dir1/dir2 hdfs dfs -rm -R dir1/dir2
在HDFS中,将文件从源路径移动到目的路径。
hdfs dfs -mv ly.txt ly2.txt
转载于:https://www.cnblogs.com/liangyao111/p/8955214.html
第三章 熟悉常用的HDFS操作相关推荐
- 熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...
- 实验二:熟悉常用的HDFS操作
实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...
- 熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...
- 大数据-实验2 熟悉常用的HDFS操作
1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...
- 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
- hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自 文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作 实验2熟悉常用的HDFS操作 1实验目 ...
- 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
- Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...
- HBase的编程实践(实验3_熟悉常用的HBase操作)
一.Hbase中使用Shell命令: ① HBase中创建表:(create 命令:第一个变量是表名,然后是列族名) 语法:create '表名称','列族名称1','列族名称2','列族名称N' c ...
最新文章
- npm-run 自动化
- c语言输入10个国名要求按字母顺序输出,编写程序,输入10至20个城市名,按字母顺序输出城市名清单。...
- 数据库设计原则:应该使用软删除吗?
- 主角的创建与选择 Learn Unreal Engine (with C++)
- java 把方法当参数传递_java 中 如何将“一个类的方法 ”作为参数传到“另一个类的方法”中...
- (转载)python调用shell命令之os 、commands、subprocess
- 分享互联网公司经验一
- linux 汇编 `.eabi_attribute',简单的GBA/NDS汇编程序讲解(ARM汇编)(2008-09-06)
- 编写一个班级管理程序java_java课程设计(班级管理系统)
- 文件预览-使用SecretID和SecretKey进行腾讯云cos桶文件预览(word、ppt等)
- 《太上感应篇》告诉我们,人的起心动念都得小心啊,哈哈。
- 收藏——硬币(五大天王和四小龙)
- 服务器主板硬盘接口数量,主板上的硬盘插槽最多有几个?
- linux svc作用,[svc]linux性能监控
- linux: 使用安装光盘作为安装源
- 旺店助手v1.0.30 独立版
- Vue中JSX的基本用法
- 高德地图——地图渲染及关键字搜索POI功能vue2/web端
- JAVA Swt初识
- mac 播放器MPV 下载地址
热门文章
- asp.net mysql 增删该查_asp.net 数据库的增删改查
- TestNG配合ant脚本进行单元测试
- MarkdownPad基于语法示例
- activeMQ的源码分析 -TCP通讯机制
- Skype通话调度功能提供给Android用户
- Swift变量名的一种玩法
- 域本地组,全局组,通用组的应用
- shutdown TCP ports,blocked all malicious scan
- python 面试题 -------------- get 和 post 请求的 区别
- cesium学习笔记(问题记录)——以cesium1.77版本为例