实验3——Hadoop Shell基本操作
1.Hadoop Shell基本操作
系统环境
Linux Ubuntu 16.04
hadoop-2.6.0-cdh5.4
任务内容
1.学习在开启、关闭Hadoop
2.学习在Hadoop中创建、修改、查看、删除文件夹及文件
3.学习改变文件的权限及文件的拥有者
4.学习使用shell命令提交job任务
5.Hadoop安全模式的进入与退出
任务步骤
1.打开终端模拟器,切换到/apps/hadoop/sbin目录下,启动Hadoop
cd /apps/hadoop/sbin
./start-all.sh
除了直接执行start-all.sh外,还可以分步启动start-dfs.sh和start-yarn.sh
执行jps,检查一下Hadoop相关进程是否启动
3.在/目录下创建一个test1文件夹
hadoop fs -mkdir /test1
4.在Hadoop中的test1文件夹中创建一个file.txt文件
hadoop fs -touchz /test1/file.txt
5.查看根目录下所有文件
hadoop fs -ls /
6.还可以使用ls -R的方式递归查看根下所有文件
hadoop fs -ls -R /
7.将Hadoop根下test1目录中的file.txt文件,移动到根下并重命名为file2.txt
hadoop fs -mv /test1/file.txt /file2.txt
8.将Hadoop根下的file2.txt文件复制到test1目录下
hadoop fs -cp /file2.txt /test1
9.在Linux本地/data目录下,创建一个data.txt文件,并向其中写入hello hadoop!
cd /data
touch data.txt
echo hello hadoop! >> data.txt
10.将Linux本地/data目录下的data.txt文件,上传到HDFS中的/test1目录下
hadoop fs -put /data/data.txt /test1
11.查看Hadoop中/test1目录下的data.txt文件
hadoop fs -cat /test1/data.txt
12.除此之外还可以使用tail方法
hadoop fs -tail /test1/data.txt
tail方法是将文件尾部1K字节的内容输出。支持-f选项,行为和Unix中一致
13.查看Hadoop中/test1目录下的data.txt文件大小
hadoop fs -du -s /test1/data.txt
-du 后面可以不加-s,直接写目录表示查看该目录下所有文件大小
14.text方法可以将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream
hadoop fs -text /test1/data.txt
15.stat方法可以返回指定路径的统计信息,有多个参数可选,当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y
hadoop fs -stat /test1/data.txt
下面列出了format的形式:
%b:打印文件大小(目录为0)
%n:打印文件名
%o:打印block size (我们要的值)
%r:打印备份数
%y:打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y:打印自1970年1月1日以来的UTC微秒数
%F:目录打印directory, 文件打印regular file
16.将Hadoop中/test1目录下的data.txt文件,下载到Linux本地/apps目录中
hadoop fs -get /test1/data.txt /apps
17.查看一下/apps目录下是否存在data.txt文件
ls /apps
18.使用chown方法,改变Hadoop中/test1目录中的data.txt文件拥有者为root,使用-R将使改变在目录结构下递归进行
hadoop fs -chown root /test1/data.txt
19.使用chmod方法,赋予Hadoop中/test1目录中的data.txt文件777权限
hadoop fs -chmod 777 /test1/data.txt
20.删除Hadoop根下的file2.txt文件
hadoop fs -rm /file2.txt
21.删除Hadoop根下的test1目录
hadoop fs -rm -r /test1
22.当在Hadoop中设置了回收站功能时,删除的文件会保留在回收站中,可以使用expunge方法清空回收站
hadoop fs -expunge
23.使用Shell命令执行Hadoop自带的WordCount
首先切换到/data目录下,使用vim编辑一个data.txt文件,内容为:hello world hello hadoop hello ipieuvre
cd /data
vim data.txt
在HDFS的根下创建in目录,并将/data下的data.txt文件上传到HDFS中的in目录
hadoop fs -put /data/data.txt /in
执行hadoop jar命令,在hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包,我们执行其中的worldcount类,数据来源为HDFS的/in目录,数据输出到HDFS的/out目录
hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /in /out
查看HDFS中的/out目录
hadoop fs -ls /out
hadoop fs -cat /out/*
24.进入Hadoop安全模式
hdfs dfsadmin -safemode enter
25.退出Hadoop安全模式
hdfs dfsadmin -safemode leave
26.切换到/apps/hadoop/sbin目录下,关闭Hadoop
cd /apps/hadoop/sbin
./stop-all.sh
实验3——Hadoop Shell基本操作相关推荐
- HDFS Shell基本操作总结
本文转自http://www.mc2lab.com/?p=444,所有权利归原作者所有. 1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# ha ...
- Hadoop Shell 命令 与 WordCount
前言 在前2章内, 我们分别介绍了Hadoop安装的3种形式(Standalone mode/ Pseudo-Distributed mode/Cluster mode). 本章, 我们介绍如何使用H ...
- Hadoop Shell
1.熟练掌握常用的hadoop shell命令 实验原理 调用文件系统(FS)Shell命令应使用 hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是sch ...
- 第一次实验报告Hadoop
第一次实验报告Hadoop(三种模式安装配置) 实验小结 通过对Hadoop模式安装配置的学习,我学习和熟悉了一些新的指令操作,对hadoop的基本操作有了基础的掌握,hadoop的环境配置原理和编译 ...
- Hadoop Shell命令
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp ...
- linux实验三shell程序设计,实验三 LINUX SHELL编程
精选文库 -实验三LINUX SHELL 编程 四.实验内容 本实验包含两个具体的SHELL程序编写任务,较为全面地涉及了SHELL 程序的设计方法和技术.内容如下: 1.创建以下菜单程序: USER ...
- 【CentOS Linux 7】实验4【Shell编程】
Linux系统及应用---调研报告 [CentOS Linux 7]实验1[VMware安装.新建虚拟机:63个基础命令运行结果图] [CentOS Linux 7]实验2[Shell编程及应用] [ ...
- 【CentOS Linux 7】实验2【Shell编程及应用】
Linux系统及应用---调研报告 [CentOS Linux 7]实验1[VMware安装.新建虚拟机:63个基础命令运行结果图] [CentOS Linux 7]实验2[Shell编程及应用] [ ...
- matlab编程测试教程,Matlab实验1 MATLAB的基本操作、编程基础
实验一MATLAB的基本操作.编程基础 一.实验目的 1.初步了解matlab 6.5应用环境: 2.练习利用matlab 6.5中的命令或程序描述基本信号: 3.练习利用matlab 6.5中的命令 ...
最新文章
- 敏捷开发实践总结(二):关于测试
- 使用 Optional 摆脱 NullPointException 的折磨
- webpack打包vue反编译_2020年你必须知道的webpack打包优化方法
- [C++11]final关键字的使用
- SpringMvc-PathMatcher/AntPathMatcher
- Django-分页、中间件和请求的声明周期
- generator.xml mysql_generatorConfig-mysql.xml中连接数据库的正确书写方式。
- java技术体系基础
- python不同版本切换_Python版本切换,python,的
- 实战破解思科模拟器packet tracer-去除登陆窗口
- SPSS-非参数检验
- Python_基础笔记
- 猿猿趴架构实战--02 软件工程及架构师
- 次更新不适用您的计算机,Windows系统安装补丁时提示“此更新不适用于你的计算机”的解决方案!...
- 漫谈测试成长之探索——测试用例评审
- js、jquery操作复选框checkbox总结(单个/多个获取选中值、初始化设置默认选中值、全选反选)
- Spring Security + JWT实现权限管理
- 51单片机74ls273并行输出地址c语言程序,51单片机I/O口的扩展问题:使用 锁存器74LS273连接后还是只有8个端口,为什么说是扩展呢?...
- 可以免费部署自己个人主页的一个神仙网站vercel
- git 关联notepad++