Linux查看Hadoop集群,Hadoop实战之Hadoop集群功能简单测试验证
前几天对Hadoop分布式集群的安装过程进行了总结,对hadoop的集群搭建只是学习hadoop中的艰难的一步,后面还需要学习更多的知识,不知道自己能不能坚持下去,不知道后面还会遇到多少困难,不过,我想,只要努力坚持下去,困难总是能够解决的。这次主要总结对hadoop集群测试相关的内容,对每个程序员而言,实践是最好的老师,这个过程就好比初学编程时,学了很多理论知识,表面上知道是那么一回事,一旦实践起来,就手忙脚乱了,如果不实践总觉得欠缺了什么,下面来测试一下对前几天安装好的hadoop集群,看看它到底好不好使?
这次测试主要分两步,hdfs和map-reduce,看这两个部分的功能是否正常:
一验证hadoop的hdfs文件系统功能是否正常
但是,应该如何验证呢?我们知道,一个文件系统是用于处理文件相关的系统,包括文件的复制,删除,查看等,如果说它有这些功能,那就表示文件系统是正常的。但是在我面前还是有一个问题,目前安装好的hadoop集群环境,它的hdfs文件系统上应该是空的,首先得给它加点料才行,换句话说,从linux角度看,就是如何从linux的文件系统将文件拷贝至hadoop的hdfs中,这显然是最基本的操作。其实这些问题,hadoop已经帮我们想好了,这里,我们先把料准备好,也就是要上传到hadoop的hdfs系统上的内容,过程如下:
在这里,先建立两个普通的文件test1.txt和test2.txt,里面编写了几个单词。将这两个文件存放在linux的input目录下。紧接着,需要以某种方式将这两个文件上传至hdfs文件系统中,这个过程主要靠以下命令完成:
hadoop:为程序名称
dfs: 程序带的一个参数,这个参数主要表示要操作的是dfs文件系统
-put: 程序带的一个参数,这个参数表示要将“上传”这个动作
./: 程序带的一个参数,这个参数表示上传的源文件路径,在本例中,表示要将input目录下的文件上传,所以为./
in: 这个参数表示上传文件的目的地址(路径), 此时上传至hdfs的主目录下的in目录中
第二条指令为显示hdfs文件系统中in目录下的文件内容。这些操作和linux有点类似,区别在于,hadoop系统将linux系统中的shell命令操作作为hdfs文件系统的参数来执行操作,我认为这是一个好的思路,至少可以让熟悉linux的朋友对hadoop感觉比较友好。通过第二条命令的显示,可以看出,我们已经成功地将两个文件test1.txt和test2.txt上传了,也成功在hadoop的hdfs文件系统中显示in目录下的文件操作。
但是还是不够,我得试着看看能否在hdfs中实现文件的复制功能,如下:
上述命令将test1.txt文件生成一个拷贝,名称为test1.txt.bak,通过看hdfs系统中的in目录,可以看到这步操作是成功的。那么,在hdfs文件系统中如何删除一个文件呢?其实也很简单,如下图:
可以看到,前面文件的拷贝test1.txt.bak已经被成功删除了。竟然我们可以将文件上传到hadoop的文件系统中,那也应该可以将hadoop中的hdfs中的文件给下载下来,这种实现也很简单,与上传类似,只要将参数-put,改为-get即可,如下图:
上述命令中,先创建一个空目录,名为dir_from_hdfs,然后从hdfs中下载刚上传的两文件,并将其成功下载至dir_from_hdfs中。
到这里,我们简单地总结一下前面的操作:
1 成功将linux文件系统中的文件拷贝至hdfs文件系统中的某一个路径下: hadoop dfs -put linux源文件路径 hadoop的hdfs文件路径
2 成功将hdfs文件系统中的文件拷贝至linux文件系统中的某一个路径下: hadoop dfs -get hadoop的hdfs文件路径 linux源文件路径
3 知道如何显示hdfs文件系统中的文件: hadoop dfs -ls hdfs的文件路径
4 知道如何在hdfs文件系统制作文件的副本: hadoop dfs -cp 原文件 目标文件
5 知道如何在hdfs文件系统中删除某一个文件: hadoop dfs -rm 要被删除的目标文件
6 如果要删除hdfs上的文件目录呢?这里不再展示,直接命令:hadoop dfs -rmr hdfs系统上的文件目录名
通过以上步骤的实践,已经可以证明前次安装的hadoop集群中的hdfs文件系统是能正常工作的。
Linux查看Hadoop集群,Hadoop实战之Hadoop集群功能简单测试验证相关推荐
- linux学习项目,[ Linux运维学习 ] 路径及实战项目合集
我们知道运维工程师(Operations)最基本的职责就是负责服务的稳定性并确保整个服务的高可用性,同时不断优化系统架构.提升部署效率.优化资源利用率,确保服务可以7*24H不间断地为用户提供服务. ...
- Linux查看端口、修改端口命令集
Linux查看端口.修改或新增端口命令集 一.查看端口 一般主要有两大常用命令:1.netstat,2.lsof 1.netstat 语法 netstat [$Parameter] 参数 -a或--a ...
- 【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战
文章目录 前言 大数据概述 时代背景 4V特点 大数据思维 核心技术 储存 计算 相关技术 云计算 物联网 Hadoop简介 简介 版本之分 项目生态结构 安装和部署 HDFS 简介 集群结构 实现目 ...
- hadoop安装部署(伪分布及集群)
hadoop安装部署(伪分布及集群) @(HADOOP)[hadoop] hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬 ...
- hadoop 多节点集群_设置Apache Hadoop多节点集群
hadoop 多节点集群 我们正在分享有关在基于Linux的机器(多节点)上安装Apache Hadoop的经验. 在这里,我们还将分享我们在各种故障排除方面的经验,并在将来进行更新. 用户创建和其他 ...
- 看完就能独自把集群搭起来!Hadoop HDFS完全分布式环境搭建以及技术详解
作者 | 慢慢变成大佬 责编 | Carol 出品 | CSDN云计算(ID:CSDNcloud) 在文章开始之前,作者想要告诉大家:读懂本篇文章,能让小白快速入门,并且能够搭建完全分布式的集群,以及 ...
- 大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 文章目录 大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...
- 第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动
第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置.集群启动 第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置 ...
- hadoop下载地址与配置hadoop3.0集群
hadoop版本下载访问地址:http://mirrors.hust.edu.cn/apache/hadoop/common 搭建hadoop集群访问地址:https://blog.csdn.net/ ...
最新文章
- Nervos Report (2018年12月)
- 淘宝商品库MySQL优化实践的学习
- 如何使用CNN进行物体识别和分类_可能我们之前都想错了:CNN的图像分类策略其实出奇的简单呢!...
- Java银行类编程题
- 黄聪:Discuz X2.0 SEO:论坛面包屑导航伪静态 去掉面包屑导航forum.php(转)
- mysql服务设置远程连接 解决1251 client does not support ..问题
- 合上More Exceptional C++的瞬间
- 操作系统:进程同步与互斥之生产者-消费者问题(含报告和源码)
- html css div圆角边框,div圆角边框的css写法
- bigmp4.com AI 视频无损放大高清补帧工具
- 计算机基础知识2003,计算机基础知识PPT2003练习题及答案(DOC)
- 牛客面经 | BAT、美团、360、滴滴新锐……2W字干货,这不仅仅是一篇面经
- ps软件打不开计算机受限制,w10打不开ps怎么解决
- Mac Zoc设置
- QT--多TCP客户端
- 度娘果然毫无节操,纯粹就是order by 广告费 desc
- 基于机器学习的服装搭配问题分析
- python工作目录是什么意思_Docker的工作目录是什么意思?
- 女程序员在互联网界是否遭受了性别歧视?
- 怎么把多张图片合成为一张?
热门文章
- Kotlin高仿微信-第11篇-单聊-语音
- Python 生成字典序(生成下一个字典序)
- 在Python中“准确而优雅”的声明函数(二)
- python 使用字节流bytes格式读取文件转为int格式,再转为0,1字符串格式
- java富文本框去掉标签提取全部文字
- Android高手秘笈之UI适配原理
- 7纳米duv和euv_同样是造7纳米芯片,为什么EUV光刻机比DUV光刻机贵一倍?
- Lua源码阅读笔记 - table的哈希碰撞
- Can't bind to 'ngModel' since it isn't a known property of 'pl-select'.
- illustrator插件-常用功能模块-测量路径长度-js脚本开发-AI插件