31、获取或设置每个守护进程的日志级别(daemonlog)。
用法:hadoop daemonlog -getlevel <host:port> <name>
用法:hadoop daemonlog -setlevel <host:port> <name> <level>
命令选项                                        描述
-getlevel <host:port> <name>                        打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接 http://<host:port>/logLevel?log=<name>
-setlevel <host:port> <name> <level>                设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接 http://<host:port>/logLevel?log=<name>
32、运行一个HDFS的datanode。
用法:hadoop datanode [-rollback]
命令选项                                       描述
-rollback                                       将datanode回滚到前一个版本。这需要在停止datanode,分发老的hadoop版本之后使用。
33、运行一个HDFS的dfsadmin客户端。
用 法:hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> < dirname>...<dirname>] [-clrQuota < dirname>...<dirname>] [-help [cmd]]
命令选项                                                        描述
-report                                                        报告文件系统的基本信息和统计信息。
-safemode enter | leave | get | wait                                安全模式维护命令。安全模式是Namenode的一个状态,这种状态下,Namenode
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。
-refreshNodes                                      重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
-finalizeUpgrade                              终结HDFS的升级操作。Datanode删除前一个版本的工作目录,之后Namenode也这样做。这个操作完结整个升级过程。
-upgradeProgress status | details | force      请求当前系统的升级状态,状态的细节,或者强制升级操作进行。
-metasave filename                              保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项,
                                                 <filename>中都会一行内容与之对应
1. Namenode收到的Datanode的心跳信号
2. 等待被复制的块
3. 正在被复制的块
4. 等待被删除的块
-setQuota <quota> <dirname>...<dirname>     为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数,强制限定了目录树下的名字个数。
命令会在这个目录上工作良好,以下情况会报错:
1. N不是一个正整数,或者
2. 用户不是管理员,或者
3. 这个目录不存在或是文件,或者
4. 目录会马上超出新设定的配额。
-clrQuota <dirname>...<dirname>     为每一个目录<dirname>清除配额设定。
命令会在这个目录上工作良好,以下情况会报错:
1. 这个目录不存在或是文件,或者
2. 用户不是管理员。
如果目录原来没有配额不会报错。
-help [cmd]     显示给定命令的帮助信息,如果没有给定命令,则显示所有命令的帮助信息。
34、运行MapReduce job Tracker节点(jobtracker)。
用法:hadoop jobtracker
35、运行namenode。有关升级,回滚,升级终结的更多信息请参考升级和回滚。
用法:hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
命令选项                             描述
-format                             格式化namenode。它启动namenode,格式化namenode,之后关闭namenode。
-upgrade                             分发新版本的hadoop后,namenode应以upgrade选项启动。
-rollback                             将namenode回滚到前一版本。这个选项要在停止集群,分发老的hadoop版本后使用。
-finalize                             finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再
                                        不可用,升级终结操作之后,它会停掉namenode。
-importCheckpoint                     从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定。
36、运行HDFS的secondary namenode。
用法:hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
命令选项                             描述
-checkpoint [force]                     如果EditLog的大小 >= fs.checkpoint.size,启动Secondary namenode的检查点
                                        过程。 如果使用了-force,将不考虑EditLog的大小。
-geteditsize                             打印EditLog大小。
37、运行MapReduce的task Tracker节点。
 用法:hadoop tasktracker
1、列出所有Hadoop Shell支持的命令
  $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
  $ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
  $ bin/hadoop job -history output-dir
这条命令会显示作业的细节信息,失败和终止的任务细节。
4、关于作业的更多细节,比如成功的任务,以及对每个任务的所做的尝试次数等可以用下面的命令查看
  $ bin/hadoop job -history all output-dir
5、 格式化一个新的分布式文件系统:
  $ bin/hadoop namenode -format
6、在分配的NameNode上,运行下面的命令启动HDFS:
  $ bin/start-dfs.sh
  bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。
7、在分配的JobTracker上,运行下面的命令启动Map/Reduce:
  $ bin/start-mapred.sh
  bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。
8、在分配的NameNode上,执行下面的命令停止HDFS:
  $ bin/stop-dfs.sh
  bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。
9、在分配的JobTracker上,运行下面的命令停止Map/Reduce:
  $ bin/stop-mapred.sh
  bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。
 
DFSShell
10、创建一个名为 /foodir 的目录
  $ bin/hadoop dfs -mkdir /foodir
11、创建一个名为 /foodir 的目录     
  $ bin/hadoop dfs -mkdir /foodir
12、查看名为 /foodir/myfile.txt 的文件内容     
  $ bin/hadoop dfs -cat /foodir/myfile.txt

DFSAdmin
13、将集群置于安全模式      
  $ bin/hadoop dfsadmin -safemode enter
14、显示Datanode列表     
  $ bin/hadoop dfsadmin -report
15、使Datanode节点 datanodename退役    
  $ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如:
    * -report:报告HDFS的基本统计信息。有些信息也可以在NameNode Web服务首页看到。
    * -safemode:虽然通常并不需要,但是管理员的确可以手动让NameNode进入或离开安全模式。
    * -finalizeUpgrade:删除上一次升级时制作的集群备份。
17、显式地将HDFS置于安全模式
  $ bin/hadoop dfsadmin -safemode
18、在升级之前,管理员需要用(升级终结操作)命令删除存在的备份文件
  $ bin/hadoop dfsadmin -finalizeUpgrade
19、能够知道是否需要对一个集群执行升级终结操作。
  $ dfsadmin -upgradeProgress status
20、使用-upgrade选项运行新的版本
  $ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必须停止集群并且部署老版本的Hadoop,用回滚选项启动集群
  $ bin/start-dfs.h -rollback

转载于:https://blog.51cto.com/10988776/1722928

大数据测试之hadoop命令大全 2相关推荐

  1. 大数据开发常用命令大全 大全

    目录 Linux(vi/vim) Hadoop Zookeeper Kafka Hive Redis Flink Linux(vi/vim) 一般模式 语法 功能描述 yy 复制光标当前一行 y数字y ...

  2. 大数据测试之hadoop单机环境搭建(超级详细版)

    友情提示:本文超级长,请备好瓜子 Hadoop的运行模式

  3. 细细品味大数据--初识hadoop

    初识hadoop 前言 之前在学校的时候一直就想学习大数据方面的技术,包括hadoop和机器学习啊什么的,但是归根结底就是因为自己太懒了,导致没有坚持多长时间,加上一直为offer做准备,所以当时重心 ...

  4. 【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce

    文章目录 导学 大数据概述 初识Hadoop 概述 核心组件 HDFS分布式文件系统 资源调度系统YARN MapReduce 优势 发展史 生态系统 发行版本选择 企业应用案例 第3章 分布式文件系 ...

  5. 大数据平台hadoop运维之hadoop入门-高俊峰-专题视频课程

    大数据平台hadoop运维之hadoop入门-5245人已学习 课程介绍         主要介绍hadoop生态圈的常用软件和基础知识,可使学员迅速了解hadoop运维的基础知识,并迅速掌握hado ...

  6. 大数据 python hadoop_大数据与Hadoop

    1. 大数据简介 1.1 大数据的由来 随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网.物联网建设的加快,信息更是爆炸式增长,收集.检索 ...

  7. 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】

    视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

  8. 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】

    视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

  9. 大数据004——Hadoop

    大数据004--Hadoop 1. 前言 Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据.它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提 ...

最新文章

  1. 京东大型API网关实践之路
  2. springmvc中获取request对象,加载biz(service)的方法
  3. Core Foundation 与 cocoa Foundation框架区别
  4. C++与C语言中有关数组中元素排序
  5. js组装知识(待续……)
  6. stm32 adc 连续和扫描_技术分享 | STM32多个ADC模块同时采样转换的应用示例
  7. 蓝桥杯 ALGO-120 算法训练 学做菜
  8. 在matlab下实现TDOA定位算法性能仿真
  9. 以终端模式连接远程桌面
  10. 牛客网-《剑指offer》-二进制中1的个数
  11. (3)fastjson带有转义字符的数据格式处理
  12. 2021年 最全面 软件测试工程师面试题及答案
  13. 软件测试项目案例哪里找?【银行/教育/商城/金融/等等....】
  14. 监听软键盘中的删除键
  15. localdatetime 后一天_LocalDateTime 获取上个月最后第一天及最后一天
  16. 各类顶尖经典电影500部,先收着,待有空的时候慢慢看吧!
  17. Nordic 52832工程报错undefined reference to `__start_pwr_mgmt_data'解决办法
  18. KL Divergence ——衡量两个概率分布之间的差异
  19. 裕太微递交招股书上会稿:拟募资13亿元,哈勃投资、小米等为股东
  20. 靶机渗透【bulldog】

热门文章

  1. Spring data jpa 条件查询-按时间段查询
  2. python 扑克牌中的顺子
  3. htc desire 10 pro android 8.0,HTC发布新机Desire 10 旗舰级像素配置
  4. c语言中说取消标识符是,2019年全国计算机二级C语言考试考点解析(3)
  5. easyui 动态设置单元格控件_插入控件-gt;引用变量-gt;实现动态图表纵横筛选
  6. Python stylecloud制作酷炫的词云图
  7. win7更新错误0x800b0109_Win7系统Windows update更新出现错误代码800b0101怎么办
  8. 贝叶斯数据分析_周末说说数据分析(2)
  9. 5、Linux系统的目录结构
  10. 我所理解的Java NIO