Snapshots用于数据备份、保护数据不被破坏

基本命令

允许这个文件路径可以创建snapshots:
hdfs dfsadmin -allowSnapshot /user/hadoop-twq/cmd
创建snapshots
hdfs dfs -createSnapshot /user/hadoop-twq/cmd cmd-20180326-snapshot
查看snapshots
hdfs dfs -ls /user/hadoop-twq/cmd/.snapshot/cmd-20180326-snapshot
不小心往文件中写入了错误数据文件:
hdfs dfs -touchz /user/hadoop-twq/cmd/test1.txt
hdfs dfs -touchz /user/hadoop-twq/cmd/test2.txt
创建snapshots:
hdfs dfs -createSnapshot /user/hadoop-twq/cmd cmd-20180327-snapshot
两个snapshot对比:
hdfs snapshotDiff /user/hadoop-twq/cmd cmd-20180326-snapshot cmd-20180327-snapshot
恢复文件:
hdfs dfs -cp -ptopax /user/hadoop-twq/cmd/.snapshot/cmd-20180326-snapshot /user/hadoop-twq/
删除snapshots
hdfs dfs -deleteSnapshot /user/hadoop-twq/cmd cmd-20180327-snapshot
重命名snapshots
hdfs dfs -renameSnapshot /user/hadoop-twq/cmd cmd-20180327-snapshot new_snapshot
查看所有的snapshots
hdfs lsSnapshottableDir
不允许这个path创建snapshots
hdfs dfsadmin -disallowSnapshot <path>

基本使用(流程):

master的hadoop-twq用户下cd ~
创建data目录:
hadoop fs -mkdir /user/hadoop-twq/data
hadoop fs -ls /user/hadoop-twq
hadoop fs -touchz /user/hadoop-twq/data/file1.txt
hadoop fs -touchz /user/hadoop-twq/data/file2.txt
hadoop fs -put word.txt test.txt /user/hadoop-twq/data
假设上面是昨天写进去的,想要把这些数据进行备份,使用快照的方式进行备份,想要对/user/hadoop-twq/data目录进行备份,需要允许对其创建快照。允许创建快照:
hdfs dfsadmin -allowSnapshot /user/hadoop-twq/data
对/user/hadoop-twq/data创建快照,并对快照命名:
hadoop fs -createSnapshot /user/hadoop-twq/data data-20180327-snapshots
查看快照备份的文件:
hadoop fs -ls /user/hadoop-twq/data/.snapshot/data-20180327-snapshots
通过WebUI可以查看备份情况
今天0328又往data里面写了数据:
hadoop fs -touchz /user/hadoop-twq/data/file3.txt
hadoop fs -touchz /user/hadoop-twq/data/file4.txt
hadoop fs -put test2.txt /user/hadoop-twq/data
创建今天的快照(备份)
hadoop fs -createSnapshot /user/hadoop-twq/data data-20180328-snapshot
恢复27号的数据:
hadoop fs -cp -ptop /user/hadoop-twq/data/.snapshot/data-20180327-snapshots /user/hadoop-twq
查看恢复的数据:
hadoop fs -ls /user/hadoop-twq
hadoop fs -ls /user/hadoop-twq/data-20180327-snapshots
查看当前数据:
hadoop fs -ls /user/hadoop-twq/data
两个快照之间进行对比:
hdfs snapshotDiff /user/hadoop-twq/data data-20180327-snapshots data-20180328-snapshot
重命名快照:
hadoop fs -renameSnapshot /user/hadoop-twq/data data-20180327-snapshots data-20180327-snapshot
删除27号的快照:
hadoop fs -deleteSnapshot /user/hadoop-twq/data data-20180327-snapshot

转载于:https://www.cnblogs.com/jichui/p/10444660.html

告诉你怎么使用Snapshots相关推荐

  1. HBase清空表数据

    一.清除之前检查 1.表的region分配情况: 2.表的大小(grafana可以看到): 二.清除之前备份 hbase(main):001:0> disable 'gx_rpt:msg_pus ...

  2. Elastic:集群相关知识点总结(一)数据流 Data Stream、索引生命周期 ILM、可搜索快照 searchable snapshots、跨集群搜索 CCS、跨集群复制 CCR

    0.引言 集群管理是ES的核心重点,因此相关的知识点至关重要,本期主要针对数据流.索引生命周期.可搜索快照.跨集群搜索.跨集群复制进行讲解 1.数据流 Data Stream 官方文档:Data st ...

  3. 告诉老默我想学Spring Cloud了(新手篇):从0到1搭建Spring Cloud项目(实际项目开发的浓缩精华版)

    告诉老默我想学Spring Cloud了(新手篇):从0到1搭建Spring Cloud项目 一.前言 二.如何选择版本 2.1 SpringCloud 和 Spring Boot 版本选型 2.1. ...

  4. 一篇文章告诉你标准化和归一化的区别?

    一篇文章告诉你标准化和归一化的区别? 2019-02-28 17:12:39 融融网融融网阅读量:484 进一步推进企业的标准化工作,使之发展水平适应经济全球化下市场竞争的要求,促进企业综合实力的提升 ...

  5. 一文告诉你Adam、AdamW、Amsgrad区别和联系 重点

    **序言:**Adam自2014年出现之后,一直是受人追捧的参数训练神器,但最近越来越多的文章指出:Adam存在很多问题,效果甚至没有简单的SGD + Momentum好.因此,出现了很多改进的版本, ...

  6. 在plsql里面怎么去掉空行_盐渍樱花怎么做?详细做法告诉您,一年都不会坏,学会再也不用买...

    盐渍樱花怎么做?详细做法告诉您,一年都不会坏,赶紧收藏学会它!樱花季说的就是现在,虽然到了飘落的季节,但是还是到处可见的樱花朵朵.俗话说:花无百日红.真的是啊,每年的三四月是最美丽的季节,到处花儿朵朵 ...

  7. 田志刚:要你共享,但不告诉你共享什么

    案例所述的问题很典型,是国内各类机构做知识管理的一个典型:我需要你共享,但不告诉你共享什么.问题是,我也不知道你该共享什么.这样的结果就是共享出来的东西都没用也都有用,因为你根本没有标准,所以我说我的 ...

  8. 简单粗暴告诉你什么是区块链

    链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 区块链是什么?它是如何工作的? 比特币已经成为现代互联网的潮流 - 随之而来的是区块链.人们说区块链技术将导致互联网运作 ...

  9. k8s crd构建方法_告诉您正在构建没人想要的东西的8种方法(以及处理方法)

    k8s crd构建方法 by Geoffrey Bourne 杰弗里·伯恩(Geoffrey Bourne) 告诉您正在构建没人想要的东西的8种方法(以及处理方法) (8 ways to tell y ...

最新文章

  1. linux挂载media装服务,CentOS8服务器入门系列教程(五):Linux挂载光盘、yum安装软件包...
  2. TPROXY与ip_conntrack
  3. https ssl 非对称加密
  4. Failed resolution of: Landroid/support/v7/internal/widget/TintManager;异常解决方法
  5. Unity Shader入门精要学习笔记 - 第6章 开始 Unity 中的基础光照
  6. vundle按照YouComplete
  7. 脚本语言php是什么意思,php是什么脚本语言
  8. robot framework集成Jenkins环境
  9. 下载丨6月数据库技术通讯:不规范SQL引发大量TX锁
  10. mybatis关联查询之一对多,多对一,以及多对多
  11. 多线程进行n皇后计算
  12. reids高可用(灾难备份-持久化)
  13. 吉林大学操作系统概论
  14. GNS3新手安装教程
  15. 信息展示类图表设计指南:10个必须遵循的步骤
  16. [FAQ10781]如何开启与关闭adb 的认证机制(google adb secure) (adb RSA 指纹认证)
  17. 微信小程序 - requestSubscribeMessage:fail can only be invoked by user TAP gesture.
  18. java初学者必读-经验总结--经典!
  19. 中国最美丽地方排行榜及游览最佳时间
  20. 推特正式起诉马斯克 要求强制其按原协议完成收购

热门文章

  1. 苹果7处理器_iPhone背后的“功臣”,十年心酸泪,A系列处理器发展史
  2. element-ui 表格 取消鼠标悬停高亮效果
  3. 实体店借力整合让客户倍增,掌握了这个诀窍,你的生意不再难做!
  4. 给初学者的RxJava2.0教程(七)(转)
  5. 七牛云上传头像出现 401 错误和跨域问题 | 大别山码将
  6. 侵权风波不断,美国专利及商标局着手研究NFT对著作权的影响
  7. 计算机领域中有什么高大上的术语其实描述的是很简单的事物?
  8. 新思路二级c语言程序,新思路 二级c语言
  9. Postman请求头的使用
  10. Windows小技巧:简单一招教你创建专属“秘密”空间