hadoop块的存储方式
hadoop上默认块的大小为64M
当文件小于64M时，以一个block计算，在实际的文件系统中，仅占原始文件的大小，外加一个.meta文件
例如：
中等文件，40M
[root@ungeo12 current]#
[root@ungeo8 xliu]# /usr/local/hadoop/bin/hadoop dfs -put /home/xliu/hadoop-0.20.3-dev.tar.gz /
[root@ungeo8 xliu]# /usr/local/hadoop/bin/hadoop dfs -lsr /
-rw-r--r-- 3 root supergroup 40972760 2012-10-27 23:00 /hadoop-0.20.3-dev.tar.gz
[root@ungeo8 xliu]# hadoop fsck /hadoop-0.20.3-dev.tar.gz -blocks -locations -files
/hadoop-0.20.3-dev.tar.gz 40972760 bytes, 1 block(s): OK
0. blk_-6680210538719580844_1005 len=40972760 repl=3 [192.168.1.11:50010, 192.168.1.10:50010, 192.168.1.12:50010]
Status: HEALTHY
Total size: 40972760 B
Total dirs: 0
Total files: 1
Total blocks (validated): 1 (avg. block size 40972760 B)
Minimally replicated blocks: 1 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 3.0
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 3
Number of racks: 1
The filesystem under path '/hadoop-0.20.3-dev.tar.gz' is HEALTHY
[root@ungeo8 xliu]# du -sh /home/xliu/hadoop-0.20.3-dev.tar.gz
40M /home/xliu/hadoop-0.20.3-dev.tar.gz ##在linux系统上原始的文件大小！
登陆到其中的一台datanode上查看相关的文件信息：
[root@ungeo10 current]# find . -name "*6680210538719580844*"
./blk_-6680210538719580844
./blk_-6680210538719580844_1005.meta
[root@ungeo10 current]# du -sh *6680210538719580844*
40M blk_-6680210538719580844
320K blk_-6680210538719580844_1005.meta
[root@ungeo10 current]#
大文件：81M
测试一个大于64M的文件
[root@ungeo8 xliu]# du -sh /home/xliu/jdk-6u21-linux-i586.bin
81M /home/xliu/jdk-6u21-linux-i586.bin
[root@ungeo8 xliu]# /usr/local/hadoop/bin/hadoop dfs -put /home/xliu/jdk-6u21-linux-i586.bin /
[root@ungeo8 xliu]# /usr/local/hadoop/bin/hadoop dfs -lsr /
-rw-r--r-- 3 root supergroup 40972760 2012-10-27 23:00 /hadoop-0.20.3-dev.tar.gz
-rw-r--r-- 3 root supergroup 83854743 2012-10-27 23:12 /jdk-6u21-linux-i586.bin
[root@ungeo8 xliu]# hadoop fsck /jdk-6u21-linux-i586.bin -blocks -locations -files;
/jdk-6u21-linux-i586.bin 83854743 bytes, 2 block(s): OK
0. blk_6729201486232919162_1006 len=67108864 repl=3 [192.168.1.10:50010, 192.168.1.11:50010, 192.168.1.12:50010]
1. blk_-2661147997145735854_1006 len=16745879 repl=3 [192.168.1.10:50010, 192.168.1.11:50010, 192.168.1.12:50010]
Status: HEALTHY
Total size: 83854743 B
Total dirs: 0
Total files: 1
Total blocks (validated): 2 (avg. block size 41927371 B)
Minimally replicated blocks: 2 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 3.0
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 3
Number of racks: 1
The filesystem under path '/jdk-6u21-linux-i586.bin' is HEALTHY
[root@ungeo8 xliu]#
[root@ungeo12 ~]# cd /usr/local/hadoop
[root@ungeo12 hadoop]# ls
cAPACHE-README.txt CHANGES.txt hadoop-0.20.1-dev-ant.jar hadoop-0.20.1-dev-tools.jar LICENSE.txt tmp
bin conf hadoop-0.20.1-dev-core.jar ivy NOTICE.txt webapps
block contrib hadoop-0.20.1-dev-examples.jar ivy.xml README.txt YAHOO-CHANGES.txt
build.xml docs hadoop-0.20.1-dev-test.jar lib src
[root@ungeo12 hadoop]# cd block/
[root@ungeo12 block]# ls
blocksBeingWritten current detach in_use.lock storage tmp
[root@ungeo12 block]# cd current/
[root@ungeo12 current]# ls
blk_-2661147997145735854 blk_-6680210538719580844 blk_6729201486232919162 dncp_block_verification.log.curr
blk_-2661147997145735854_1006.meta blk_-6680210538719580844_1005.meta blk_6729201486232919162_1006.meta VERSION
[root@ungeo12 current]# pwd
/usr/local/hadoop/block/current
[root@ungeo12 current]# ls
blk_-2661147997145735854 blk_-6680210538719580844 blk_6729201486232919162 dncp_block_verification.log.curr
blk_-2661147997145735854_1006.meta blk_-6680210538719580844_1005.meta blk_6729201486232919162_1006.meta VERSION
[root@ungeo12 current]# find . -name "*6729201486232919162*"
./blk_6729201486232919162_1006.meta
./blk_6729201486232919162
[root@ungeo12 current]# du -sh *6729201486232919162*
65M blk_6729201486232919162 ##块1
520K blk_6729201486232919162_1006.meta
[root@ungeo12 current]#
[root@ungeo12 current]# du -sh *2661147997145735854*
16M blk_-2661147997145735854 ##块2
132K blk_-2661147997145735854_1006.meta
原文地址：http://blog.chinaunix.net/uid-20776139-id-3388475.html
转载于:https://www.cnblogs.com/cloudma/articles/hadoop-block.html
hadoop块的存储方式相关推荐
- JavaPairRDD方法中几种存储方式的坑
2019独角兽企业重金招聘Python工程师标准>>> 1,ERROR Utils: Aborting task java.io.IOException: key out of ...
- 计算机基础-------磁盘数据存储方式的解析
硬盘存储数据 我们知道硬盘读取信息是通过机械臂的摆动和盘片转动找到所需要的数据首地址所在地址块进行读取. 我们先说一下磁道上的块,这里需要引出一个名词-----簇:"簇"是 DOS ...
- 数据存储方式有哪些?这3种数据存储方式了解吗?
数据存储具有很强的现实意义,只有采取合理的数据存储方式,才能够有利于数据的管理.检索等.为增进大家对数据存储方式的认识,本文将对三种数据存储方式予以介绍.如果你对数据存储方式具有兴趣,不妨继续往下阅读 ...
- 数据分析中常见的存储方式
点击上方"大话coding",选择"星标"公众号 重磅干货,第一时间送达 大家好,我是小轩 这两天整理了在数据分析中常见的5种存储格式 内容比较多,只是简要整理 ...
- Hadoop hdfs副本存储和纠删码(Erasure Coding)存储优缺点
The advantages and disadvantages of hadoop hdfs replicating storage and erasure coding storage. Hado ...
- Hadoop （海量数据存储及计算） 基本概念
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. [1]Hadoop实现 ...
- 存储方式与介质对性能的影响
摘要 数据的存储方式对应用程序的整体性能有着极大的影响.对数据的存取,是顺利读写还是随机读写?将数据放磁盘上还将数据放flash卡上?多线程读写对性能影响?面对着多种数据存储方式,我们如何选择?本文给 ...
- Java中数据存储方式
2019独角兽企业重金招聘Python工程师标准>>> 1． 寄存器(register).这是最快的存储区,因为它位于不同于其他存储区的地方--处理器内部.但是寄存器的数量极其有限, ...
- 理解int的存储方式以及VS二进制编辑器的使用
此文先讲int数据的存储(大小端)问题,然后简单讲一下二进制编辑器的使用,针对像我一样的初学者,懂了的大神可以直接关掉 直接说结论,大家都知道一个int数据是4字节,一个字节是8个比特位,也就是一个i ...
最新文章
- SAP屏幕设计器专题：树控件的使用（九）
- php读取txt插入数据库,PHP读取TXT文件插入数据库
- Java秒杀系统优化的工程要点
- 收集sqlite常见问题
- [剑指offer]面试题34：丑数
- python之路_前端基础之Bootstrap 组件
- 前端学习（1922）vue之电商管理系统电商系统之渲染角色数据
- 华为智慧屏云会议怎么操作_会议室预定系统有哪些？怎么操作
- c语言 怎么把数据存储,急求如何将下列C语言程序数据存储到文件中？
- 无法访问移动磁盘显示磁盘未被格式化的文件寻回方案
- 大话无线通讯基础之：WIFI和5G信道划分
- GenericObjectPoolConfig属性
- 机器学习课程讲义·第二章，线性模型系列
- finder个人收藏和前往文件夹
- 从零搭建Spring Boot脚手架：增加通用的功能2
- C语言蓝桥杯刷题：数字三角形
- html图片底部显示,html – 将背景图像保持在底部
- 超声波测距模块HC-SR04详解（基于51单片机）
- 各种国际搜索引擎广告入口
- HTTP 错误 404.17 - Not Found 请求的内容似乎是脚本，因而将无法由静态文件处理程序来处理。...