Avro 简介

ApacheAvro(http:llavro.apache.org)是一个独立于

Avro规范((http: //avro. apache. org/dots/current/spec. html)精确定义所有实现都必须支持的二进制格式。同时它还指定这些实现还需要支持其他Avro特性。但是，该规范并没有给API制定规范:实现可以根据自己的需求操作Avro数据并给出相应的API，因为每个API都与语言相关。事实上，只有一种二进制格式比较重要，这表明绑定一种新的编程语言来实现是比较容易的，可以避免语言和格式组合爆炸问题，·否则将对互操作性造成一定的问题。Avro有丰富的数据模式解析(data

schema resolution)能力。在精心定义的约束条件下，读数据所用的模式不必与写数据所用的模式相同。由此，Avro是支持模式演化的。例如，通过在用于读取以前数据的模式中声明新的用于读取记录的选项字段。新的和以前客户端均能以相似的方法读取按旧模式存储的数据，同时新的客户端可以使用新的字段写入的新内容。相反的，如果老客户端读取新客户端写入的数据，它将忽略新加入的字段并按照先前的数据模式进行处理。Avro为一系列对象指定一个对象容器格式—类似于Hadoop的顺序文件。Avro数据文件包含元数据项，模式数据存储在其中，这使文件可以自我声明。Avro数据文件支持压缩，并且是可切分的，这对MapReduc。的输入格式至关重要。另外，Avro本身是为MapReduce设计的，所以在不久的将来有可能使用Avro作为一流的MapReduce

API(即，比Streaming更丰富的API，就像Java API或C++管道一样)融入其他编程语言。

Avro数据类型和模式

Avro 定义了少数数据类型，它们可用于以写模式的方式来构建应用特定的数据结考虑到互操作性，其实现必须支持所有的Avro类型。

每个基本类型还可以使用更冗长的形式和使用type属性来指定，示例如下:{"type":"null"}

avro基本类型

类型名称

描述

模式示例

null

空值

"null"

Boolean

二进制值

"boolean"

int

32位带符号整数

“int"

long

64位带符号整数

"long"

于load

单精度(32位)IEEE754浮点数

“于loat"

double

双精度(64位)IEEE754浮点数

"double"

bytes

8位无符号字节序列

“bytes"

string

Unicode字符序列

“string"

Avro的复杂类型

类型名称

描述

模式实例

array

一个排过序的对象集合。特定数组中的所有对象必须模式相同

{"array":"long"}

map

未排过序的键/值对。键必须是字符串，值可以是任何类型，但一个特定map中所有值必须模式相同

{"type":"map",

"values":"string"

}

record

任意类型的一个命名字段集合

{

"type":”record"，

"name":"WeatherRecord"

"doc":"A weather reding.",

"fields":[

{"name":"yes"，"type":"int"}

{"name":"temperature"，"type":"int"}

{"name":"stationId"，"type":"string"}

]}

enum

一个命名的值集合

{

"type":"enum",

"name":"Cutlery",

"doc":"An eating utensil。”,

"symbols”:["KNIFE",FORK","SPOON"]

}

fixed

一组固定数量的8位无符号字节

{"type":"fixed",

"name":"MdSHash"

}

union

模式的并集。并集可以用json数组表示，其中每个元素为一个模式口并集表示的数据必须与其其中一个模式相匹配

[

"null"，

"string",

{"type":"map","values":"string"}

]

Java拥有第三类映射，即自反映射(reflectmapping，将avro类型映射成事先已有的Java类)。它的速度比通用映射和特殊映射都慢，所以不推荐在新应用中使用。

Avro的java映射类型

avro类型

Java通用映射

Java特殊映射

Java自反映射

null

null类型

boolear

Boolean

int

Int

short或int

long

long

float

float

double

double

bytes

java.nio.bytebuffer

字节数组

string

org.apache.

avro.util/utf8

array

org.apache.

avro.util/ut于8

array或Java.util/Collection

map

java.util/map

java.lang.String

record

org.apache.avro.

generic.genericrecord

生成实现org.apache.avro.

specific/SpecificRecord的类

具有零参数构造函数的任意用户类。

继承了所有不传递的实例字段

enum

java.lang.string

生成java enum类型

任意java enum类型

fixed

org.apache.avro.

generic/genericfixed

生成实现org.apache.avro.

specific.SpecificFixed的类

org.apache.avro

.generic.genericFixed

union

Java.lang.object