TSDB写入与查询讲解,聚合(aggregator)与采样(downsample)讲解

1.时序数据库与时序数据概论

时序数据库是非关系型数据库的一种，其全称为时间序列数据库(Time Series Database)。时序数据库主要用于存取具有时间特征的数据。

时序数据是随时间产生的数据，其有着产生频率快、依赖时间、数据量庞大的特点。由于时序数据的数据量非常庞大，传统的关系型数据库在底层数据结构(可参见笔者文章)上导致了其无法对该类数据进行有效的存储和管理。数据数据库通过时序数据的特性，对时序数据采用特殊的存储方式，这使时序大数据得到了有效的管理。

例如，基于HBase的opentsdb，其采用“数据便是索引”的存储方式(关于HBase数据结构，可参加笔者相关文章)，使得主键索引的利用更加高效，在大量、高并发的查询时，极大地降低了系统的I/O。

2.数据写入与查询(http接口形式)

以opentsdb为例：

1）数据写入：

官方文档地址：http://opentsdb.net/docs/build/html/api_http/put.html

数据写入数据结构：

[{"metric":"city.temperature","value":"24.7","timestamp":1572331517,"tags":{"city":"beijing"}}
]

以上示例便为各大TSDB常见的数据结构。metric为指标，value为该指标在该时刻的值，timestamp为时间戳，tags便为该指标的标记。

如上图所示，我们这条数据上报成功了。

2）数据查询

官方文档地址：http://opentsdb.net/docs/build/html/api_http/query/index.html

数据查询常用数据结构：

{"start": 1572331507,"end": 1572331527,"queries": [{"aggregator": "","metric": "city.temperature","downsample": "","rate": true,"filters": [{"type": "literal_or","tagk": "city","filter": "beijing","groupBy": false}]}]
}

字段说明：start查询开始时间，end查询结束时间，queries为查询的基本操作，aggregator为聚合方式(如avg、max、min、last、sum等)，metric为查询的指标，downsample为采样方式(如1min-avg-null、1h-max-zero等，形式为采样时间-采样方式-补值策略)，rate为是否求速率(根据需要决定)，filters为根据tag进行过滤查询，type常用的为literal_or(查询的tag值之间为或的关系)和wildcard(使用通配符),groupBy为是否分组，将在下面进一步说明。

3.关于aggregator与downsample

时序数据是以时间线(TS)的形式存储在TSDB中的，现在，我们再上报1个城市的数据，并且对城市北京补充一些温度值：

[{"metric":"city.temperature","value":"24.7","timestamp":1572331517,"tags":{"city":"beijing"}},{"metric":"city.temperature","value":"23","timestamp":1572331577,"tags":{"city":"beijing"}},{"metric":"city.temperature","value":"21","timestamp":1572331637,"tags":{"city":"beijing"}},{"metric":"city.temperature","value":"27","timestamp":1572331517,"tags":{"city":"shanghai"}},{"metric":"city.temperature","value":"24","timestamp":1572331577,"tags":{"city":"shanghai"}},{"metric":"city.temperature","value":"22","timestamp":1572331637,"tags":{"city":"shanghai"}}
]

新的全部数据如上所示，其在TSDB中的时间线如下图所示:

在TSDB中，时间线的组织是以metric和tags进行组织的，例如，如果再上报一条：

[{"metric":"city.temperature","value":"24.7","timestamp":1572331517,"tags":{"city":"beijing"，"address":"tiananmen"}}
]

此时便会变为三条时间线，因此，只要metric和tag有任何不一样，便会产生一条时间线。

1）aggregator为不同时间线间数据的聚合方式，例如在上面的两条时间线中，我们要求每一时刻的两个城市(所有城市)的温度之和，可以这样请求：

在这个请求中，我们将aggregator设置为sum(当然也可以尝试max、min等)，此时便求出了两个城市在不同时间的温度之和，aggregator的时间线操作如下图所示：

2）关于downsample，假如我们一秒一个点，这样会导致数据点繁多，为了解决这个问题，我们可以对1分钟(或5分钟等等)的数据进行采样，比如，我们想对北京这个城市的温度每5分钟进行一个采样，采样方式为去平均值，我们可以这样请求：

在上面的请求中，我们的采样方式为每五分钟进行采样，采样方式为取平均值，没有值时补值为null。downsample的时间线操作如下：

3）关于groupBy，group为对不同的tags是否进行分组，如果值为true，则为分组，如上两条时间线，分组查询会返回两条时间线：

返回如下：

[{"metric": "city.temperature","tags": {"city": "shanghai"},"aggregateTags": [],"dps": {"1572331500": 24.333333333333332,"1572331800": null,"1572332100": null}},{"metric": "city.temperature","tags": {"city": "beijing"},"aggregateTags": [],"dps": {"1572331500": 22.900000000000002,"1572331800": null,"1572332100": null}}
]

如果值为false，则为不分组，如上两条时间线，不分组查询会返回一条时间线：

返回如下：

[{"metric": "city.temperature","tags": {},"aggregateTags": ["city"],"dps": {"1572331500": 23.616666666666667,"1572331800": null,"1572332100": null}}
]

注：本例中我们同时使用了聚合方式和采样方式。