TICK Stack 之 influxDB

前面说到，JMeter修改了.jtl的格式后，无法生成测试结果报表，而即便使用JMeter的报表，面对7、8G大小的.jtl，生成报表将非常耗时。往往为了等报告，1天的时间就过去了。

先想想我们性能测试人员或运维人员都要面临的资源监控问题。如：

按时间序列保存资源指标
保存的指标能被快速、直观、实时地查询
最好能可视化的方式呈现趋势
资源保存安全可靠
…

TICK就是用来解决这一系列问题的架构。下面一起来看看。

TICK 是什么

TICK 是由 influxdata 公司研发的一套解决方案，能用于资源监控、存储和查询，并具有丰富的插件支持，在物联网也有广泛用途。

TICK 是一个缩写，包含了四个部分：

Telegraf：是一个 plugin-driver 服务器，用于收集和报告指标。简单来说就是从其运行的系统中获取各种指标，然后通过输出插件将指标数据发送到各种其他的数据存储服务或消息队列中，包括InfluxDB、Graphite、MQTT、Kafka等等。
InfluxDB：是一个时间序列数据库（意味着数据发生的时间戳与数据本身同样重要），用于处理高写入和查询的场景，并且具有专门为时间戳数据设计的存储引擎，但更新和插入数据操作会受限。对于DevOps监控、物联网监控和实时分析等用例特别有帮助。
Chronograf：TICK 的管理用户界面和可视化组件，可以通过它配置监控和警报的设置。
Kapacitor：是一个原生的数据处理引擎，他可以处理来自 influxDB 的流数据和批数据，并允许我们插入自定义的逻辑和自定义的函数，以处理警报等操作。

四者关系如下图：

InfluxDB 关键概念

【以下内容来自官网资料 InfluxDB key concepts】

influxDB 数据元素

InfluxDB 使用时间戳、字段键、字段值、标签等元素来构造数据，其中InfluxDB 2.3版本包含以下几种数据元素：

timestamp
field key
field value
field set
tag key
tag value
tag set
measurement
series
point
bucket
bucket schema
organization

示例：

_time	_measurement	location	scientist	_field	_value
2019-08-18T00:00:00Z	census	klamath	anderson	bees	23
2019-08-18T00:06:00Z	census	portland	mullen	ants	32

_time：Timestamp
_measurement：measurement
location：tag value
scientist：tag value
_field：field key
_value：field value

Timestamp

所有存储在influxDB中的数据都有 _time 列，用于存储纳秒级别的数据戳，因此时间戳的精度非常重要。另外，influxDB可以 RFC3339 UTC 标准展示时间戳。

Measurement `<string>`

measurement 类似关系型数据库中的表，但又不止于此，measurement 更多用于描述我们的数据，是我们每一个 point 中的一个字段。比如上面的 census(普查) 告诉我们 field values 的23和32分别用来统计bees(蜜蜂)和ants(蚂蚁)。

Fields `<string>`

一个 field 包含了 field key 和 field value。

field key `<string>`

field key 字段的名字，在例子中就是 bees 和 ants。不唯一。

field value `<strings, floats, integers, or booleans>`

field value 字段的值。不唯一。

field set

一个与 timestamp 相关联的 field key-value 集合。如：

census bees=23i,ants=30i 1566086400000000000
census bees=28i,ants=32i 1566086760000000000-----------------Field set

field 在 influxDB 中是必须字段，但不生成索引。因此如果查询的是 field 字段的值，那将扫描所有的 fields，效率会非常低，所以常将需要查询的数据保存在 tags 中。

Bucket schema

bucket 具有显式模式类型存储的特点，需要为每一个 bucket 设定一个 bucket schema（包含标签、字段和时间戳）。也就是我们统计每一个字段的类型。那些为 fields、哪些为 tags。

Series

包括 seires keys 和 series。

Seires keys

包含 measurement、tag set 和 field key。比如示例中的 series keys 如下：

_measurement	tag set	_field
census	location=klamath,scientist=anderson	bees
census	location=klamath,scientist=anderson	ants

series

一个 seires 包含时间戳和 field values 并和 series key 对应。比如示例中的 seires key 和 series 对应：

# series key
census,location=klamath,scientist=anderson bees# series
2019-08-18T00:00:00Z 23
2019-08-18T00:06:00Z 28

在设计 schema 构和使用 InfluxDB 中的数据时，理解 series 的概念是必不可少的。

Point

一个 point 包含 series key、field value、timestamp。
比如示例中的一个 point 如下：

2019-08-18T00:00:00Z census ants 30 portland mullen

Bucket

就像关系型数据库中的 database，但多了保留期（retention period ）的概念，即每个 point 保留的持续时间。一个 bucket 属于一个 organization。有关 bucket 更多信息可查看Manage buckets。

Organization

organization 是一组用户的工作空间，所有 dashboards、 tasks、buckets 和 users 都属于一个 organization，更多信息可查看 Manage organizations。