Skywalking容量规划

前言

Apache skywalking 是一个面向分布式系统的APM（应用性能监控）工具。专门为微服务，云原生和基于容器的架构而设计。其底层是一个分布式追踪系统。

Skywalking项目地址

本次容量规划基于压测结果来进行估算。

1. 压测用例

模拟1000个用户并发，压测5分钟。TPS 3400/s （这比较接近生产环境的TPS了），每次请求产生20个span。监控压测期间skywalking collector节点的CPU 和 memory ，网络带宽的使用情况；以及ElasticSearch的磁盘空间使用情况。

1.1 虚拟机配置

角色	CPU	Memory	Disk	Linux release
被测试应用	8Core	4G	20G	CentOS 6.5 Final
Skywalking Collector集群（两个节点）	8Core	8G	10G	CentOS 6.5 Final
ES集群（三个节点）	4Core	8G	40G	CentOS 6.5 Final

首先是总体压测结果：

在这里主要关注 TPS: 3400/s

1.2 Collector节点CPU & Memory & 网络带宽

Memory

可以看到Collector对CPU 和 Memory 要求不高。

网络带宽

collector对网络带宽要求还是挺高的：平均流入流量 19.55Mbps ,平均流出流量 30.64Mbps。

1.2.1 collector节点数量估算

要让Collector集群能撑住所有agent上报的量，需满足以下条件：Collector集群的TPS 大于等于所有agent上报的TPS。

所有的agent上报的TPS = 全网总TPS ✖️ 采样率 ✖️ 放大系数
Collector集群的TPS = 单个Collector的TPS ✖️ Collector节点数量
因此，Collector节点数量 = （全网总TPS ✖️ 采样率 ✖️ 放大系数）/ 单个Collector的TPS

全网总TPS = 270000/s (这是峰值TPS，数据来自CAT监控数据)
采样率假设使用50%
放大系数（估算时的一种常用手段，主要是防止突发流量时也能保证系统能撑住，2.5-3.5），采用3，表示能撑住3倍突发流量
单个Collector能处理的TPS=20000/s （collector网卡带宽足够的情况下，数据来自skywalking 社区）

1.2.1.1 估算结果

Collector节点数量 = (270000 ✖️ 0.5 ✖️ 3) / 20000 = 20.25

根据接入情况，前期可以先部署比如5台collector节点，后续接入更多的应用时再逐步增加collector。

1.3 ElasticSearch节点磁盘空间使用情况

disk.indices 指的是ES的index所占的空间

ES采取2个分片0个replicas的策略，相当于数据只保存1份

压测前

shards disk.indices   host         ip           node56         69mb      192.168.6.65 192.168.6.65 gz_210kvm_6556       92.1mb      192.168.6.73 192.168.6.73 gz_205kvm_7356       34.2mb      192.168.6.66 192.168.6.66 gz_210kvm_66

压测后

shards disk.indices  host         ip           node
56      267.6mb     192.168.6.73 192.168.6.73 gz_205kvm_73
56        205mb     192.168.6.66 192.168.6.66 gz_210kvm_66
56      109.3mb     192.168.6.65 192.168.6.65 gz_210kvm_65

1.3.1 ES磁盘增长量分析

从上面可以看出，TPS 3400/s，压测5分钟，每个请求20个span的情况下，ES的磁盘空间增加386.3M字节。

1.3.2 ES集群磁盘容量估算

以500个应用实例来估算，假设其中5%的实例（也就是25个）是比较公共的基础组件，流量会更大一些，比另外的95%的流量高10倍。
假设skywalking的分钟级别的数据保存90分钟（这是可以配置的），得到以下容量值：

475 ✖️ 386.3M ✖️(90/5) + 25 ✖️386.3M ✖️ 10 ✖️(90/5) = 2954025M+1554750M = 5041215M = 5.04T

5.04T ✖️ 3（放大系数） = 15.12T

Collector集群规划

一共需要20个节点，前期可以先部署5个，后续再加。

CPU and Memory

8Core CPU ，16G Memory

网卡带宽

collector节点千兆网卡。

disk size

没有特殊要求，普通硬盘即可。磁盘容量也没有特别要求。

ElasticSearch集群规划

CPU and Memory
- CPU 32Core+
- Memory 32G+

ES大量读写数据，对内存要求比较高，生产环境的ES ，JVM节点内存至少32G。（当然跟应用的流量规模有关）

网卡带宽

千兆网卡

disk size

整个集群需要15T

磁盘最好上SSD，性能比机械磁盘好太多，在SKywalking的场景里实际使用比机械磁盘快约10倍。