metrics小常识
Metrics,我们听到的太多了,熟悉大数据系统的不可能没听说过metrics,当我们需要为某个系统某个服务做监控、做统计,就需要用到Metrics。
举个例子,一个图片压缩服务:
- 每秒钟的请求数是多少(TPS)?
- 平均每个请求处理的时间?
- 请求处理的最长耗时?
- 等待处理的请求队列长度?
又或者一个缓存服务:
- 缓存的命中率?
- 平均查询缓存的时间?
基本上每一个服务、应用都需要做一个监控系统,这需要尽量以少量的代码,实现统计某类数据的功能。
以 Java 为例,目前最为流行的 metrics 库是来自 Coda Hale 的 dropwizard/metrics,该库被广泛地应用于各个知名的开源项目中。例如 Hadoop,Kafka,Spark,JStorm 中。
本文就结合范例来主要介绍下 dropwizard/metrics 的概念和用法。
Maven 配置
我们需要在pom.xml
中依赖 metrics-core
包:
<dependencies> <dependency> <groupId>io.dropwizard.metrics</groupId> <artifactId>metrics-core</artifactId> <version>${metrics.version}</version> </dependency> </dependencies> |
Metric Registries
MetricRegistry
类是Metrics的核心,它是存放应用中所有metrics的容器。也是我们使用 Metrics 库的起点。
MetricRegistry registry = new MetricRegistry(); |
每一个 metric 都有它独一无二的名字,Metrics 中使用句点名字,如 com.example.Queue.size。当你在 com.example.Queue 下有两个 metric 实例,可以指定地更具体:com.example.Queue.requests.size 和 com.example.Queue.response.size 。使用MetricRegistry
类,可以非常方便地生成名字。
MetricRegistry.name(Queue.class, "requests", "size") MetricRegistry.name(Queue.class, "responses", "size") |
Metrics 数据展示
Metircs 提供了 Report 接口,用于展示 metrics 获取到的统计数据。metrics-core
中主要实现了四种 reporter:JMX, console, SLF4J, 和 CSV。 在本文的例子中,我们使用 ConsoleReporter 。
五种 Metrics 类型
Gauges
最简单的度量指标,只有一个简单的返回值,或者叫瞬时状态,例如,我们想衡量一个待处理队列中任务的个数,代码如下:
public class GaugeTest { public static Queue<String> q = new LinkedList<String>(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); registry.register(MetricRegistry.name(GaugeTest.class, "queue", "size"), new Gauge<Integer>() { public Integer getValue() { return q.size(); } }); while(true){ Thread.sleep(1000); q.add("Job-xxx"); } } } |
运行之后的结果如下:
-- Gauges ------------------------------------------------ com.alibaba.wuchong.metrics.GaugeTest.queue.size value = 6 |
其中第7行和第8行添加了ConsoleReporter,可以每秒钟将度量指标打印在屏幕上,理解起来会更清楚。
但是对于大多数队列数据结构,我们并不想简单地返回queue.size()
,因为java.util
和java.util.concurrent
中实现的#size()
方法很多都是 O(n) 的复杂度,这会影响 Gauge 的性能。
Counters
Counter 就是计数器,Counter 只是用 Gauge 封装了 AtomicLong
。我们可以使用如下的方法,使得获得队列大小更加高效。
public class CounterTest { public static Queue<String> q = new LinkedBlockingQueue<String>(); public static Counter pendingJobs; public static Random random = new Random(); public static void addJob(String job) { pendingJobs.inc(); q.offer(job); } public static String takeJob() { pendingJobs.dec(); return q.poll(); } public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); pendingJobs = registry.counter(MetricRegistry.name(Queue.class,"pending-jobs","size")); int num = 1; while(true){ Thread.sleep(200); if (random.nextDouble() > 0.7){ String job = takeJob(); System.out.println("take job : "+job); }else{ String job = "Job-"+num; addJob(job); System.out.println("add job : "+job); } num++; } } } |
运行之后的结果大致如下:
add job : Job-15 add job : Job-16 take job : Job-8 take job : Job-10 add job : Job-19 15-8-1 16:11:31 ============================================ -- Counters ---------------------------------------------- java.util.Queue.pending-jobs.size count = 5 |
Meters
Meter度量一系列事件发生的速率(rate),例如TPS。Meters会统计最近1分钟,5分钟,15分钟,还有全部时间的速率。
public class MeterTest { public static Random random = new Random(); public static void request(Meter meter){ System.out.println("request"); meter.mark(); } public static void request(Meter meter, int n){ while(n > 0){ request(meter); n--; } } public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Meter meterTps = registry.meter(MetricRegistry.name(MeterTest.class,"request","tps")); while(true){ request(meterTps,random.nextInt(5)); Thread.sleep(1000); } } } |
运行结果大致如下:
request 15-8-1 16:23:25 ============================================ -- Meters ------------------------------------------------ com.alibaba.wuchong.metrics.MeterTest.request.tps count = 134 mean rate = 2.13 events/second 1-minute rate = 2.52 events/second 5-minute rate = 3.16 events/second 15-minute rate = 3.32 events/second |
注:非常像 Unix 系统中 uptime 和 top 中的 load。
Histograms
Histogram统计数据的分布情况。比如最小值,最大值,中间值,还有中位数,75百分位, 90百分位, 95百分位, 98百分位, 99百分位, 和 99.9百分位的值(percentiles)。
比如request的大小的分布:
public class HistogramTest { public static Random random = new Random(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Histogram histogram = new Histogram(new ExponentiallyDecayingReservoir()); registry.register(MetricRegistry.name(HistogramTest.class, "request", "histogram"), histogram); while(true){ Thread.sleep(1000); histogram.update(random.nextInt(100000)); } } } |
运行之后结果大致如下:
-- Histograms -------------------------------------------- java.util.Queue.queue.histogram count = 56 min = 1122 max = 99650 mean = 48735.12 stddev = 28609.02 median = 49493.00 75% <= 72323.00 95% <= 90773.00 98% <= 94011.00 99% <= 99650.00 99.9% <= 99650.00 |
Timers
Timer其实是 Histogram 和 Meter 的结合, histogram 某部分代码/调用的耗时, meter统计TPS。
public class TimerTest { public static Random random = new Random(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Timer timer = registry.timer(MetricRegistry.name(TimerTest.class,"get-latency")); Timer.Context ctx; while(true){ ctx = timer.time(); Thread.sleep(random.nextInt(1000)); ctx.stop(); } } } |
运行之后结果如下:
-- Timers ------------------------------------------------ com.alibaba.wuchong.metrics.TimerTest.get-latency count = 38 mean rate = 1.90 calls/second 1-minute rate = 1.66 calls/second 5-minute rate = 1.61 calls/second 15-minute rate = 1.60 calls/second min = 13.90 milliseconds max = 988.71 milliseconds mean = 519.21 milliseconds stddev = 286.23 milliseconds median = 553.84 milliseconds 75% <= 763.64 milliseconds 95% <= 943.27 milliseconds 98% <= 988.71 milliseconds 99% <= 988.71 milliseconds 99.9% <= 988.71 milliseconds |
其他
初次之外,Metrics还提供了 HealthCheck 用来检测某个某个系统是否健康,例如数据库连接是否正常。还有Metrics Annotation,可以很方便地实现统计某个方法,某个值的数据。感兴趣的可以点进链接看看。
使用经验总结
一般情况下,当我们需要统计某个函数被调用的频率(TPS),会使用Meters。当我们需要统计某个函数的执行耗时时,会使用Histograms。当我们既要统计TPS又要统计耗时时,我们会使用Timers。
转 自 http://wuchong.me/blog/2015/08/01/getting-started-with-metrics/
metrics小常识相关推荐
- 很实用但经常忘的小常识
很实用但经常忘的小常识 1.羊肉去膻味:将萝卜块和羊肉一起下锅,半小时后取出萝卜块:放几块桔子皮更佳:每公斤羊肉放绿豆5克,煮沸10分钟后,将水和绿豆一起倒出:放半包山楂片:将带壳的核桃两三个洗净打孔 ...
- 60条令你大吃一惊的小常识,很有用
做程序员这么累!大家一定要注意爱护自己!这是一点点生活小常识!希望对大家有用! 1.吃了辣的东西,感觉就要被辣死了,就往嘴里放上少许盐,含一下,吐掉,漱下口,就不辣了: 2.牙齿黄,可以把花生嚼碎后含 ...
- 遍历同辈节电的方法_家用节电小常识:一些行之有效的节能方法
家用节电小常识:一些行之有效的节能方法 现在经济压力这么大,我们每月的生后费都占了工资的一部分,所以节约成了我们的必修课之一.日常生活中我们如果能够把握好节能方法,那么生活用水用电等就能节省下来一笔不 ...
- 夏季防暑降温小常识汇总 - 生活至上,美容至尚!
以下为一些生活小常识,供大家参考,请大家一定要做好防暑降温措施,注意身体健康. 一.及时补充水分但应少喝饮料.果汁.可乐.雪碧.汽水等饮料中,含有较多的糖精和电解质,喝多了会对胃肠产生不良刺激,影响消 ...
- 怎样选择合适的PoE交换机?POE交换机选用小常识!
交换机除了普通交换机外还有POE交换机,POE交换机主要用来给POE设备进行供电,免去复杂的网络设备供电接线,实现的更加方便网络覆盖,那么,我们如何选择一款合适的交换机至关重要.接下来飞畅科技的小编就 ...
- java咖啡机故障5_【咖啡小常识】咖啡机不得不知道的常见故障及解决方法
原标题:[咖啡小常识]咖啡机不得不知道的常见故障及解决方法 咖啡行业交流请加私 人微信精品咖啡香,微信号: (长按复制) thinkingcapacity 一.没有蒸汽或做出的咖啡不热 可能原因 1. ...
- vba excel 退出编辑状态_VBA小常识(15)—Application对象
VBA小常识(15)-Application对象 学习自杨洋老师<全民一起学VBA> Application是位于最顶端的对象,代表excel程序本身,所有对象都属于它. 1. appli ...
- 垂直梯形校正画质损失多少_投影小常识 梯形矫正竟会影响清晰度
我们在日常使用投影机时,经常会用到梯形矫正这个功能,梯形矫正确实在我们的日常使用中可以起到很好的效果,当环境因素不允许我们去将投影机本身摆正的时候,梯形矫正往往可让我们得到方正的画面,但是梯形矫正也是 ...
- 46个不可不知的生活小常识
<script language="javascript" type="text/javascript">document.title=" ...
最新文章
- 基于用例点来度量软件规模并管理进度 之结束语
- python自动发送微信-Python自动定时发送微信消息
- xtrabackup 9.0备份出错的解决方法
- SolrCloud集群配置
- sed系列:行或者模式匹配删除特定行
- [Linux笔记]重装windows后重装grub
- ArcEngine中打开各种数据源(WorkSpace)的连接(转)
- java 各种数据结构,几种常见的数据结构的JAVA实现
- MySQL的启动和停止
- Mysql深入浅出学习
- vue拖拽辅助线+改变元素大小组件
- 魔兽私服 启动mysql_魔兽私服TrinityCore 运行调试流程
- java石头剪刀布思路_石头剪刀布Java实现
- 【离散数学】二元关系中的传递关系与非传递关系
- 7-5 修理牧场 (25 分)
- 【转】太用力的人跑不远
- 面试必备:高频算法题汇总「图文解析 + 教学视频 + 范例代码」之 字符串处理+动态规划 合集!
- Android框架之路——Banner实现轮播图(RecyclerView添加Header)
- Because an app is obscuring a permission request, Settings can't verify your response
- 【Linux进程】Linux进程