Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境
前言
虽然博主之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。
硬件参数
新版InfluxDB的集群版是收费的，但是单点也足够我们存储较长时间的监控数据了。
CPU：Intel E5 v4 12C/24T
内存：96GB
硬盘：500GB SSD * 2
网络：10Gbps
操作系统：CentOS 7.5 64-bit
InfluxDB 1.8
Grafana 6.7.4
安装与配置InfluxDB
先下载RPM包，再用yum localinstall安装，可以自动解决依赖关系。
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0.x86_64.rpm
yum -y localinstall influxdb-1.8.0.x86_64.rpm安装完毕后，配置文件位于/etc/influxdb/influxdb.conf。具体配置项可参见官方文档，有一些需要注意的，列举如下。
元数据存储目录
Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境相关推荐
- Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践
前言 随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
- Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析
前言 本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...
- Flink从入门到精通100篇（二十二）-Apache Flink OLAP引擎性能优化及应用
前言 本次分享的主题为Apache Flink新场景--OLAP引擎,主要内容包括: 背景介绍 Apache Flink OLAP引擎 案例介绍 未来计划 1. OLAP及其分类 OLAP是一种让用户 ...
- influxdb tsm文件_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
Flink 从入门到精通 系列文章 前言 虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是 ...
- Flink从入门到精通100篇（二十一）-万字长文详解 Flink 中的 CopyOnWriteStateTable
前言 现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...
- Flink从入门到精通100篇（二十）-跨境电商 Shopee 的实时数仓之路
前言 本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括: 实时数仓建设背景 Flink 在实时数据数仓建设中 ...
- Flink从入门到精通100篇（十三）-Flink的入门教学
前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topi ...
- Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成
前言 随着 Flink 在流式计算的应用场景逐渐成熟和流行.如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 的开发和维护成本,并且能够丰富 Flink 的生态.因为 ...
- Flink从入门到精通100篇（二十三）-Flink实战应用案例：如何清理过期的 Checkpoint 目录？
目录 Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpo ...
最新文章
- 7.STM32中对DMA_Config()函数的理解（自定义）测试DMA传输数据时CPU还可继续工作其他的事
- 关于Git的几个使用技巧
- linux5.5 dvd安装教程,linux 5.5 yum的安装方法(ftp)
- JavA持有类_关于继承：Java持有对象的超类的类型
- 创建一个Hello World的Confluence宏
- centos mysql php tomcat_CentOS 6.x使用yum快速安装Apache+PHP+Tomcat(JSP)+MySQL
- [Perforce]password (P4PASSWD) invalid or unset. 的错误解决
- C#净化版WebApi框架
- 自己制作的ORMap框架终于完成的差不多了。
- 百度区块链 xuperchain 节点端 tps统计脚本
- 【优化求解】基于matlab改进的粒子群算法求解混合储能系统容量优化问题【含Matlab源码 1823期】
- Linux 图片批量压缩工具
- 使用ARCGIS对shp数据添加投影坐标系
- 万能平板刷机软件_万能手机刷机软件下载
- mysql错误代码1813_MSSQL2000数据库附加错误1813解决方案
- 聚合数据--汇率接口调用
- 线性回归:自相关检测及其处理方法
- Hbuilder 真机运行显示未受信任的解决方法（ios）
- php后门检测工具,phpStudy后门如何检测和修复
- HarmonyOS内存占用,华为HarmonyOS对比EMUI11：内存占用更少 系统更流畅