如何将数据分析的时效性提升 30 倍？
本文作者：桂陈
我们常说的数据分析时效性，是指数据从产生到执行分析的时间差，例如本月产生的数据，在经过清洗和处理后，在下月初提供给业务方进行分析。过低的时效性可能无法满足业务需求，例如某企业的服务部署在多个云平台上，由于云平台的账单数据多而杂，该企业每月手动统计汇总并分析一次云成本数据，这种情况下，可能出现云上账单金额激增企业却感知不到的情况。
在之前的《通过图形化界面，两步创建一个指标_Kyligence的博客-CSDN博客》中，我们知道可以通过 Kyligence Zen 快速搭建一站式云端指标中台，实现实时的云成本管理，那么在这篇博客中，我们将介绍如何结合 S3 存储桶和 Kyligence Zen 对增量数据的支持特性，将数据分析时效性从月提升至天。
首先，我们在 Kyligence 的数据页面中，选择数据源为 Amazon S3，根据右侧配置向导完成授权并填写存储桶、文件路径等信息。
接下来，我们需要前往云平台中创建每天自动生成云账单的任务，以亚马逊云平台为例，我们可以创建云成本和使用率报告，让云平台每天生成云账单数据并存储为 CSV 文件。此处填写的存储桶可以和上一步的一致，同时推荐采用不同的文件路径来存储原始账单文件。
由于原生的云账单数据包含数据非常繁杂，我们可以利用 Amazon Glue 或者开源工具 Byzer 对数据进行清洗和处理（受限于篇幅不展开介绍），保留我们关心的业务数据，然后将加工好的数据保存为一个新文件，将其每天定时上传至作为 Kyligence Zen 数据源的 Amazon S3 对应路径中，整体的数据流转流程如下图所示。
至此，我们已经搭建好了数据流转流程，云账单数据每天会定期存放至 Amazon S3 中，而在执行数据分析时，Kyligence Zen 会自动检索 S3 存储桶路径中的 CSV 文件，并将其视为一个整体执行查询，从而将数据分析的时效性从月提升至天，当然更高的时效性（如小时）也可以参照此流程实现。
Kyligence Zen 提供了免费试用，欢迎前往 Kyligence Zen 官网试用，如您有任何疑问或者有好的想法，欢迎留言交流！
点击下载文中提到的数据集 csv 文件和指标定义文件。
KyligenceZen企业云成本管控北极星指标、指标yaml文件及数据csv文件-统计分析文档类资源-CSDN下载
如何将数据分析的时效性提升 30 倍？相关推荐
- 思迈特软件Smartbi：掌控生产状况，报表开发效率提升30倍的秘密
大数据给各个行业发展带来了新的机遇和挑战,烟草作为对国家财政税收贡献极大的传统行业,也开始探索大数据采集.分析和应用.从烟草行业的营销.物流.生产环节入手,利用大数据分析的报表工具为烟草企业经营决策提 ...
- 使用 ctypes 将 Python 运行速度提升 30 倍
简介 当 Python 面临运算密集型任务时,其速度总是显得力不从心.要提升 Python 代码运行速度有多种方法,如 ctypes.cython.CFFI 等,本篇文章主要从 ctypes 方面介绍 ...
- 预览速度提升30倍，这是什么黑科技？（天猫618之3D渲染篇）
简介: 天猫618宣布的 3D 购物时代,相信有很多小伙伴好奇,这背后有哪些"黑科技"?橙子从以下三点为你揭秘--3D实景复刻.3D渲染.3D算法,上周讲了<天猫618宣布开 ...
- CSDN快速涨粉秘笈---涨粉速度提升30倍
首先,必须要强调的是,这篇文章所述的CSDN快速涨粉秘笈,是合法合规的,也是CSDN官方博客专门发文推送过的,而不是所谓的违规刷粉. 你没有看错,就是如下的CSDN官方博客 ...
- 性能提升30倍丨基于 DolphinDB 的 mytt 指标库实现
MyTT 是一个简单易用的 Python 库,它将通达信.同花顺.文华麦语言等指标公式最简化移植到了 Python 中,实现的常见指标包括 MACD.RSI.BOLL.ATR.KDJ.CCI.PSY ...
- IDEA 神级插件！效率提升 30 倍，写代码必备
IDEA 全称 IntelliJ IDEA,是java编程语言开发的集成环境.IntelliJ在业界被公认为最好的java开发工具,尤其在智能代码助手.代码自动提示.重构.JavaEE支持.各类版本工 ...
- AI一分钟 | 李开复：AI创业公司估值今年会降20%~30%；谷歌让搜索结果加载速度提升两倍...
▌李开复:AI 创业公司估值今年会降 20%~30% 创新工场创始人李开复的新书<AI·未来>昨天正式全球发售,在发布现场,李开复谈到目前国内 AI 创业企业现状时表示,今年国内 AI 创 ...
- Xilinx+AWS F1+VP9带来30倍实时转码性能提升
在实时.海量.高并发视频的场景下,FPGA加速找到了自己的发展空间,弥补了VP9在编码复杂度方面的不足,专利费的优势也得以体现. 文 / Ant 在上周圣何塞举行的XDF(Xilinx开发者论坛)上( ...
- 用户识别率提升 25 倍 | 看神策数据如何利用 ID-Mapping 激活全域营销
数字媒介的多元化.消费者触媒的无序化.信息爆炸对传播有效性的消减,使企业在营销增长和品牌心智经营上备受挑战.其中,企服行业因客户多角色共同决策.决策周期长.线索流程管理复杂.续约续费不 ...
最新文章
- Java计算数学表达式（字符串形式）
- python新手项目-推荐 13 个 Python 新手练级项目
- Android 最火的高速开发框架xUtils
- mormot数据库连接+查询+序列为JSON
- 机器人从计算机应用领域看,人的素质差异，本质地不在于他们即存知识信息量的差异，而在于他们思维能力的差异。（ ）...
- 模板引擎的简单原理template
- Redis数据库的初步认识（二）-C/C++连接redis数据库
- win10连接mq_Win10环境下配置RocketMQ
- 网络编程----心得体会
- 摊牌了！2021年3D视觉算法岗求职群
- 可以用字符流复制一张图片文件吗？
- ACOPTools:一步步帮你快速、高效构建多基因联合系统发育树
- 浏览器清除缓存快捷键
- unity中实现多人联机局域网-基于pun v2 + photon server v5
- 第一章：Python数据分析前的基础铺垫
- 【STM32】 AMS1117（稳压）模块
- 【考前必读】致PMI项目管理认证系列考试考生
- [魅族Degao]Android客户端性能优化
- Adobe Premiere常用快捷键_艾孜尔江摘录
- Jmeter性能测试云平台搭建