谈谈什么是数据质量管理
什么是数据质量管理
数据质量管理是一组旨在维护高质量信息的实践。数据质量管理从数据采集和高级数据流程的实施一直到数据的有效分发。它还需要对信息进行管理监督。有效的数据质量管理被认为对于任何一致的数据分析都是必不可少的，因为数据的质量对于从信息中获得可操作且更重要的准确见解至关重要。
您可以使用许多策略来提高数据质量。数据质量管理流程旨在成为数据开发的“瑞士军刀”，以应对无论何时何地出现的数字时代数据的挑战。在本文中，我们将详细介绍数据质量管理所涉及的一切：为什么它是必要的、如何衡量数据质量、良好质量管理的支柱以及一些数据质量控制技术。
为什么需要数据质量管理
虽然数字时代成功地推动了广泛的创新，但它也助长了所谓的数字时代的“数据危机”——低质量数据。
数据质量的定义是什么
数据质量是指对数据的评估，相对于其目的和服务于该目的的能力。数据质量由本文后面将详细介绍的不同因素定义，例如准确性、完整性、一致性或及时性。这种质量对于满足组织在运营、规划和决策方面的需求是必要的。
如今，公司的大部分运营和战略决策都严重依赖数据，因此质量的重要性更高。事实上，低质量数据是先进数据和技术计划失败的主要原因，每年给美国企业带来的损失高达970万美元（不包括世界上所有其他国家的企业）。更一般地说，低质量的数据会影响生产力、底线和整体投资回报率。
稍后我们将讨论低质量数据的一些后果。但是，让我们确保不要陷入“质量陷阱”，因为数据质量管理的最终目标不是创建“高质量”数据是什么的主观概念。它的最终目标是提高那些依赖数据的业务部门的投资回报率(ROI)。
从客户关系管理到供应链管理，再到企业资源规划，有效的数据质量管理的好处可以对组织的绩效产生连锁反应。有了可用的质量数据，组织可以形成数据仓库，以检查趋势和制定面向未来的战略。在整个行业范围内，数据质量的积极投资回报率是众所周知的。根据埃森哲的大数据调查，92%使用大数据进行管理的高管对结果感到满意，89%的高管认为数据“非常”或“极其”重要，因为它将“像互联网一样彻底改变运营模式”。
大企业的领导者清楚地了解优质数据的重要性。
数据质量管理的5个支柱
既然了解了高质量数据的重要性并希望采取行动来巩固数据基础，那么让我们来看看数据质量管理背后的技术以及支持它的5个支柱。
1–人
技术的效率取决于实施它的个人。我们可能在技术先进的商业社会中运作，但人类监督和流程实施尚未过时。因此，有几个数据质量管理角色需要填补，包括：
数据质量管理项目经理：项目经理的角色应由一名高层领导担任，该领导接受对商业智能计划的一般监督责任。他还应监督涉及数据范围、项目预算和计划实施的日常活动的管理。项目经理应该领导数据质量和投资回报的愿景。
组织变革经理：他通过提供对高级数据技术解决方案的清晰和洞察力来协助组织。由于使用仪表板软件通常会突出质量问题，因此变更经理在数据质量的可视化中起着重要作用。
业务/数据分析师：此人从组织的角度定义质量需求。然后将这些需求量化为用于获取和交付的数据模型。这个人或一组人确保将数据质量背后的理论传达给开发团队。
2–数据分析
数据分析是数据质量管理生命周期中的一个基本过程。它涉及：
详细审查数据
将数据与元数据进行比较和对比
运行统计模型
报告数据质量
此过程的目的是深入了解现有数据，并将其与质量目标进行比较。帮助企业在数据质量管理流程中建立一个起点，并为如何提高其信息质量设定标准。完整和准确数据的数据质量指标对于这一步至关重要。准确的数据是寻找不成比例的数字，完整的数据是定义数据体并确保所有数据点都是完整的。
3–定义数据质量
数据质量管理的第三个支柱是质量本身。应根据业务目标和要求创建和定义“质量规则”。这些是数据必须遵守的业务/技术规则才能被认为是可行的。
业务需求可能会在这一支柱中占据首位，因为关键数据元素应取决于业务。质量规则的制定对于任何数据质量管理流程的成功都至关重要，因为这些规则将检测并防止受损数据感染整个数据集的健康状况。
就像抗体检测和纠正我们体内的病毒一样，数据质量规则将纠正有价值数据之间的不一致。当与BI工具结合使用时，这些规则可以成为预测趋势和报告分析的关键。
4–数据报告
数据质量管理报告是删除和记录所有受损数据的过程。这应该被设计为遵循数据规则执行的自然过程。一旦识别和捕获异常，就应该将它们汇总，以便识别质量模式。
应根据特定特征（例如，按规则、按日期、按来源等）对捕获的数据点进行建模和定义。统计完这些数据后，可以将其连接到在线报告软件，以报告质量状态和仪表板中存在的异常情况。如果可能，还应实施自动化和“按需”技术解决方案，以便实时显示仪表板洞察力。
报告和监控是数据质量管理投资回报率的关键，因为它们可以实时查看任何时候的数据状态。通过识别数据异常的位置，数据专家团队可以制定补救流程的策略。
5–数据修复
数据修复是确定的两步过程：
修复数据的最佳方法
实施变更的最佳方式
数据修复最重要的方面是执行“根本原因”检查，以确定数据缺陷产生的原因、位置和方式。一旦实施了这项检查，就应该开始整治计划。
依赖于先前有缺陷的数据的数据流程可能需要重新启动，尤其是当它们的功能面临风险或受到缺陷数据的影响时。这些流程可能包括报告、活动或财务文件。
这也是应该再次审查数据质量规则的地方。审查过程将有助于确定规则是否需要调整或更新，并将有助于开始数据演化过程。一旦数据被认为是高质量的，关键的业务流程和功能就应该更高效、更准确地运行，从而获得更高的投资回报率和更低的成本。
如何衡量数据质量
要衡量数据质量，显然需要数据质量指标。它们也是评估为提高信息质量所做的努力的关键。在各种质量管理技术中，数据质量指标必须是一流的并且定义明确。这些指标包含质量的不同方面，可以用首字母缩略词“ACCIT”来概括，代表准确性、一致性、完整性、可靠性和及时性。
虽然数据分析可能相当复杂，但所有关键的数据质量管理利益相关者都应该了解一些基本测量。数据质量指标对于为未来的分析提供最好和最坚实的基础至关重要。这些指标还将帮助跟踪质量改进工作的有效性，这当然是确保走上正确轨道所必需的。让我们回顾一下这五类指标并详细说明它们所包含的内容。
准确性
指实时发生的业务交易或状态变化。准确性应通过源文档（即来自业务交互）来衡量，但如果不可用，则应通过独立性质的确认技术来衡量。它将指示数据是否没有重大错误。
衡量准确性的一个典型指标是数据与错误的比率，它跟踪相对于数据集的已知错误（如缺失、不完整或冗余条目）的数量。这个比率当然应该随着时间的推移而增加，证明数据质量会变得更好。数据与错误的比率没有特定的比率，因为它在很大程度上取决于数据集的大小和性质，但当然越高越好。在下面的示例中，我们看到数据错误率刚好低于95%的准确率目标：
一致性
严格来说，一致性指定从不同数据集中提取的两个数据值不应相互冲突。然而，一致性并不自动意味着正确性。
一致性的一个例子是一个规则，它将验证公司每个部门的员工总数不超过该组织中的员工总数。
完整性
完整性将表明是否有足够的信息来得出结论。完整性可以通过确定每个数据条目是否是“完整”数据条目来衡量。所有可用的数据输入字段必须完整，并且数据记录集不应缺少任何相关信息。
例如，可以使用的一个简单质量指标是数据集中的空值数量：在库存/仓储环境中，这意味着每一行项目都引用一个产品，并且每个项目都必须有一个产品标识符。在填写该产品标识符之前，该行项目无效。然后，应该随着时间的推移监控该指标，以减少它。
可靠性
也称为数据验证，可靠性是指对数据进行结构测试，以确保数据符合程序。这意味着没有意外的数据错误，并且它对应于其适当的名称（例如，日期、月份和年份）。
在这里，一切都归结为数据转换错误率。要使用的指标跟踪有多少数据转换操作相对于整体失败或者以一种格式存储的数据并将其转换为另一种格式的过程未成功执行的频率。在下面的示例中，转换错误率随时间变化：
及时性
及时性对应于对信息可用性和可访问性的期望。换言之，它衡量的是从预期数据到数据可供使用的时间之间的时间。
评估及时性的一个指标是数据价值实现时间。这对于衡量和优化这个时间至关重要，因为它对企业的成功有很多影响。获取有价值的数据的最佳时机始终是现在，因此越早访问该信息越好。
无论选择哪种方式来提高数据质量，都将始终需要衡量努力的有效性。所有这些数据质量指标示例都可以很好地评估数据质量管理流程。评估得越多，就能改进得越好，所以控制它是关键。
数据质量指标示例
以下是5个数据质量指标示例：
数据与错误的比率：监控与整个数据集相比已知数据错误的数量。
空值数：计算数据集中有空字段的次数。
数据价值实现时间：评估从数据集中获得洞察所需的时间。
数据转换错误率：该指标跟踪数据转换操作失败的频率。
数据存储成本：当存储成本上升而使用的数据量保持不变，或者更糟糕的是，数据量减少时，这可能意味着所存储的大部分数据的使用质量很低。
为什么需要更好的数据质量控制
高质量数据的好处
让我们来看看高质量数据在一个领域的好处：营销。想象一下，您有一个购买的清单，上面有10,000封电子邮件、姓名、电话号码、企业和地址。然后，假设该列表中有20%是不准确的。这意味着您的列表中有20%的电子邮件、姓名、电话号码等错误。这如何转化为数字？
好吧，这样看：如果您针对此列表中的姓名投放广告活动，由于这些虚假姓名条目，成本将比应有的高出20%。如果您使用实体邮件，多达20%的信件甚至不会送达收件人。通过电话，销售代表将把更多时间浪费在错误的号码或无法接听的号码上。对于电子邮件，您可能认为这没什么大不了的，但是打开率和其他指标会根据“脏”列表而失真。所有这些成本迅速增加，导致美国公司每年面临6000亿美元的数据问题。
但是，让我们颠倒一下情况：如果您的数据质量控制到位，那么您将能够：
以比竞争对手更低的成本获得潜在客户
从执行的每个直邮、电话或电子邮件活动中获得更多投资回报
向最高管理层展示更好的结果，使广告支出更有可能增加
总而言之，在当今的数字世界中，拥有高质量的数据是领先者和“失败者”之间的区别。
不良数据质量控制的后果
糟糕的数据质量控制会影响组织的各个方面，包括：
营销活动的成本和效果如何
了解客户的准确程度
可以多快将潜在客户转化为销售线索
做出业务决策的准确性如何
Gartner的一项研究告诉我们，糟糕的数据质量控制使他们调查的公司平均每年损1420万美元。
一项巨大的无形成本：错误的决定
也许您并没有试图让其他人相信数据驱动决策的重要性。也许公司已经使用了分析，但没有对数据质量控制进行尽职调查。在这种情况下，您可能会面临更大的打击：根据不准确的数据做出代价高昂的决策。
正如大数据专家ScottLowe所说，也许最糟糕的是，决策是用糟糕的数据做出的：这最终会导致更大更严重的问题。他宁愿听从自己的直觉做出决定，也不愿冒险用不良数据做出决定。
例如，假设您有一个不正确的数据集，表明当前的现金流是健康的。感到乐观，你扩大了业务。然后，一两个季度后，您遇到了现金流问题，突然间就很难向供应商（甚至您的员工）付款了。这种灾难性的情况是可以通过更高质量的数据来预防的。
低质量数据来源
我们刚刚介绍了如何清理可能不准确的数据。然而，俗话说，一盎司的预防胜过一磅的治疗。考虑到这一点，这里有一些低质量数据的来源，因此可以注意随着时间的推移保持记录的准确性。请记住：保持数据的高质量不是一次性的工作。这是一个永无止境的持续过程。
来源#1：并购
当两家公司以某种方式联合起来时，他们的数据就会融入这种新的工作关系中。然而，就像两个婚前有孩子的人建立新的关系一样，事情有时会变得一团糟。
例如，两家公司很有可能使用完全不同的数据系统。也许你们中的一个人有一个遗留数据库，而另一个人已经更新了东西。或者使用不同的方法收集数据。甚至有可能关系中的一个合作伙伴有很多不正确的数据。
行动步骤：如果有计划的合并或收购，请确保让IT负责人坐到谈判桌前，以便在签署任何交易之前提前计划此类问题。
来源#2：从遗留系统过渡
对于非技术用户来说，可能很难理解从一种操作系统切换到另一种操作系统所固有的困难。直觉上，外行会期望事情已经“设置好”，以便最终用户可以轻松无痛地进行转换。这绝对不符合现实。
许多公司将所谓的“遗留系统”用于已有数十年历史的数据库，当不可避免的过渡时期到来时，需要处理大量问题。这是由于数据系统本身的技术性质。每个数据系统都包含三个部分：
数据库（数据本身）
“业务规则”（解释数据的方式）
用户界面（数据呈现方式）
在从一个系统到另一个系统的数据转换过程中，这些不同的部分可能会带来不同的挑战。正如SteveHoberman所写，关注的焦点是数据转换过程中的数据结构。但这是一种失败的方法，因为源和目标的业务规则层非常不同。转换后的数据在实际应用中不可避免地不准确，即使它在技术上仍然是正确的。
行动步骤：从遗留系统过渡到新系统时，过渡团队成为一个系统或另一个系统的专家是不够的。他们需要成为这两个方面的专家，以确保过渡顺利进行。
来源#3：用户错误
这是一个可能永远不会消失的问题，因为人类将始终参与数据输入，并且人类会犯错误。人们经常打错东西，这必须加以考虑。
你会认为数据清理专家是绝对可靠的，事实并非如此。正如霍伯曼先生所说，“仍有3%的更正输入错误。这是在一个以数据质量为主要目标的项目中！”
行动步骤：创建公司使用的所有表格，尽可能简单直接地填写。虽然这不会完全防止用户错误，但它至少会减轻它。
END
总 结
希望这篇文章为您提供了保持数据高质量所需的信息。如果您的公司是努力使数据健康的公司，那么就更多的在市场中获得竞争优势。数据质量管理是保持组织在当今数字市场中具有竞争力的关键过程。虽然维护高质量数据似乎真的很痛苦，俗话说，“如果容易，每个人都会这样做。”
--------END--------
谈谈什么是数据质量管理相关推荐
- 数据质量管理的一些思考
背景 在近期的项目当中,我们为客户落地实施了数据资产平台.随后,在数据平台中接入了客户子公司的一个业务系统的明细数据.客户希望在我们的数据平台上通过数据探索和数据分析,来挖掘一些业务价值和业务创新点. ...
- 企业如何进行数据质量管理
文章摘自7月9日,华矩科技数据治理系列讲座,华矩科技创始人及董事长CEO带来分享:企业如何进行数据质量管理,从数据质量认知的发展入手,分析业务和IT建设中所隐藏的常见数据质量问题,从而引出企业数据质量 ...
- 数据治理（三）：数据质量管理
目录 数据质量管理 一.数据质量概述 二.数据质量问题根源 三.数据质量保障原则 1.完整性 2.准确性 3.一致性 ...
- access对比数据_数据仓库系列之数据质量管理
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量.因此数据仓库的数据质量建设是一些公司的重点工作. 一 ...
- 基于MaxCompute的数仓数据质量管理
声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路--阿里巴巴大数据实践>--阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...
- 工业时序大数据质量管理
工业时序大数据质量管理 丁小欧,王宏志,于晟健 哈尔滨工业大学海量数据计算研究中心,黑龙江 哈尔滨 150001 摘要:工业大数据已经成为我国制造业转型升级的重要战略资源,工业大数据分析问题正引起重 ...
- 如何做好数据质量管理
数据问题的来源可能产生于从数据源头到数据存储介质的各个环节.在数据采集阶段,数据的真实性.准确性.完整性.时效性都会影响数据质量.除此之外,数据的加工.存储过程都有可能涉及对原始数据的修改,从而引发数 ...
- 数据质量管理有哪些方法
数据质量管理是数据治理中的重要步骤.这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程.数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准 ...
- 大数据质量管理策略有哪些
一种数据质量策略,从建立数据质量评价体系.落实质量信息的采集分析与监控.建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持. ...
最新文章
- 无线通信频率分配表（详细）
- 【MM配置】Delivery Costs 交货成本
- Atitit 知识管理的重要方法 数据来源，聚合，分类，备份，发布 搜索
- Python os.chdir() 方法
- php jquery 源码,最新版jQuery 2.1.0完整
- 2016中国信息通信大数据大会召开在即，精彩看点提前揭晓
- 4.设计模式---单例模式（上）
- 【转】python 批量修改密码(paramiko)
- 【2019百度之星初赛二1002=HDU6675】度度熊与排列（贪心）
- phpcms二次开发摘要
- 基于国土“三调”成果的自然资源开发利用和保护的综合研究
- javascript时钟代码 DEMO-002
- linux同花顺乱码,打开同花顺软件全是问号
- 高数 | 极坐标下弧微元（线元ds）的推导
- ASP.NET4.0尚未在Web服务器上注册
- 微服务守护神-Sentinel-降级规则
- BUUCTF：[WUSTCTF2020]alison_likes_jojo
- stm32花式点流水灯
- Designing Data-Intensive Applications翻译
- 渗透笔记之web漏洞概述