数据清洗必须会的一些方法 - sql篇
数据清洗必须会的一些方法 - sql篇
- 介绍
- 解决质量问题
- 解决办法
- 数据的完整性
- sql处理方式
- 数据的唯一性
- sql处理方式
- 数据的权威性
- 数据的合法性问题
- sql处理方式
- 数据的一致性问题
介绍
在进行数据分析之前,自己拿到的数据大部分情况下都是不能够直接用的,会存在很多数据质量的问题,这个时候就需要我们先过滤一遍。
数据清洗是整个数据分析链路中非常重要的一个环节,能够提供更高的质量的数据,同时供应挖掘材料。
解决质量问题
解决各种数据质量问题的目的,包括但不限于:
- 数据的完整性 —— 例如,人的属性中缺少性别、籍贯、年龄等
- 数据的唯一性 —— 例如,不同来源的数据重复出现的情况
- 数据的权威性 —— 例如,同一个指标出现多个来源的数据,且数值不一样
- 数据的合法性 —— 例如,获取的数据与常识不符,年龄大于150岁。
- 数据的一致性 —— 例如,不同来源的不同指标,实际内涵是一样的,或是同一指标内涵不一致。
数据清洗的结果是对各种脏数据进行对应方式的处理,得到标准的、干净的、连续的数据,提供给数据统计、数据挖掘等使用。
解决办法
数据的完整性
思路:数据缺失,那么补上就好了。
首先判断能不能从源头上直接补上,这部分的数据缺失太多,是否研发那边某个埋点的功能异常,导致一些数据无法上报,这个时候需要找研发对接。
如果是正常的数据丢失率例如1%-2%左右,那么可以具体通过一下一些方式不上数据:
- 通过其他信息补全,例如使用身份证件号推算性别、籍贯、出生日期、年龄等
- 通过前后数据补齐,例如时间序列数据确实了,可以使用前后的均值,缺的多了,可以使用平滑等处理。均值、中位数,或者自动向上或者向下补齐都是比较常用的方法。
- 实在补不全的,虽然很可惜,但也必须要剔除。但是不要删掉,没准以后用的上。
sql处理方式
#查看comm字段缺失数量
select sum(comm is null) from emp;
# 平均值填充
select ifnull(comm,(select avg(comm) from emp)) from emp;
# 也可以使用coalesce()函数,该函数将多个表达式或列作为参数,并返回第一个非空的值
select coalesce(comm,0) from emp; # 将null值填充为0
数据的唯一性
思路:去除重复记录,只保留一条。
去重的方法有:
- 按主键去重,用sql 『去除重复记录』即可。
- 按规则去重,编写一系列规则,对重复情况复杂的数据进行去重。例如不同渠道来的客户数据,可以通过相同的关键信息进行匹配,合并去重。
sql处理方式
# 去重单个字段
select distinct comm from emp;
# 使用group by + 聚合函数例如max,min,any_value
# 去重多个字段,设定一个student表,其中,同一个学生可能有两个age值
select name,any_value(age) from student group by name
select name,max(age) from student group by name
any_value()会选择被分到同一组的数据里第一条数据的指定列值作为返回数据
数据的权威性
思路:用最权威的那个渠道的数据
方法:对不同渠道设定权威级别
数据的合法性问题
思路:设定判定规则
- 设定强制合法规则,凡是不在此规则范围内的,强制设为最大值,或者判为无效,剔除
- 字段类型合法规则:日期字段格式为『2010-10-10』
- 字段内容合法规则:性别 in (男、女、未知);出生日期<=今天
- 设定告警规则,凡是不再此规则范围内的,进行告警,然后人工处理
- 告警规则:年龄 > 110
- 离群值人工特殊处理,使用分箱、聚类、回归、等方法发现离群值
sql处理方式
# 使用where条件进行限制
select name,sex,age from student
where sex in ("男","女","未知")
and age between 0 and 110
数据的一致性问题
思路:建立元数据体系,包括但不限于:指标体系(度量)、维度(分组、统计口径)、单位、频度、数据。
tips:如果数据质量问题比较严重,建议跟技术团队好好聊聊。
供应算法原料的数据处理方式,下一篇文章见。
数据清洗必须会的一些方法 - sql篇相关推荐
- 系统安装SQL Sever2000后1433端口未开放,如何打开1433端口的解决方法 这篇文章主要针对Win2003系统安装SQL Sever2000后1433端口未开放,如何打开1433端口的解决
系统安装SQL Sever2000后1433端口未开放,如何打开1433端口的解决方法 这篇文章主要针对Win2003系统安装SQL Sever2000后1433端口未开放,如何打开1433端口的解决 ...
- 力扣刷题学习SQL篇——1-8 查询(按日期分组销售产品——利用聚合函数GROUP_CONCAT)
力扣刷题学习SQL篇--1-8 查询(按日期分组销售产品--利用聚合函数GROUP_CONCAT) 1.题目 2.解法 3.group_concat() 1.题目 题目链接:https://leetc ...
- vue html引入资源dev下404,webpack vue 项目打包生成的文件,资源文件报404问题的修复方法(总结篇)...
最近在使用webpack + vue做个人娱乐项目时,发现npm run build后,css js img静态资源文件均找不到路径,报404错误...网上查找了一堆解决办法,总结如下 一.首先修改c ...
- 语句 查询每个人每个科目的最高分_转行数据分析师专栏(SQL篇)-05多表查询...
数据表(4张)及数据情况: 搭建数据表数据参考: 空杯希望:转行数据分析师专栏(SQL篇)-01SQL入门zhuanlan.zhihu.com 一.表的加法 1.先新建一个表course1(和cou ...
- vue项目引入CNZZ数据专家(方法汇总篇)
vue项目引入CNZZ数据专家(方法汇总篇) 很多网站都有cnzz数据统计,用于分析网站页面受访情况. 今天就来备注一下开发经验: vue如何集成cnzz数据专家进行受访记录? 友盟+CNZZ官方文档 ...
- 解决方法:SQL Server 检测到基于一致性的逻辑 I/O 错误 校验和不正
解决方法:SQL Server 检测到基于一致性的逻辑 I/O 错误 校验和不正 参考文章: (1)解决方法:SQL Server 检测到基于一致性的逻辑 I/O 错误 校验和不正 (2)https: ...
- Windows变慢原因分析及解决方法·系统篇
Windows变慢原因分析及解决方法·系统篇 系统加速 一 [Windows 98 ] 1.不要加载太多随机启动程序 不要在开机时载入太多不必要的随机启动程序.选择"开始→程序→附件→系统工 ...
- 牛客网刷题之SQL篇:非技术快速入门39T
导航 前序 一.简单的关键字练习 1-10 二.知识点复习之 ==运算符== 1.算数运算符 2.比较运算符 3.逻辑运算符 4.位运算符 三.10-28T 0.简单题总结 1. SQL18 ==分组 ...
- 2023年美赛论文写作方法——图表篇:美赛O奖中那些好看的图表是如何制作的?
思路:永久更新,全网最新最全,持续更新中,查看最下方QQ群获取. 2023年美赛论文写作方法--图表篇:美赛O奖中那些好看的图表是如何制作的? 相信很多关注七七的小伙伴们都知道数模论文最重要的是:简洁 ...
最新文章
- URI,URL和URN有什么区别?
- 数据库系统概论:第一章 绪论
- oracle sql developer sid,登录 Oracle SQL Developer
- 官方系统镜像烧写(windows下使用OTG)
- 【数据结构与算法】二叉堆V2.0的Java实现
- 多媒体技术基础及应用
- js调用android手写输入法,手机进入页面,js调取软键盘
- JDK Dynamic Proxy_JDK动态代理
- 一款超级实用的SuperLayout
- Illustrator 教程,如何在 Illustrator 中添加文本段落?
- 设置eclipse主题
- IMX462 Sensor 对接HI3559A
- JavaScript快速基础入门
- UCOIII时间片轮转调度
- Ti的C28x系列的DSP(28069)使用经验,SCI与RS485(ADM2587EBRWZ)
- 基于英雄联盟寻路背景的A星算法及python实现
- 【QT】FillRect填充的区域实现部分区域透明
- 刷脸支付实现人与钱包或银行卡的合二为一
- 数据、变量、内存三者之间的关系
- windows server2012R2 apache+mod_wsgi+django
热门文章
- BZOJ1567 [JSOI2008]Blue Mary的战役地图
- 2023陕西省赛-Crypto
- ATF启动(二):BL1
- 关键词分析应包括哪些内容?
- 关于学习并写完成了一个安卓小demo的小小记录
- Unity 之 安卓堆栈跟踪和日志工具 (Android Logcat | 符号表解析Bugly捕获)
- 中国锂电材料产业发展方向与运行前景调研报告2021年版
- 第二章 1位全加器的传输延迟时间计算
- c语言函数前加long的作用,C语言中longlong型数据怎么输出,能详细说明一下long与long long的区别吗?...
- 使用EXCEL计算并绘制EMA指标