python中，使用3σ原则来删除数据中的异常值

MBA智库对3σ原则的描述：

σ代表标准差,μ代表均值

样本数据服从正态分布的情况下

数值分布在（μ-σ,μ+σ)中的概率为0.6826

数值分布在（μ-2σ,μ+2σ)中的概率为0.9544

数值分布在（μ-3σ,μ+3σ)中的概率为0.9974

可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%。

在python中实现

#用numpy随机生成100个服从正态分布的随机数
num=np.random.randn(100)
#随机插入两个异常值进去，此时num.shape[0]==102
np.apend(num,[10,20])#设定法则的左右边界
left=num.mean()-3*num.std()
right=num.mean()+3*num.std()#获取在范围内的数据
new_num=num[(left<num)&(num<right)]
new_num.shape
#结果为100，已经剔除了刚开始插入的两个异常值

python中，使用3σ原则来删除数据中的异常值相关推荐

R语言lm函数拟合多项式回归模型、删除数据中的异常样本outlier、之后诊断模型（ diagnostics）、使用plot函数打印回归模型的QQ图、残差拟合图、标度-位置图、残差与杠杆关系图
R语言使用lm函数拟合多项式回归模型( Polynomial regression).删除数据中的异常样本(outliser).之后再次诊断模型(Regression diagnostics).使用p ...
Matlab语句：rmoutliers（检测并删除数据中的离群值）
结果语法 B = rmoutliers(A) B = rmoutliers(A,method) B = rmoutliers(A,'percentiles',threshold) B = rmout ...
Excel表格中如何找出并替换数据中某一固定范围内的值（包括空值）
Excel表格中如何找出并替换数据中某一固定范围内的值(包括空值) 一.问题介绍二.方法介绍 1.选中数据 2.按住Ctrl+H键,调出替换窗口 3.输入 " * ",并点击查找 ...
vue 中把后台传过来的数据中的数字转换为汉字
一.vue 中把后台传过来的数据中的数字转换为汉字 v-if ="" 冒号里面写遍历到的数据可以直接用代码如下: template <tbody><tr ...
删除数组中某个指定元素或删除数组中某个对象元素
ES6--删除数组中某个指定元素或删除数组中某个对象 1.删除数组中某个指定元素 2.删除数组中的某个对象 1.删除数组中某个指定元素 let index = this.array.indexOf(n ...
python mysql批量更新_Python批量删除mysql中千万级大量数据的脚本分享
场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
Swift 中使用 SQLite——修改和删除数据
本文主要介绍在SQLite中修改数据.删除数据: 更新记录 /// 将当前对象信息更新到数据库 /// /// - returns: 是否成功 func updatePerson() -> Bo ...
python删除文本中指定内容_Python实现删除文件中含“指定内容”的行示例
本文实例讲述了Python实现删除文件中含指定内容的行.分享给大家供大家参考,具体如下: #!/bin/env python import shutil,sys,os darray = [ " ...
php删除session中的值,php如何删除session中数据
php删除session中数据,我们可以通过PHP中的特定函数session_destroy()等函数来实现删除操作. 首先大家要简单了解下http无状态协议是什么? HTTP无状态协议,是指协议对于 ...

python中，使用3σ原则来删除数据中的异常值

python中，使用3σ原则来删除数据中的异常值相关推荐

最新文章

热门文章