【Pytorch-从一团乱麻到入门】：5、模型效果评估指标：ROC-AUC、PR-AUC及可能遇到的问题(2)

AUC的计算属实隐藏着无数的坑，一旦遇到就得吭哧吭哧排查很久，在次进行记录，给走过路过的小伙伴们提个醒。

1、Bug如下：

如果遇到ROC-AUC数值出现多个0.5，那么极有可能是数据本身的问题，例如：当预测类别只有一类时，计算ROC-AUC会得到0.5 ！

代码如下：

import numpy as np
from sklearn import metrics
from sklearn.metrics import precision_recall_curve,auc,accuracy_scoreture_lab=[1,1,1,1,1,0,0,0,0]
pre_lab=[0,0,0,0,0,0,0,0,0]print("ture_lab 为0：",ture_lab.count(0))
print("pre_lab 为1：",pre_lab.count(1))
print("pre_lab 为0：",pre_lab.count(0))from sklearn.metrics import precision_recall_curve,auc,roc_auc_score
precision, recall, thresholds = precision_recall_curve(ture_lab,pre_lab)
auc_precision_recall = auc(recall, precision)roc_auc=roc_auc_score(ture_lab, pre_lab)stat="precision:"+str(precision)+"\nrecall:"+str(recall)+"\nthresholds:"+str(thresholds)+"\nauc_precision_recall:"+str(auc_precision_recall)+"\nROC-AUC:"+str(roc_auc)
print(stat)

输出为：

ture_lab 为0： 4
pre_lab 为1： 0
pre_lab 为0： 9
precision:[0.55555556 1.        ]
recall:[1. 0.]
thresholds:[0]
auc_precision_recall:0.7777777777777778
ROC-AUC:0.5

必然，这个ROC-AUC值是不对的，需要警惕！

2、解决方法：

避免数据不平衡情况，或者在代码中加入判断行，进行极端条件警示和定义即可。

【Pytorch-从一团乱麻到入门】：5、模型效果评估指标：ROC-AUC、PR-AUC及可能遇到的问题(2)相关推荐

【Pytorch-从一团乱麻到入门】：4、模型效果评估指标：ROC-AUC、PR-AUC及可能遇到的问题(1)
1.ROC-AUC 和PR-AUC定义 AUC: 随机抽出一对样本(一个正样本,一个负样本),然后用训练得到的分类器来对这两个样本进行预测,预测得到正样本的概率大于负样本概率的概率. ROC-AUC ...
【Pytorch-从一团乱麻到入门】：3、模型效果评估指标：ROC、AUC、precision、recall
在构建模型中,我们经常会用到AUC.ROC等指标来进行模型效果评估 ROC全称是"受试者工作特征"(Receiver Operating Characteristic).ROC曲线 ...
模型效果评估指标（ROC、AUC/KS、Lift、PSI）
以二分类问题为例混淆矩阵(Confusion Matrix) 对测试集数据进行预测,得到下列混淆矩阵中的数据注:TP.FN.FP.TN以预测的结果是否准确来命名. 预测模型评估指标的本质是从模型预 ...
回归和分类模型性能评估指标MSE,MAE,PR,ROC,AUC
文章目录 0. 模型评估是什么,为什么 1. 不同类型问题的评估指标 1.1 回归问题 1.2 分类问题 1.2.1 准确率和错误率 1.2.2 精确率和召回率 1.2.3 PR曲线图 1.2.4 F ...
机器学习模型评估指标 - ROC曲线和AUC值
机器学习算法-随机森林初探(1) 随机森林拖了这么久,终于到实战了.先分享很多套用于机器学习的多种癌症表达数据集 https://file.biolab.si/biolab/supp/bi-cance ...
机器学习第十篇：如何评价模型效果评估
前言前面的推文中介绍了几种常用的机器学习算法,每个算法都有各自的优劣势,我们应该选择根据每个算法的优劣势去合理的选择适合我们需求的算法,以此达到效果最优,那么什么样的效果才是最优的,用什么来衡量这个 ...
机器学习模型效果评估
总第96篇前言前面的推文中介绍了几种常用的机器学习算法,每个算法都有各自的优劣势,我们应该选择根据每个算法的优劣势去合理的选择适合我们需求的算法,以此达到效果最优,那么什么样的效果才是最优的,用什 ...
聚类效果评估指标总结
前言实际工作中经常会用到一些聚类算法对一些数据进行聚类处理,如何评估每次聚类效果的好坏?可选的方法有1.根据一些聚类效果的指标来评估:2.直接打点.今天就主要总结下这段时间了解的聚类效果评估指标.废 ...
关于模型的评估指标（超详细）
文章目录正负样本的选择标准评估指标回归问题的评估指标 SSE 和方差均方误差(MSE) 均方根误差(RMSE) R Squared 分类问题的评估指标错误率召回率(查全率) 精确率(查准率 ...

【Pytorch-从一团乱麻到入门】：5、模型效果评估指标：ROC-AUC、PR-AUC及可能遇到的问题(2)

【Pytorch-从一团乱麻到入门】：5、模型效果评估指标：ROC-AUC、PR-AUC及可能遇到的问题(2)相关推荐

最新文章

热门文章