AUC = 0.506031

AUC(area under the curve)是模型评估指标，特别是二分类模型使用的主要离线评测指标之一。

参考博客，AUC值是ROC曲线与x轴围成的面积。AUC的来源路线：混淆矩阵--ROC曲线--AUC

1.混淆矩阵(二分类)

T P R ( 真正例概率 ) = T P T P + F N TPR(真正例概率)={ \frac {TP} {TP+FN}} TPR(真正例概率)=TP+FNTP
F P R ( 假正例概率 ) = F P F P + T N FPR(假正例概率)={ \frac {FP} {FP+TN}} FPR(假正例概率)=FP+TNFP

当阈值（区分类别1,0的值）从1到0慢慢移动，产生很多对 (FPR,TPR)。以FPR为x轴，TFR为y轴的曲线就是ROC曲线，而AUC就是ROC曲线和x轴围成的面积。

AUC的值表示y=1和y=0的距离，也就是AUC越大，两个数据隔得越开，分类的准确率越大。我的AUC=0.506031，预测的准确率只有50%左右。

分类器选取阈值不同，分类的结果也会受到影响。使用AUC的话，考虑到了阈值变动，所以评估的效果更好。

AUPRC = 0.616219

PRC曲线是准确率和召回率的点连成的线。AUPRC=PRC曲线和x轴围成的面积。同AUC相同可以作为选取合适阈值的方法。

Best F1 = 0.780822

F1是分类问题的一个衡量指标。表示准确率（precision）和召回率（recall）的平均数。
F 1 = 2. p r e c i s i o n . r e c a l l p r e c i s i o n + r e c a l l F_1=2.{ \frac {precision.recall} {precision+recall}} F1=2.precision+recallprecision.recall

IoU = 0.216904

IoU=预测框和真实框的交并比：
I o U = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ IoU={ \frac {|A \bigcap B|} {|A\bigcup B|}} IoU=∣A⋃B∣∣A⋂B∣

机器学习之AUC、AUPRC、F1等评价指标的含义相关推荐

机器学习笔记（5）——模型评价指标
机器学习笔记(5)--模型评价指标本文部分图片来源网络或学术论文,文字部分来源网络与学术论文,仅供学习使用. 目录机器学习笔记(5)--模型评价指标 1.精确率.召回率.准确率.错误率混淆矩阵 ...
详细理解准确率、精准率、召回率，F1值等评价指标的含义
转载文章原博客地址:详解准确率.精确率.召回率.F1值等评价指标的含义机器学习问题之中,通常需要建立模型来解决具体问题,但对于模型的好坏,也就是模型的泛化能力,如何进行评估?我们可以定一些评价指标 ...
准确率，召回率，F1 值、ROC，AUC、mse,mape评价指标
在机器学习.数据挖掘领域,工业界往往会根据实际的业务场景拟定相应的业务指标.本文旨在一起学习比较经典的三大类评价指标,其中第一.二类主要用于分类场景.第三类主要用于回归预测场景,基本思路是从概念公式, ...
精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
文章目录摘要一.精确率.召回率.F函数.准确率和错误率 1.定义 2.区别与应用二.ROC曲线.P-R曲线.AUC 1.P-R曲线 2.ROC曲线 3.AUC 摘要在涉及机器学习领域的分类问题 ...
机器学习中的二分类问题评价指标之精确率、召回率、F1值通俗理解
引言:对于分类问题,我们在评估一个模型的好坏时,通常想到的是把该模型在测试集上分类结果正确的样本数量比上测试集的样本数量的比值结果,即准确率(精确率)作为评价准则.但除此之外,还有精确率和召回率作为二 ...
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
1 混淆矩阵 TP(true positive):表示样本的真实类别为正,最后预测得到的结果也为正: FP(false positive):表示样本的真实类别为负,最后预测得到的结果却为正: FN(f ...
ROC曲线的AUC（以及其他评价指标的简介）知识整理
相关评价指标在这片文章里有很好介绍信息检索(IR)的评价指标介绍 - 准确率.召回率.F1.mAP.ROC.AUC:http://blog.csdn.net/marising/article/det ...
机器学习备忘录 | AUC值的含义与计算方法
内容导读在机器学习领域, AUC 值经常用来评价一个二分类模型的训练效果,对于许多机器学习或者数据挖掘的从业者或在校学生来说, AUC 值的概念也经常被提起,但由于大多数时候我们都是借助一些软件包来 ...
【Python机器学习】聚类算法任务，评价指标SC、DBI、ZQ等系数详解和实战演示（附源码图文解释）
需要源码和数据集请点赞关注收藏后评论区留言私信~~~ 一.聚类任务设样本集S={x_1,x_2,-,x_m}包含m个未标记样本,样本x_i=(x_i^(1),x_i^(2),-,x_i^(n))是一 ...

机器学习之AUC、AUPRC、F1等评价指标的含义

AUC = 0.506031

AUPRC = 0.616219

Best F1 = 0.780822

IoU = 0.216904

机器学习之AUC、AUPRC、F1等评价指标的含义相关推荐

最新文章

热门文章