【ML】评估一个分类器：精确率和召回率（Evaluation of Classifier）

#1 准确率
如何评价一个分类器，最初印象肯定是越准确越好。比如，准确率为90 %准确率80%的分类器好吗？
答案是否定的。
对于一个平衡（正负样本各一半）的样本集，准确率是可以作为评估标准。
但是对于不平衡（正负样本比例不同）的数据集准确率的作用大打折扣。
如一个样本集：

正样本	负样本
999	1

此时，只要将分类器设置为全真则
accuracy=correctsamplestotalsamples=999999+1=99.9%accuracy=\frac {correct ~samples}{total ~samples}=\frac {999}{999+1}=99.9\%accuracy=total samplescorrect samples=999+1999=99.9%
由此可见，一个智障分类器，就可以把准确率提升到99.9%，但是显然这是没用的。
#2精确率和召回率
下面是经典的Contingency Table 也就是概率论中的两类错误。

	Correct	Not Correct
Selected	TP(True Positive)	FP(False Positive)
Not Selected	TN(True Negative)	FN(False Negative)

精确率：分类器分类为正确的的样本数中正确样本的比例
Precision=TPTP+FPPrecision=\frac{TP}{TP+FP}Precision=TP+FPTP
召回率：样本中正确的样本数中被分类器成功识别的比例
Recall=TPTP+TNRecall=\frac{TP}{TP+TN}Recall=TP+TNTP

For example :
原始的样本集：

原始	P	N	P	P	N	P	P	P	N	P
测试	P	P	P	N	P	P	P	N	P	P

下面计算下混淆矩阵

	Correct	Not Correct
Selected	TP=5	FP=3
Not Selected	TN=2	FN=0

则
precision=55+3=62.5%precision=\frac{5}{5+3}=62.5\%precision=5+35=62.5%
recall=55+2=71.4%recall=\frac{5}{5+2}=71.4\%recall=5+25=71.4%

tips：精确率和召回率是互斥的

如果召回率高，则分类器划分为正确的值多，但是错误的也多。这时候，分类器就是宁可错杀三千，决不放过一个的规则，这适用于疾病诊断类的系统，宁可无病认为有病，也不能有病认为无病，当然找到平衡最好。
如果精确率高，则分类器是严师出高徒模式，则用户划分为正确的样本少，精准性好，但是召回率就会变低。

#3 F1-measure
在一个系统中，既要考虑精确率又要考虑召回率的话，无疑这样的系统是复杂的，有没有办法将两种条件合并为一种呢？答案是肯定的。他就是F1-measure

F1−measure=2∗precision∗recallprecision+recallF1-measure=\frac {2*precision*recall}{precision +recall}F1−measure=precision+recall2∗precision∗recall

以上的案例中的f1-measure的值为
f1−measure=2∗0.625∗0.7140.625+0.714=66.6%f1-measure=\frac {2*0.625*0.714}{0.625 +0.714}=66.6\%f1−measure=0.625+0.7142∗0.625∗0.714=66.6%

欢迎点赞，有问题请留言

【ML】评估一个分类器：精确率和召回率（Evaluation of Classifier）相关推荐

视频|分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现
最近我们被客户要求撰写关于分类模型的研究报告,包括一些图形和统计输出. 本文将帮助您回答以下问题: ROC曲线是什么? 曲线下的面积是多少? 二元分类的决策阈值是多少? 分类模型可接受的 AUC值是多 ...
百面机器学习 #2 模型评估：0102 精确率与召回率，假阳性与真阳性率，PR曲线和ROC曲线
文章目录 1. P-R(Precision-Recall)曲线 F1 score 2. 平方根误差的局限性 3. ROC曲线 ROC曲线绘制 4. AUC predict Positive predi ...
机器学习之选择小样本交叉验证训练模型并使用精确率、召回率、F1分数和AUC值、画出ROC曲线评估
题目如下 (1)读入aviation数据集,设置MEMBER_NO为索引列:(4分) (2)剔除重复值.缺失值.(4分) (3)随机抽取500样本,切片特征X和标签Y:(4分) 因为调参很慢,所以这里 ...
python分类预测降低准确率_【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值...
[火炉炼AI]机器学习011-分类模型的评估:准确率,精确率,召回率,F1值 (本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19 ...
Python scikit-learn，分类模型的评估，精确率和召回率，classification_report
分类模型的评估标准一般最常见使用的是准确率(estimator.score()),即预测结果正确的百分比. 混淆矩阵: 准确率是相对所有分类结果:精确率.召回率.F1-score是相对于某一个分类的预 ...
python垃圾分类准确率计算公式_准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure...
机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision), ...
机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)
文章目录系列文章逻辑回归 1 逻辑回归介绍 1.1 逻辑回归原理输入激活函数 1.2 损失以及优化 2 逻辑回归API介绍 3 案例:肿瘤良性恶性预测 4 分类模型的评估 4.1 分类评估方法 ...
机器学习面试题集-图解准确率，精确率，召回率
https://www.toutiao.com/a6692359723615781389/ 今天进入第二章:模型评估 1. 什么是模型评估模型训练后要对其进行评估,看模型表现如何,哪里可以改进分类 ...
准确率、精确率、召回率、F值
准确率:正确的数量除以总数量准确率(accuracy),是一个用来衡量分类器预测结果与真实结果差异的一个指标,越接近于1说明分类结果越准确.举个例子,比如现在有一个猫狗图片分类器对100张图片进行分 ...

【ML】评估一个分类器：精确率和召回率（Evaluation of Classifier）

【ML】评估一个分类器：精确率和召回率（Evaluation of Classifier）相关推荐

最新文章

热门文章