评价指标

  • VOTlt
    • 预测值与真实值的四种关系
    • 精度(precision,Pr)
    • 召回率(recall,Re)
    • F-score
    • Pr和Re之间trade off的解释

VOTlt

预测值与真实值的四种关系

真正例(true positive,TP):正样本被认为是正样本,yes。
真负例(true negative,TN):负样本被认为是负样本,yes。
假正例(false positive,FP):负样本被认为是正样本,误检。
假负例(false positive,FN):正样本被认为是负样本,漏检。

精度(precision,Pr)

计算公式: P r = T P T P + F P Pr=\frac{TP}{TP+FP} Pr=TP+FPTP​
解释:预测的结果中,确实是正确的概率。精度越大误检越少。

召回率(recall,Re)

计算公式: R e = T P T P + F N Re=\frac{TP}{TP+FN} Re=TP+FNTP​
解释:结果预测出了多少正样本。召回率越大漏检越少。

F-score

计算公式: F = 2 ⋅ P r ⋅ R e P r + R e F = 2 \cdot \frac{Pr \cdot Re}{Pr + Re} F=2⋅Pr+RePr⋅Re​ ( F 1 F_1 F1​score)
解释:高Pr和高Re难以兼得,所以以F-score反映跟踪器的综合性能。

Pr和Re之间trade off的解释

简单来讲,提高Pr和提高Re存在以下的矛盾:
增加Pr的关键是,将分类条件定的苛刻一些,带来的坏处是:本来是正样本(但不那么明显)的被筛除掉;
增加Re的关键是,将分类条件定的松一些,带来的坏处是:疑似正样本的东西一股脑都进箩筐里了。

下面举例说明(例子较冗长)

(顺带一提:
准确率(accuracy,Acc)计算公式: A c c = T P + T N T P + T N + F P + F N Acc=\frac{TP+TN}{TP+TN+FP+FN} Acc=TP+TN+FP+FNTP+TN​
Acc、Pr和Re都可以在分类器效果不佳的情况下取得高分:
假设某数据集D包含1000个样本,其中50个是正样本,其余950个是负样本。(数据集正负样本分布不均较为常见))

1.一个简单的二分类器输出1000个预测结果,判断10个是正样本,990个是负样本。预测的10个正样本都是FP(误检),此时TP=0,TN=940,FP=10,FN=50。(一沓糊涂)
A c c = T P + T N T P + T N + F P + F N = 940 1000 = 94 % Acc=\frac{TP+TN}{TP+TN+FP+FN}=\frac{940}{1000}=94\% Acc=TP+TN+FP+FNTP+TN​=1000940​=94%
P r = T P T P + F P = 0 10 = 0 % Pr=\frac{TP}{TP+FP}=\frac{0}{10}=0\% Pr=TP+FPTP​=100​=0%
R e = T P T P + F N = 0 50 = 0 % Re=\frac{TP}{TP+FN}=\frac{0}{50}=0\% Re=TP+FNTP​=500​=0%
一般对于正样本的准确判断是更重要的,不过Acc对正负样本判断赋予的权值一致,在数据集正负样本分布不均的时候,Acc反映不出分类器性能。

2.判断200个是正样本,800个是负样本。预测的200个中,45个确实是正样本。此时,TP=45,TN=795,FP=155,FN=5。(放宽条件,不漏掉想检测出的目标)
P r = T P T P + F P = 45 200 = 22.5 % Pr=\frac{TP}{TP+FP}=\frac{45}{200}=22.5\% Pr=TP+FPTP​=20045​=22.5%
R e = T P T P + F N = 45 50 = 90 % Re=\frac{TP}{TP+FN}=\frac{45}{50}=90\% Re=TP+FNTP​=5045​=90%

3.判断35个是正样本,965个是负样本。预测的35个中,33个确实是正样本。此时,TP=33,TN=948,FP=2,FN=17。(严守条件,尽量测出的都是对的)
P r = T P T P + F P = 33 35 ≈ 94 % Pr=\frac{TP}{TP+FP}=\frac{33}{35}\approx94\% Pr=TP+FPTP​=3533​≈94%
R e = T P T P + F N = 33 50 = 66 % Re=\frac{TP}{TP+FN}=\frac{33}{50}=66\% Re=TP+FNTP​=5033​=66%

目标跟踪评价指标-精度Pr、召回率Re相关推荐

  1. 分类器MNIST交叉验证准确率、混淆矩阵、精度和召回率(PR曲线)、ROC曲线、多类别分类器、多标签分类、多输出分类

    本博客是在Jupyter Notebook下进行的编译. 目录 MNIST 训练一个二分类器 使用交叉验证测量精度 混淆矩阵 精度和召回率 精度/召回率权衡 ROC曲线 多类别分类器 错误分析 多标签 ...

  2. 机器学习中的性能指标:精度、召回率,PR曲线,ROC曲线和AUC,及示例代码

    机器学习中的性能指标:精度.召回率.PR曲线,ROC曲线和AUC 精度.召回率 基本概念 F-Score 度量曲线 PR曲线 ROC曲线 PR曲线和ROC曲线的比较 AUC 精度.召回率 基本概念 可 ...

  3. 中文分词评价指标——正确率、召回率和F1

    中文分词评价指标--正确率.召回率和F1 在机器学习中的模型评价指标有准确率(precision)召回率(recall)准确率(Accuracy)和F值. 二分类的混淆矩阵: 真实值\预测值 Posi ...

  4. 精度,精确率,召回率_了解并记住精度和召回率

    精度,精确率,召回率 Hello folks, greetings. So, maybe you are thinking what's so hard in precision and recall ...

  5. 准确率、精度和召回率

    原文链接 精度(查准率)和召回率(查全率)是衡量机器学习模型性能的重要指标,特别是数据集分布不平衡的案例中. 什么是分布不平衡的数据集? 倘若某人声称创建一个能够识别登上飞机的恐怖分子的模型,并且准确 ...

  6. python 计算召回率的程序_python实现计算精度、召回率和F1值

    python实现计算精度.召回率和F1值 摘要:在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy).召回率(recall)和F ...

  7. python实现计算精度、召回率和F1值

    python实现计算精度.召回率和F1值   摘要:在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy).召回率(recall) ...

  8. 机器学习算法评价指标 recall(召回率)、precision(精度)、F-measure(F值)、ROC曲线、RP曲线

    机器学习中算法评价指标总结 recall(召回率).precision(精度).F-measure.ROC曲线.RP曲线 在机器学习.数据挖掘.推荐系统完成建模之后,需要对模型的效果做评价. 业内目前 ...

  9. 评价指标——精确度,召回率,真阳率,假阳率,P-R曲线,ROC曲线,AUC

    1.定义 精确度(precision)/查准率:TP/(TP+FP)=TP/P    预测为真中,实际为正样本的概率 召回率(recall)/查全率:TP/(TP+FN)  正样本中,被识别为真的概率 ...

最新文章

  1. (转载)(官网)UE4--Character
  2. CMake命令之execute_process
  3. 整人之bat重启文件
  4. 协议森林14 逆袭 (CIDR与NAT)
  5. SpringAop @Pointcut(“@annotation“)\@Aspect练习
  6. 在虚拟机中ftp服务器的配置,ftp服务器在虚拟机中配置文件
  7. 用Excel教会你PID算法
  8. 从Excel文件中找出在TXT文件中没有出现的 行之_代码片段
  9. git clone 拉取github上面的代码报错:fatal: Authentication failed for xxx解决
  10. c语言用户给顺序表输入值,C语言与数据结构实验指导(删减程序版)课案.docx
  11. MT4布林轨道收缩开口变色指标
  12. 史上最简单的 SpringCloud 教程 | 终章
  13. mysql语句大全及例子_SQL语句大全实例教程.pdf
  14. 芭蕉树上第十二根芭蕉--opencv配置问题
  15. 高通msm8996平台上的pa电源管理(wsa881x)
  16. mysql 按时间累计计算_mysql查询——计算占比与累计占比
  17. WebApi系列~通过HttpClient来调用Web Api接口
  18. 海量数据相似数据查找方法(ANN):【高维稀疏向量的相似查找——MinHash, LSH, SimHash】【稠密向量的相似查找——Faiss、Annoy、ScaNN、Hnswlib】
  19. 儿童高脚椅、餐椅安全标准ASTM F404
  20. 试论我国农村剩余劳动力的转移

热门文章

  1. 3.24-3.25银行
  2. 家中这些地方保持干净,财神进来不再走!
  3. 《自由幻想》IP手游的设计思考与包装宣传
  4. 11.【Linux】Ubuntu安装JDK
  5. ubuntu下格式化sd卡
  6. 1018 _剪子包袱锤
  7. 微信小程序注册和制作简单页面
  8. Mybatis知识整理
  9. 爱情36技之一劳永逸
  10. java后台 amr格式音频转为mp3格式