机器学习的评价方法PRF

目前学界主流是使用精确率(Precision)、召回率(Recall)和 F 值(F-measure)来评价一个信息检索系统的质量的。这三个值通常放在一起进行考虑，因此也被称为PRF 评价方法。

假设参考样本中存在的信息条数为 all，系统抽取出的信息条数为 get_sys，其中抽取出的正确信息的条数为 current_sys，则精确率、召回率和 F 值的计算公式分别如式(2-23)、式(2-24)和式(2-25)所示。
????????? = ???????_???/???_??? (2-23)
?????? = ???????_???/??? (2-24)
? = ????????? ∗ ?????? ∗ (?2 + 1)/(????????? + ??????) ∗ ?2 (?2指的是?的平方) (2-25)
精确率主要是反映系统的准确程度，召回率主要是反映了系统的“查全率”。通常情况下，精确率和召回率会互相制约，例如，在极端情况下，系统只抽取出了一个正确的词，那么精确率就是 100%，但召回率会非常低；或是系统将所有可能
的结果都列举了出来，则召回率为 100%，但精确度也会很低。因此引入 F 值，它是精确率和召回率的调和平均，可以在整体上反映整个系统的抽取质量。如果取
? = 1，则 F 值变为最常见的 F1 值(F1-measure)的形式，如式(2-26)所示：
?1 = ????????? ∗ ?????? ∗ 2/(????????? + ??????) (2-26)
本文实验部分评测均使用 F1 值作为评测指标。例如，有如下语句：
“采矿冶金和机械制造等传统产业是瑞典经济的重要支柱。”
其参考的切分结果为：
“采矿冶金和机械制造等传统产业是瑞典经济的重要支柱。”
分词系统给出的结果为：
“采矿冶金和机械制造等传统产业是瑞典经济的重要支柱。”
可以得到，参考结果中的词个数 all=15，待测结果中的词个数 get_sys=13，其中正确的词个数 current_sys=11，
因此可以计算得到精确率为11/13 ≈ 84.62%，
召回率为11/15 ≈ 73.33%，F1 值为84.62% × 73.33% × 2/(84.62% + 73.33%) ≈78.57%。

机器学习的评价方法PRF相关推荐

对《基于机器学习的区域滑坡危险性评价方法综述》阅读的总结
对<基于机器学习的区域滑坡危险性评价方法综述>阅读的总结 1.摘要这篇综述主要系统阐述了:作者通过阅读文献,总结了基于机器学习技术解决滑坡危险性评价方法:可以分为 1.评价因子选择 ...
机器学习第10天：模型评价方法及代码实现
文章目录一.分类评价指标 1.精确率(Precision) 2.召回率(Recall) 3.准确率(Accuracy) 4.F1_score 二.回归评价指标 1.平方根误差(RMSE) 2.均方误 ...
音视频技术：视频质量评价方法简介
视频质量评估(VQA)一直是个很活跃的研究领域,原因其一是业内一直缺少一种统一且准确的评估标准,其二是影响视频质量的因素过多,且包含很多主观因素,难以客观.定量地评价.经过这么多年的研究,已经诞生了非 ...
音视频技术：视频质量评价方法简介 1
视频质量评估(VQA)一直是个很活跃的研究领域,原因其一是业内一直缺少一种统一且准确的评估标准,其二是影响视频质量的因素过多,且包含很多主观因素,难以客观.定量地评价.经过这么多年的研究,已经诞生了非 ...
视频质量评价方法简介
周鑫 2017年毕业于浙江大学,读研期间主要进行视频编码相关研究,目前在通信与视频部门进行转码引擎相关研发. 作者简介 ●●● 引言视频质量评估(VQA)一直是个很活跃的研究领域,原因其一是业内一直 ...
KDD 2011 最佳工业论文中机器学习的实践方法-翻译
作者:黄永刚 Practical machine learning tricks from the KDD 2011 best industry paper 原文链接:http://blog.davi ...
python程序题求roc-auc是一种常用的模型评价指标_模型评价方法
第五章模型评价方法 5.1 模型的评价方法介绍 5.1.1~5 accuracy,precision,recall,F1-score,ROC曲线分别画图举例,要说出应用场景,例如什么情况用什么评价 ...
图像质量评价方法PSNR+SSIM评估指标SROCC,PLCC
图像质量评价方法PSNR+SSIM&&评估指标SROCC,PLCC ssim的计算里面有高斯模糊,为了快速计算,先对每个小块进行计算,然后计算所有块的平均值.可以参考源代码实现,而且代 ...
机器学习--机器学习的基本方法
文章目录 1.1统计分析 1.1.1 统计基础 1.1.2 常见的概率分布 2.1.3参数估计 1.1.4 假设与检验 1.1.5线性回归 1.1.6逻辑回归 1.1.7判别分析 1.1.8 非线性判 ...

机器学习的评价方法PRF

目前学界主流是使用精确率(Precision)、召回率(Recall)和 F 值(F-measure)来评价一个信息检索系统的质量的。这三个值通常放在一起进行考虑，因此也被称为PRF 评价方法。

机器学习的评价方法PRF相关推荐

最新文章

热门文章