关于深度学习中Baseline, Benchmark, SOTA的理解

Baseline

释义：基线，起点

个人理解，baseline应该称为baseline model。你的工作中提出的模型new_model是基于先前工作模型A修改优化出来的，那么模型A称为你的工作的baseline model。

不同于先前工作的新模型，比如BERT（new）与LSTM在NLP任务中的比较，比如ViT作为backbone和CNN作为backbone在CV任务中的比较，也可以将先前工作的模型作为baseline。

The baseline is the measurement at a point when comparing facts in time.

baseline model还可以认为是一种底线模型，如果你的模型性能不如baseline model那么你的工作就没有任何意义。

Benchmark:

释义：基准，衡量指标

个人理解，benchmark是一个标准过程或者是一整套标准流程。上面的baseline着重强调baseline model，这个model只是benchmark这个过程的一部分。benchmark包含benchmark data，benchmark metrics等。在工作中，你的new_model想要论证是更好的，标准过程大致是，首先找好baseline，然后学习baseline model中的实验方法，数据集，评价指标等。比如数据集肯定要跟baseline model用一样的，评价指标F1，PPL(etc.)这些值也要跟baseline model保持一致，只有这样你的工作有提升时下结论才具有说服力。

The benchmark is the measurement of competition or standard results.(与baseline同为measurement但范围却有很大不同)

不管是数据集，评价方法等，都能体现benchmark的“标准”一词的含义。也就是说，你的实验条件，过程以及指标大家都要认可。

SOTA:

个人理解SOTA是结果导向。也就是说，SOTA指benchmark中的某个评价指标或者某些评价指标的数值结果达到了最好。

关于深度学习中Baseline, Benchmark, SOTA的理解相关推荐

深度学习中的Benchmark，Baseline，Backbone和SOTA的比较说明举例分析
1 Benchmark 1.1 中英文直译基准:水准点:衡量尺度 A benchmark is something whose quality or quantity is known and wh ...
深度学习中端到端的理解
非端到端相对于深度学习,传统机器学习的流程往往由多个独立的模块组成,比如在一个典型的自然语言处理(Natural Language Processing)问题中,包括分词.词性标注.句法分析.语义分 ...
深度学习中benchmark什么意思，例子
在深度学习中,"benchmark"通常指对不同的模型.算法或硬件进行性能测试和比较的过程.具体来说,benchmark可以帮助研究人员确定一个模型或算法的优劣,或者在不同的硬件平 ...
深度学习中的知识蒸馏技术(下)
本文概览: 写在前面: 这是一篇介绍知识蒸馏在推荐系统中应用的文章,关于知识蒸馏理论基础的详细介绍,请看我的这篇文章: 深度学习中的知识蒸馏技术(上) 1. 背景介绍 1.1 简述推荐系统架构如果从 ...
天大本科生论文入选CVPR 2022，实现深度学习长尾分类新SOTA
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达丰色发自凹非寺量子位 | 公众号 QbitAI 本科生搞科研到 ...
CVPR 2022 | 天大本科生论文入选！深度学习长尾分类新SOTA
文 | 丰色发自凹非寺源 | 量子位(QbitAI) 本科生搞科研到底能做出什么成绩? 最新被CVPR 2022收录的一篇论文中,提供了一种新思路来解决深度学习中长尾分布数据的分类问题,最终实现 ...
深度学习中 Batch Size 对训练过程的影响
作者 | 陈志远编辑丨极市平台之前面试过程中被问到过两个问题: (1)深度学习中batch size的大小对训练过程的影响是什么样的? (2)有些时候不可避免地要用超大batch,比如人脸识别,可 ...
深度学习这么调参训练_聊一聊深度学习中的调参技巧？
本期问题能否聊一聊深度学习中的调参技巧? 我们主要从以下几个方面来讲.1. 深度学习中有哪些参数需要调? 2. 深度学习在什么时候需要动用调参技巧?又如何调参? 3. 训练网络的一般过程是什么? 1. ...
全民 Transformer （一）: Attention 在深度学习中是如何发挥作用的
<Attention 在深度学习中是如何发挥作用的:理解序列模型中的 Attention> Transformer 的出现让 Deep Learning 出现了大一统的局面.Tran ...

关于深度学习中Baseline, Benchmark, SOTA的理解

Baseline

Benchmark:

SOTA:

关于深度学习中Baseline, Benchmark, SOTA的理解相关推荐

最新文章

热门文章