深度学习论文中的黑话总结

最近做毕业设计的时候需要大量阅读论文，在阅读的过程中难免会遇到反复出现却又不认识的词汇，这些词汇有本身的含义，又不是像Convolutional Neural Network这种专业词语，一般是缩写或者比喻，对于初学者有的时候很难理解，所以在这里做一个总结。

SOTA: State-Of-The-Art, 即最前沿的研究成果。论文说提出的算法表现超过了SOTA算法，就是说比目前已知表现最好的算法效果更好。
Vanilla Model: Vanilla的模型指的是最简单、最原始的模型，没有经过任何升级或修改。这里可以参考Wikipedia：

In computer science, vanilla is the term used to refer when computer software and sometimes also other computing-related systems like computer hardware or algorithms are not customized from their original form, i.e., they are used without any customizations or updates applied to them. Vanilla software has become a widespread de facto industry standard, widely used by businesses and individuals. The term comes from the traditional standard flavor of ice cream, vanilla. According to Eric S. Raymond’s The New Hacker’s Dictionary, “vanilla” means more “default” than “ordinary”.

在计算机科学中，术语vanilla被用来形容计算机软件，或是例如计算机硬件和算法等计算相关的系统没有在最初版本的基础上进行修改，也就是说，它们在使用时没有经过任何自定义或修改。Vanilla软件已经成为了一种事实上广为流传的工业标准，被企业和个人广泛应用。该术语来自冰淇凌最经典的口味，香草(vanilla)。根据Eric S. Raymond的The New Hacker’s Dictionary，vanilla的意思相比于"原始"，更偏向于"默认"。

Backbone: Backbone原本指人的脊骨，在这里指计算机视觉模型提取特征的部分，或者是在全连接网络之前的结构 (例如卷积层、池化层的各种排列)。因为该部分对计算机视觉的任务非常重要，就好像人的脊骨一样，支撑着人完成各种动作。
Saturation: Saturation原本是饱和的意思，这里指在使用Sigmoid或者tanh作为激活函数时，因为输入值过大或过小导致梯度消失，难以对损失函数进行优化的现象。

如上图所示，sigmoid函数和tanh函数作为激活函数，在数值过大或过小的时候梯度都趋近于0。详细可以阅读Xavier Glorot et al., Understanding the difficulty of training deep feedforward neural networks。

Perturbation：多数是指测试模型鲁棒性的时候，会对模型的输入添加某种算法生成的随机扰动，例如：

(图片来源：Bhojanapalli et al. Understanding the Robustness of Transformers for Image Classification)
例如上图中第2、3、4列的图片，叫做perturbation，是对原图片生成的噪声。

trivial：数学和物理界的术语，翻译为“平凡的”，一般指内容或结构比较简单

(未来遇到其他术语会持续更新)

深度学习论文中的黑话总结相关推荐

深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4<Optimal Speed and Accuracy of Object Detection> Abstract 摘要 1. In ...
深度学习论文阅读目标检测篇（五）中英对照版：YOLOv2《 YOLO9000: Better, Faster, Stronger》
深度学习论文阅读目标检测篇(五)中文版:YOLOv2< YOLO9000: Better, Faster, Stronger> Abstract 摘要 1. Introduction 1. ...
Github标星24k，127篇经典论文下载，这份深度学习论文阅读路线图不容错过
作者 | Floodsung 翻译 | 黄海广来源 | 机器学习初学者(ID:ai-start-com) [导读]如果你是深度学习领域的新手,那么你可能会遇到的第一个问题是"我应该从哪篇 ...
深度学习论文阅读路线图
https://www.toutiao.com/a6703859415763649031/ 作者:floodsun编译:ronghuaiyang 这是作者一年前整理的东西,有些最新的论文没有包含进去, ...
全球30篇最热门的计算机视觉和深度学习论文
全球30篇最热门的计算机视觉和深度学习论文 2016-06-23分类:机器学习评论(0) 大数据交流QQ群,汇聚2万大数据爱好者.加入,开启你的数据江湖!! 这是一份被国外专家引用最多的计算机视觉和深 ...
【AI初识境】深度学习模型中的Normalization，你懂了多少？
文章首发于微信公众号<有三AI> [AI初识境]深度学习模型中的Normalization,你懂了多少? 这是<AI初识境>第6篇,这次我们说说Normalization.所谓 ...
AI基础：深度学习论文阅读路线（127篇经典论文下载）
0.导语作者:Floodsung 出处:https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap 翻译:黄海广如果您是深度 ...
寻找下一款Prisma APP：深度学习在图像处理中的应用探讨
在9月23日到9月24日的MDCC 2016年中国移动者开发大会"人工智能与机器人"专场中,阿里云技术专家周昌进行了题为<寻找下一款Prisma APP:深度学习在图像处理中 ...
深度学习推荐系统中各类流行的Embedding方法
Embedding技术概览: 对其它Embedding技术不熟悉,可以看我的上一篇文章:深度学习推荐系统中各类流行的Embedding方法(上) Graph Embedding简介 Word2Vec和 ...

深度学习论文中的黑话总结

深度学习论文中的黑话总结相关推荐

最新文章

热门文章