深度学习的专业术语

作者：陈若愚
QQ：2389388826
日期：2020年2月26日

Abstract

最近在整理学术论文的过程中发现自己的专业术语不完全正确，因此做如下的整理。主要是围绕着深度学习技术，通过做过的东西延申其基本公式及英文表达。文本采用Markdown方式编辑[1]。

一、人工神经网络

1.人工神经网络：Artificially neural network

通常指仅由全连接层构成的神经网络

2.全连接层：Fully connected layer

3.隐层：Hiden layer

4.神经元：neuron / 节点：node

指每一层全连接层所含的参数个数

5.多层感知机：Multilayer Perceptron (MLP)

二、2D卷积神经网络

1. 前向传播： Forward Propagation

2. 卷积神经网络： Convolutional neural network

3. 卷积： Convolution

卷积步长：stride

填充：padding

填充是针对卷积后卷积层的receptive filed是否发生变化

4. 卷积运算： Convolution operation

5. 卷积核： Convolutional filter

6. 卷积层： Convolutional layer

7. 描述2D卷积卷积核大小：Kernel size / Receptive field

通常描述是卷积核的width和height的大小，比如3*3的卷积核，而与channel方向的卷积核长度无关，长度只与前一层卷积核个数有关。

8. 激活函数：Activation function

(1)Sigmoid:

(2)Tanh:

(3)Relu:

(4)Elu:

(5)Selu:

(6)Softplus:

(7)Softmax:

9. 最大池化：Max pooling

10. 平均池化：Mean pooling

11. BN: Batch Normalization

一种非常有效的正则化方法

12. Dropout

一种正则化方法

Exmaple:
In order to avoid over fitting prob- lem in the designed networks, we adopted the “Dropout” method to drop out 25% hidden neurons after the third fully connected layers.

13. L 2 L_{2} L2 loss / Suqared loss

14. MSE: Mean square error

15. L 2 L_{2} L2 正则化： L 2 L_{2} L2 regularization

16. 反向传播：backpropagation

17. 优化方法：Optimization

注：编程中的函数习惯用Optimizer，在学术写作尽量用Optimization,例如Adam optimization method

(1)Gradient Descent

(2)SGD

(3)Momentum

(4)Adagrad

(5)Adadelta

(6)RMSprop

(7)Adam

18. 学习率：Learning rate

19. 指数衰减学习率：Learning rate exponential decay

20. 训练步数：Step

经过一次优化为一步

21. 训练周期：Epoch

将数据集全部输入一轮回为一个epoch

22. 收敛：Convergence

当在训练神经网络时，准确率或者损失函数随训练步数的增加而变化很小时即为收敛

23. 回归：Regression

24. 分类：Classification

25. 交叉熵损失函数：Cross-entropy

常用于多分类任务的代价函数

26. 批量输入大小：Batch size

27. 学习曲线：Learning curve

28. 训练集，交叉验证集，测试集：Training data, cross-validation data, test data

29. 精度：Precise

多评价回归问题

30. 准确率：Accuracy

多评价分类问题

Reference

[1] https://www.zybuluo.com/mdeditor?url=https://www.zybuluo.com/static/editor/md-help.markdown

[2] https://developers.google.com/machine-learning/glossary#c

[3] https://acadgild.com/blog/data-science-glossary-deep-learning-key-terms

[4] https://www.analyticsvidhya.com/blog/2017/05/25-must-know-terms-concepts-for-beginners-in-deep-learning/

[5] Luo G , Dong S , Wang K , et al. Multi-Views Fusion CNN for Left Ventricular Volumes Estimation on Cardiac MR Images[J]. Biomedical Engineering, IEEE Transactions on, 2018, 65(9):1924-1934.

深度学习的基本专业术语相关推荐

深度学习常见的专业术语
(部分内容转载自网络,有修改) 激活函数(Activation Function) 为了让神经网络能够学习复杂的决策边界(decision boundary),我们在其一些层应用一个非线性激活函数.最 ...
干货丨详解深度学习的一些关键术语
深度学习已经成为编程界的一股潮流,因为其在许多领域取得了令人难以置信的成功,使其在研究和工业领域广受欢迎.那么到底什么是深度学习呢? 深度学习是应用深层神经网络技术:即利用具有多个隐藏层的神经网络结构 ...
深度学习中的专业英语词汇（by Youki）
1 前言 CV中有很多专有名词,Youki在这里记录一下~ 本文排版符号冒号:使用中文冒号:. 2 逻辑用语 w.r.t.:with respect to,关于,在--方面: refrain fro ...
[ 深度学习 ] 基础知识：深度学习的57个术语
转自:https://www.cnblogs.com/hmy-blog/p/6555939.html 激活函数(Activation Function) 为了让神经网络能够学习复杂的决策边界(deci ...
深度学习中的一些术语和概念
全连接的前馈神经网络 CNN(Convolutional Neural Network)--卷积神经网络,通常用于图像数据 RNN(Recurrent Neural Network)--循环神经网络递 ...
专业显卡深度学习_胜任专业学习工作领域，双11就买RTX显卡神舟战神游戏本
或许老玩家们都发现,除了"吃鸡"乃至"LOL"这种"老游戏"之外,这两年我们并没有迎来爆发式普及的电竞作品.换句话说,游戏电竞领域将进入常态 ...
人工智能（机器学习、深度学习等）专业名词、代码参数解释（持续更新）
说明:记录日常学习中遇到的专业名词,代码参数.既是自己的学习笔记,也供大伙交流学习. epoch:当一个完整的数据集中的所有训练样本在神经网络中都进行了一次正向传播和一次反向传播,这个过程称为一次ep ...
《临时笔记》一些深度学习中的英文术语的纪录
∇\nabla∇ 联系方式: e-mail: FesianXu@gmail.com QQ: 973926198 github: https://github.com/FesianXu 知乎专栏: 计算 ...
深度学习(9) 计算机专业方面的期刊介绍
转载自:http://www.cnblogs.com/growup/archive/2011/02/22/1971534.html 计算机专业方面的期刊介绍一.计算机科学期刊介绍计算机科学的pub ...

深度学习的基本专业术语