深度学习知识点总结（一）

1编译 2训练集验证集测试集之间关系

3 Python 中list集合如何判断是否为空 4 tensorflow pytorch 区别

1编译

java语言的"编译期"分为前端编译和后端编译两个阶段。前端编译是指把*.java文件转变成*.class文件的过程; 后端编译(JIT, Just In Time Compiler)是指把字节码转变成机器码的过程。

在编译原理中, 将源代码编译成机器码, 主要经过下面几个步骤:

下面这张图是上面的概况：

2训练集验证集测试集之间关系

训练集（train set） —— 用于模型拟合的数据样本。

验证集（development set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。

在神经网络中，我们用验证数据集去寻找最优的网络深度（number of hidden layers)，或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量；

在普通的机器学习中常用的交叉验证（Cross Validation) 就是把训练数据集本身再细分成不同的验证数据集去训练模型。

测试集 —— 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。

拟合度（“R-squared”）拟合度检验是对已制作好的预测模型进行检验，比较它们的预测结果与实际发生情况的吻合程度。

泛化能力：经过训练的网络对于不是样本集的输入也能给出合适的输出，该性质称为泛化能力。

一个形象的比喻：

训练集-----------学生的课本；学生根据课本里的内容来掌握知识。

验证集------------作业，通过作业可以知道不同学生学习情况、进步的速度快慢。

测试集-----------考试，考的题是平常都没有见过，考察学生举一反三的能力。

传统上，一般三者切分的比例是：6：2：2，验证集并不是必须的。

3 Python 中list集合如何判断是否为空

方法一：

if len(list):

........

else:

...........

方法二

在Python中空 list 等同于 False，

所以可以这样写：

if list:

.........

else:

.........

4 tensorflow pytorch 区别

TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief [1] 。

Pytorch是基于python的科学计算包，为两类受众提供服务

作为Numpy的替换，让你可以使用GPU的算力

作为一个深度学习计算平台提供最大的计算灵活性与速度