神经网络-入门3-术语

为什么选择神经网络

权值共亨连接稀疏性特征获取能力强不易陷入局部最优

损失函数 loss

在模型训练中，衡量预测值与真实值之间的误差

也叫目标函数 obejct functioin，代价函数 cost function

大致可分为两种:回归损失(针对连续型变量)和分类损失(针对离散型变量)。

优化函数 optimization

求解模型参数，试图使损失函数最小化

注意：

当模型和损失函数形式较为简单时，损失函数最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution），不需要用到优化函数。

然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

常见的优化函数及区别：

神经网络优化算法：梯度下降法、Momentum、RMSprop和Adam - Jiax - 博客园 (cnblogs.com)

前向传播 forward

按输入层到输出层的顺序，依次计算并存储模型的中间变量

反向传播 backword

按输出层到输入层的顺序，依次计算

神经网络-入门3-术语相关推荐

【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（2）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](2) Graphs and where to find them 图以及在 ...
无人驾驶汽车系统入门（十二）——卷积神经网络入门，基于深度学习的车辆实时检测
无人驾驶汽车系统入门(十二)--卷积神经网络入门,基于深度学习的车辆实时检测上篇文章我们讲到能否尽可能利用上图像的二维特征来设计神经网络,以此来进一步提高识别的精度.在这篇博客中,我们学习一类专门用 ...
神经网络入门：正反向传播推导、CNN 初识
本文来自作者 sherry 在 GitChat 上分享「神经网络入门:正反向传播推导.CNN 初识」编辑 | 伏特加单个神经元结构对于单个神经元,如果我们给每一个输入一个权重,例如有三个输入( ...
（一）神经网络入门之线性回归
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/0da... 这篇教程是翻译Peter R ...
感知机模型[神经网络入门]
感知机模型为神经网络入门所学 O = f(∑wij * Sj - θi) 利用感知机,模拟一个简单的二值逻辑加法测试数据: x1 x2 y 1 1 1 1 0 1 0 1 ...
[Python人工智能] 一.TensorFlow环境搭建及神经网络入门
从本篇文章开始,作者正式开始研究Python深度学习.神经网络及人工智能相关知识.第一篇文章主要讲解神经网络基础概念,同时讲解TensorFlow2.0的安装过程及基础用法,主要结合作者之前的博客和& ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（7）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](7) Into the Weeds Other types of grap ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（5）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](5) Graph Neural Networks 图神经网络 Now th ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（4）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](4) The challenges of using graphs in ...

神经网络-入门3-术语

神经网络-入门3-术语相关推荐

最新文章

热门文章