基本概念

评分函数Socres: 以输入x和权值Wi为自变量的一个函数，比如评价x属于某个分类的可能性的分值；
损失函数L：包含数据损失+规则化项损失；
数据损失中的每一项的损失Li: 如下所示的例子，求max(0, sj-syi+1)的和，即SVM损失。
- 为什么实用max这样的运算？答：为了增加非线性，因为生活中很多问题都不是线性的。
计算图：
- 由来：直接求解损失函数L对于W权值的导数，计算量较大，且更换一个损失函数式子，又需要重新推导，所以为了计算方便，人们提出了计算图和反向传播的计算方法。
- 表达形式：将输入输出作为变量，将运算作为节点依次正向画出计算过程的图，称之为计算图。
- 下图解释：如下所示，输入一个变量x, 一个权值W（相当于一层神经网络），经过*（乘法）运算得到评分函数s,再经过hinge loss(如SVM损失函数)计算得到“数据损失”，然后加上R(W)，即“规则化项损失”，得到最终得损失L。

深度学习笔记_评分函数/损失函数相关推荐

《深度学习笔记》——loss函数的学习笔记
1 loss的作用在南溪看来,loss函数是对目标target和预测prediction之间的一种距离度量的公式: 2 loss函数的设计原则此设计原则参考了距离的定义,(注意:距离跟范数是两个概 ...
深度学习笔记_毕设记录
这篇文章用来汇总准备本科毕设过程中遇到的一些问题.参考资料等,会随时更新,因为是给自己当笔记看的,出发点是方便自己以后随时取阅,可能不会非常详尽.欢迎指正. 目录深度学习相关的笔记深度学习各种模型 ...
Pytorch深度学习笔记（02）--损失函数、交叉熵、过拟合与欠拟合
目录一.损失函数二.交叉熵损失函数详解 1.交叉熵 2.信息量 3.信息熵 4.相对熵(KL散度) 5.交叉熵 6.交叉熵在单分类问题中的应用 7.总结: 三.过拟合和欠拟合通俗解释 1.过拟合 ...
数据库基础篇学习笔记_单行函数
单行函数文章目录单行函数 1. MySQL内置函数 1.1 单行函数 2. 数值函数 2.1 基本函数 2.2 角度与弧度互换函数 2.3 三角函数 2.4 指数与对数函数 2.5 进制间的转换 ...
深度学习新的采样方式和损失函数--论文笔记
深度学习新的采样方式和损失函数--论文笔记论文<Sampling matters in deep embedding learning> 论文地址:https://arxiv.org/p ...
octave深度学习_【深度学习笔记】（一）Octave
[深度学习笔记](一)Octave Octave是一种面向科学数学运算的原型语言,内置了强大的数学函数及图形展示工具.原型prototyping设计的意思是使用ovtave进行算法设计.实现.验证等过 ...
28 Oracle深度学习笔记——ORACLE自带DBMS函数包
28.Oracle深度学习笔记--ORACLE自带DBMS函数包欢迎转载,转载请标明出处:http://blog.csdn.net/notbaron/article/details/50830889 ...
28.Oracle深度学习笔记——ORACLE自带DBMS函数包
28.Oracle深度学习笔记--ORACLE自带DBMS函数包欢迎转载,转载请标明出处:http://blog.csdn.net/notbaron/article/details/50830889 ...
深度学习笔记其三：多层感知机和PYTORCH
深度学习笔记其三:多层感知机和PYTORCH 1. 多层感知机 1.1 隐藏层 1.1.1 线性模型可能会出错 1.1.2 在网络中加入隐藏层 1.1.3 从线性到非线性 1.1.4 通用近似定理 1 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...

深度学习笔记_评分函数/损失函数

基本概念

深度学习笔记_评分函数/损失函数相关推荐

最新文章

热门文章