深度学习自学（二十）：SmoothL1 和 Softmax交叉熵

整理的人脸系列学习经验：包括人脸检测、人脸关键点检测、人脸优选、人脸对齐、人脸特征提取等过程总结，有需要的可以参考，仅供学习，请勿盗用。https://blog.csdn.net/TheDayIn_CSDN/article/details/93199307

分类采用 Softmax交叉熵，回归采用稳定的 Smooth L1

思路：

做人脸检测过程中遇到人脸分类和回归损失函数，这里简单介绍。

一、SmoothL1

Smooth L1

相比于L1损失函数，可以收敛得更快。
相比于L2损失函数，对离群点、异常值不敏感，梯度变化相对更小，训练时不容易跑飞。

二、Softmax

softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。

softmax函数的公式是这种形式：

深度学习自学（二十）：SmoothL1 和 Softmax交叉熵相关推荐

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
动手学深度学习（二十二）——GoogLeNet：CNN经典模型（五）
文章目录 1. 含并行连结的网络(GoogLeNet) 1.1 Inception块 1.2 GoogLeNet模型 2. 动手实现简化的GoogLeNet模型 2.1 实现Inception块 2. ...
深度学习（二十八）——SOM, Group Normalization, MobileNet, 花式卷积进阶
RBM & DBN & Deep Autoencoder(续) DBN RBM不仅可以单独使用,也可以堆叠起来形成Deep Belief Nets(DBNs),其中每个RBM层都与其前 ...
系统学习深度学习（二十二）--CNN经典模型总结
转自:http://www.open-open.com/lib/view/open1473213789568.html 参考:http://blog.csdn.net/qq_17754181/arti ...
深度学习（二十五）基于Mutil-Scale CNN的图片语义分割、法向量估计-ICCV 2015
基于Mutil-Scale CNN的图片语义分割.法向量估计原文地址:http://blog.csdn.net/hjimce/article/details/50443995 作者:hjimce 一 ...
深度学习（二十）基于Overfeat的物体检测-2014 ICLR-未完待续
基于Overfeat的物体检测原文地址:http://blog.csdn.net/hjimce/article/details/50187881 作者:hjimce 一.相关理论本篇博文主要讲解经 ...
深度学习（二十九）——Normalization进阶, CTC
Normalization进阶和Batch Normalization类似的概念还有Weight Normalization和Layer Normalization. Batch Normaliza ...
深度学习（二十五）基于Mutil-Scale CNN的图片语义分割、法向量估计
基于Mutil-Scale CNN的图片语义分割.法向量估计原文地址:http://blog.csdn.net/hjimce/article/details/50443995 作者:hjimce 一 ...
深度学习（二十九）Batch Normalization 学习笔记
Batch Normalization 学习笔记原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一.背景意义 ...

深度学习自学（二十）：SmoothL1 和 Softmax交叉熵

一、SmoothL1

二、Softmax

深度学习自学（二十）：SmoothL1 和 Softmax交叉熵相关推荐

最新文章

热门文章