学习笔记: 源码 multinomial_logistic_loss

MultinomialLogisticLossLayer

对数损失函数： L = -log(P(Y|X))

softmax 的损失函数如下：

在处理分类问题的时候，当前一层输出了每一类的概率，那么则可以利用 MultinomialLogisticLossLayer 来计算 loss。

1. forward()

template <typename Dtype>
void MultinomialLogisticLossLayer<Dtype>::Forward_cpu(
...Dtype loss = 0;for (int i = 0; i < num; ++i) {int label = static_cast<int>(bottom_label[i]);Dtype prob = std::max(bottom_data[i * dim + label], Dtype(kLOG_THRESHOLD)); //kLOG_THRESHOLD = 1e-20;loss -= log(prob);  // 累加}top[0]->mutable_cpu_data()[0] = loss / num;  // 再求平均
}

2. backward()

template <typename Dtype>
void MultinomialLogisticLossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top, const vector<bool>& propagate_down,const vector<Blob<Dtype>*>& bottom) {
...caffe_set(bottom[0]->count(), Dtype(0), bottom_diff);  //除了 label 对应的bottom 项，其余bottom_diff 为 0  const Dtype scale = - top[0]->cpu_diff()[0] / num; // 此处top_diff = loss weight = 1, 则scale = -1/Nfor (int i = 0; i < num; ++i) {int label = static_cast<int>(bottom_label[i]);Dtype prob = std::max(bottom_data[i * dim + label], Dtype(kLOG_THRESHOLD));bottom_diff[i * dim + label] = scale / prob;
} } }

假设输入为a, 输出为 z. 前向和后向公式分别如下：

其中有N个样本，K个类别。

学习笔记: 源码 multinomial_logistic_loss_layer.cpp 略晓相关推荐

一箭双雕刷完阿里P8架构师spring学习笔记+源码剖析，涨薪8K
关于Spring的叙述: 我之前死磕spring的时候,刷各种资料看的我是一头雾水的,后面从阿里的P8架构师那里拿到这两份资料,从源码到案例详细的讲述了spring的各个细节,是我学Spring的启蒙 ...
MyBatis学习笔记-源码分析篇
引言 SQL 语句的执行涉及多个组件,其中比较重要的是 Executor. StatementHandler. ParameterHandler 和 ResultSetHandler. Executo ...
mysql数据库源码安装_学习笔记-源码安装mariadb 20210128
源码安装Mariadb数据库安装之前先检查一下空间: 1 [15:13:16 root@centos8 ~]#free -h(#检查空间)2 total used free shared buff/ ...
小姐姐笔记：我是如何学习简单源码拓展视野的
大家好,我是若川.这是我上周组织的源码共读纪年小姐姐的笔记,写得很好.所以分享给大家.欢迎加我微信 ruochuan12,进源码共读群.其他更多人的笔记可以阅读原文查看. 川哥的源码解读文章:据说 9 ...
React深入学习与源码解析笔记
***当前阶段的笔记 *** 「面向实习生阶段」https://www.aliyundrive.com/s/VTME123M4T9 提取码: 8s6v 点击链接保存,或者复制本段内容,打开「阿里云盘」 ...
免费学习机器学习和深度学习的源码、学习笔记和框架分享
机器学习和深度学习的免费学习源码.学习笔记和框架分享 python笔记源码 python导入模块的的几种方式在python中,字典按值排序 python中set的基本常用方法 python取出fr ...
java计算机毕业设计中国古诗词学习平台源码+mysql数据库+系统+部署+lw文档
java计算机毕业设计中国古诗词学习平台源码+mysql数据库+系统+部署+lw文档 java计算机毕业设计中国古诗词学习平台源码+mysql数据库+系统+部署+lw文档本源码技术栈: 项目架构:B ...
小白学习pytorch源码（二）：setup.py最详细解读
小白学习pytorch源码(二) pytorch setup.py最全解析 setup.py与setuptools setup.py最详细解读 setup.py 环境检查 setup.py setup ...
我该如何学习spring源码以及解析bean定义的注册
如何学习spring源码前言本文属于spring源码解析的系列文章之一,文章主要是介绍如何学习spring的源码,希望能够最大限度的帮助到有需要的人.文章总体难度不大,但比较繁重,学习时一定要耐住 ...

学习笔记: 源码 multinomial_logistic_loss_layer.cpp 略晓

学习笔记: 源码 multinomial_logistic_loss_layer.cpp 略晓相关推荐

最新文章

热门文章