描述

针对项目过程中遇到的对于神经网络分类效果的评价–损失函数categorical_crossentropy的解读。

1.多元分类交叉熵

其中，types是分类总数，以五元分类来说，types=5；
yitag是某个分类的标签值，是一个二值，即只能为0或1，例如，对于五元分类，类别就是用一个五元组表示——
[1,0,0,0,0]
[0,1,0,0,0]
[0,0,1,0,0]
[0,0,0,1,0]
[0,0,0,0,1]
那么yitag的值就是当前分类位置上的0或1值；
（这个地方是我开始没理解的，以为类别tag是1，2，3，4，5中的一个，这样的话不是类别顺序影响loss了？后面才整明白的）

yi_pre_prob是在softmax层前面输出的概率值（组），例如，假设对于某个分类输出的概率组为：
[0.1, 0.1, 0.7, 0.1, 0]
最终输出的分类结果是取概率组的最大值，即0.7对应的第3类；那么loss值就用第3类的五元组计算，即：
loss= -1×log0.7 (其他都是乘0没了)
所以从这看来，当对某个值预测概率为1时，那么log1=0，loss也为0；当前分类预测概率越小，loss值越大。

神经网络分类效果评价——多元分类交叉熵相关推荐

二分类交叉熵损失函数python_二分类问题的交叉熵损失函数多分类的问题的函数交叉熵损失函数求解...
二分类问题的交叉熵损失函数; 在二分类问题中,损失函数为交叉熵损失函数.对于样本(x,y)来讲,x为样本 y为对应的标签.在二分类问题中,其取值的集合可能为{0,1},我们假设某个样本的真实标签为yt ...
度量学习（Metric learning）—— 基于分类损失函数（softmax、交叉熵、cosface、arcface）
概述首先,我们把loss归为两类:一类是本篇讲述的基于softmax的,一类是基于pair对的(如对比损失.三元损失等). 基于pair对的,参考我的另一篇博客: https://blog.csdn ...
神经网络学习中的SoftMax与交叉熵
简介: 对于在深度学习中的两个常见的函数SoftMax,交叉熵进行的探讨.在利用paddle平台中的反向求微分进行验证的过程中,发现结果与数学定义有差别.具体原因还需要之后进行查找. 关键词: 交 ...
分类效果评价（机器学习）
目录准确率精确率(precision) 召回率(recall,也称为查全率) 调回平均对于一般分类问题,有训练误差.泛化误差.准确率.错误率等指标对于常见的二分类问题,样本只有两种分类结果,将 ...
四、【机器学习作业】多元分类与神经网络（python版ex3）
多元分类与神经网络 (一)多元分类问题利用逻辑回归算法进行手写字符识别 (二)神经网络模型(初识) (1) 简单模型 vs 复杂模型 (2)介绍神经网络模型(前馈) (3)神经网络模型的建立 (4) ...
损失函数-交叉熵的推导和二分类交叉熵
交叉熵期望: 期望就是所有随机变量的均值. E(X)=X1*P(X1)+X2*P(X2)+X3*P(X3) 熵: 熵表示所有信息量的期望. 信息量如何计算呢? 概率值取Log,然后加个负号,就是信息 ...
神经网络与深度学习（五）前馈神经网络（3）鸢尾花分类
目录 4.5实践:基于前馈神经网络完成鸢尾花分类深入研究鸢尾花数据集 4.5.1 小批量梯度下降法 4.5.1.1 数据分组 4.5.2 数据处理 4.5.2.2 用DataLoader进行封装 4 ...
为什么需要交叉熵代价函数
为什么需要交叉熵代价函数人类却能够根据明显的犯错快速地学习到正确的东西.相反,在我们的错误不是很好地定义的时候,学习的过程会变得更加缓慢.但神经网络却不一定如此,这种行为看起来和人类学习行为差异很大 ...
损失函数——交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式.与二次代价函数相比,它能更有效地促进ANN的训练.在介绍交叉熵代价函 ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...

神经网络分类效果评价——多元分类交叉熵

描述

1.多元分类交叉熵

神经网络分类效果评价——多元分类交叉熵相关推荐

最新文章

热门文章