多元微积分_散度3.高维散度

上一节我们推导了二维的散度公式

观察这个公式，我们还可以表示成梯度与向量v的点积

我们知道梯度里面包含了所有分量的偏导信息

也就是我们可以将维度推到更高维，用梯度来封装所有分量的偏导

但是∇\nabla∇并不是一个向量或者一个函数，只是为了方便理解和记忆

点积就是对应位置相乘再求和

这里的乘以其实是

∂∂x∗P(x,y)=∂∗P(x,y)∂x\frac{\partial}{\partial x}*P(x,y)=\frac{\partial* P(x,y)}{\partial x}∂x∂∗P(x,y)=∂x∂∗P(x,y)

∂∂x∗Q(x,y)=∂∗Q(x,y)∂x\frac{\partial}{\partial x}*Q(x,y)=\frac{\partial* Q(x,y)}{\partial x}∂x∂∗Q(x,y)=∂x∂∗Q(x,y)

乘积才是取偏导

以上用梯度表示后，推导到高维就很容易理解

多元微积分_散度3.高维散度相关推荐

相对熵与交叉熵_熵、KL散度、交叉熵
公众号关注 "ML_NLP"设为 "星标",重磅干货,第一时间送达! 机器学习算法与自然语言处理出品 @公众号原创专栏作者思婕的便携席梦思单位 | 哈工大S ...
kl散度与js散度_数据集相似度度量之KLamp;JS散度
一.KL散度 1.什么是KL散度 KL散度又叫相对熵,是描述两个概率分布差异的一种方法,有人将KL散度称为KL距离,但实际上它不满足距离概念中的两个条件,a.对称性,即D(P||Q)=D(Q||P); ...
kl散度度量分布_浅谈KL散度
一.第一种理解相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence) ...
信息量、熵、交叉熵、KL散度、JS散度、Wasserstein距离
信息量.熵.交叉熵.KL散度.JS散度文章目录信息量.熵.交叉熵.KL散度.JS散度前言一.信息量二.熵三.交叉熵四.KL散度五.JS散度六. Wasserstein距离 1.解决的 ...
散度和KL散度的介绍
散度和KL散度的介绍 1. 梯度.散度与旋度 1.1 算子定义一个向量算子 ∇ \nabla ∇(读作nabla或者del): ∇ = ∂ ∂ x e x ⃗ + ∂ ∂ y e y ⃗ + ∂ ∂ ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...
信息量、熵、交叉熵、KL散度、JS散度杂谈
信息量.熵.交叉熵.KL散度.JS散度杂谈信息量任何事件都会承载着一定的信息量,包括已经发生的事件和未发生的事件,只是它们承载的信息量会有所不同.如昨天下雨这个已知事件,因为已经发生,既定事实,那 ...
信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
前两篇介绍了目标检测中的回归损失函数,本来这篇打算介绍目标检测中的分类损失函数.但是介绍classification loss function自然绕不过交叉熵,所以还是简单的把信息论中的一些概念在这 ...
GANs之信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
信息量也叫做香农信息量,常用于刻画消除随机变量X在x处的不确定性所需的信息量大小.假设只考虑连续型随机变量的情况,设p为随机变量X的概率分布,即p(x)为随机变量X在X=x处的概率密度函数值,随机变量 ...

多元微积分_散度3.高维散度

多元微积分_散度3.高维散度相关推荐

最新文章

热门文章