where

The Jensen–Shannon divergence is bounded by 1 for two probability distributions, given that one uses the base 2 logarithm.

For log base e, or ln, which is commonly used in statistical thermodynamics, the upper bound is ln(2):

Jensen–Shannon divergence相关推荐

机器学习中的数学——距离定义（二十）：相对熵（Relative Entropy）/KL散度（Kullback-Leibler Divergence）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
GAN性能不稳？这九大技术可“镇住”四类缺陷
作者 | Bharath Raj 译者 | ang010ela 编辑 | 一一出品 | AI科技大本营尽管 GAN 领域的进步令人印象深刻,但其在应用过程中仍然存在一些困难.本文梳理了 GAN 在 ...
Nature Methods：快速准确的微生物来源追溯工具FEAST
文章目录 FEAST: 快速准确的微生物来源追溯工具划重点摘要结果图1. 方法比较图2. 当前最先进方法的运行时间比较图3. 1岁婴儿肠道微生物来源估计图4. 厨房样品中末知来源的比例 ...
自然语言处理技术（NLP）在推荐系统中的应用原2017.06.29人工智能头条作者：张相於，58集团算法架构师，转转搜索推荐部负责人，负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机
自然语言处理技术(NLP)在推荐系统中的应用原2017.06.29人工智能头条作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索.推荐以及算法相关工作.多年来主要从事推荐系统以及机 ...
深度学习（七）—— GAN
https://antkillerfarm.github.io/ GAN(续) 基本原理上面的解释虽然通俗,却并未涉及算法的实现.要实现上述原理,至少要解决三个问题: 1.什么是伪造者. 2.什么是 ...
提高GAN训练稳定性的9大tricks
点击我爱计算机视觉标星,更快获取CVML新技术作者 | Bharath Raj 译者 | ang010ela 编辑 | 一一出品 | AI科技大本营 CV君注: 还有什么是比训练一个神经网络更玄学 ...
KL散度，互信息和JSD
KL 散度公式 D(p∥q)=∑x∈Xp(x)log⁡p(x)q(x)=E[log⁡p(X)q(X))]\begin{aligned}D(p\|q) &=\sum_{x \in X} p(x) ...
【论文阅读】用于自动中文作文评分的多阶段预训练
摘要这篇文章提出了一个基于预训练的中文作品评分方法.方法包含3个成分:弱监督预训练,有监督的交叉提示(cross-prompt)微调和有监督的目标提示(target-prompt)微调. 一个文 ...
机器学习中的数学——距离定义（九）：测地距离（Geodesic Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...

Jensen–Shannon divergence

Jensen–Shannon divergence（J-S散度） is a method of measuring the similarity between two probability distributions.

It is based on the Kullback–Leibler divergence（K-L散度）, with some notable

(and useful) differences, including that it is symmetric and it is always a finite value.

The Jensen–Shannon divergence (JSD) is a symmetrized and smoothed version of the Kullback–Leibler divergence . It is defined by：

where

The Jensen–Shannon divergence is bounded by 1 for two probability distributions, given that one uses the base 2 logarithm.

For log base e, or ln, which is commonly used in statistical thermodynamics, the upper bound is ln(2):

Jensen–Shannon divergence相关推荐

最新文章

热门文章