机器学习中的数学——连续型随机变量的变换

连续型随机变量的另一技术细节，涉及到处理那种相互之间有确定性函数关系的连续型变量。偎设我们有两个随机变量xxx和yyy满足y=g(x)y=g(x)y=g(x)，其中ggg是可逆的且连续可微的函数。可能有人会想py(y)=px(g−1(y))p_y(y)=p_x(g^{-1}(y))py(y)=px(g−1(y))。但实际上这并不对。

举一个简单的例子，假设我们有两个标量值随机变量xxx和yyy，并且满足y=x2y=\frac{x}{2}y=2x以及x∼U(0,1)x\sim U(0, 1)x∼U(0,1)。如果我们使用py(y)=px(2y)p_y(y)=p_x(2y)py(y)=px(2y)，那么ppp除了区间0，是以外都为0，并且在这个区间上的值为1。这意味着：
∫py(y)dy=12\int p_y(y)dy=\frac{1}{2}∫py(y)dy=21

而这违背了概率密度积分为1的定义。这个常见错误之所以错是因为它没有考虑到引入函数ggg后造成的空间变形。回忆一下，xxx落在无穷小的体积为δx\delta xδx的区域内的概率为p(x)δxp(x)\delta xp(x)δx。因为ggg可能会扩展或者压缩空间，在xxx空间内的包围着xxx的无穷小体积在yyy空间中可能有不同的体积。

为了看出如何改正这个问题，我们回到标量值的情况。我们需要保持下面这个性质：
∣py(g(x))dy∣=∣px(x)dx∣|p_y(g(x))dy|=|p_x(x)dx|∣py(g(x))dy∣=∣px(x)dx∣

求解上式，我们得到：
py(y)=px(g−1(y))∣∂x∂y∣p_y(y)=p_x(g^{-1}(y))|\frac{\partial x}{\partial y}|py(y)=px(g−1(y))∣∂y∂x∣

或者等价地：
px(x)=py(g(x))∣∂g(x)∂x∣p_x(x)=p_y(g(x))|\frac{\partial g(x)}{\partial x}|px(x)=py(g(x))∣∂x∂g(x)∣

在高维空间中，微分运算扩展为Jacobian矩阵的行列式——矩阵的每个元素为Ji,j=∂xi∂yjJ_{i, j}=\frac{\partial x_i}{\partial y_j}Ji,j=∂yj∂xi。因此，对于实值向量xxx和yyy：
px(x)=py(g(x))∣det(∂g(x)∂x)∣p_x(x)=p_y(g(x))|\text{det}(\frac{\partial g(x)}{\partial x})|px(x)=py(g(x))∣det(∂x∂g(x))∣

机器学习中的数学——连续型随机变量的变换相关推荐

机器学习中的数学——连续型随机变量的测度
分类目录:<机器学习中的数学>总目录连续型随机变量和概率密度函数的深人理解需要用到数学分支测度论的相关内容来扩展概率论.在<概率分布>中,我们已经看到连续型向量值随机变量 x ...
概率密度变换公式雅可比矩阵_雅克比行列式在连续型随机变量函数分布密度中的应用...
龙源期刊网 http://www.qikan.com.cn 雅克比行列式在连续型随机变量函数分布密度中的应用作者:赵微来源:<新教育时代> 2014 年第 12 期摘要:为了使二 ...
概率密度变换公式雅可比矩阵_雅克比行列式在连续型随机变量函数分布密度中应用.doc...
雅克比行列式在连续型随机变量函数分布密度中应用雅克比行列式在连续型随机变量函数分布密度中应用摘要:为了使二维随机变量函数概率密度计算公式得到简化,本文首先利用雅克比行列式,应用变量变换定理给出了 ...
机器学习中的数学——常用概率分布（九）：经验分布（Empirical分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——常用概率分布（二）：范畴分布（Multinoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学(五)--概率统计
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学：概率统计
内容亮点详解 6 大核心板块:概率思想.随机变量.统计推断.随机过程.采样理论.概率模型,筑牢机器学习核心基础. 教你熟练使用 Python 工具库:依托 NumPy.SciPy.Matplotli ...
matlab连续型随机变量,matlab连续型随机变量的分布.doc
matlab连续型随机变量的分布.doc 连续型随机变量的分布及其数字特征一.基本概念设随机变量X的分布函数为F(x),若存在非负函数f(x),使对任意实数x,有≤X{Pxd}则称X为连续型随 ...
【文末有福利】连续型随机变量及实例详解
如果随机变量X的所有可能取值不可以逐个列举出来,而是取数轴上某一区间内的任意点,那么称之为连续型随机变量.例如,一批电子元件的寿命.实际中常遇到的测量误差等都是连续型随机变量. >>> ...

机器学习中的数学——连续型随机变量的变换

机器学习中的数学——连续型随机变量的变换相关推荐

最新文章

热门文章