高斯过程(1)(Gauss Processes)

n-Dimensional Joint Gauss Distribution

n随机变量X(t)X(t)，对∀n,∀t1,t2,⋯,tn \forall n,\forall t_1,t_2,\cdots ,t_n，记(X(t1),X(t2),⋯,X(xn))T=X(X(t_1),X(t_2),\cdots,X(x_n))^T=X，即XX为nn维随机向量，如果X∼N(μ,Σ)X\sim N(\mu,\Sigma)，其中μ\mu为均值向量，Σ\Sigma为协方差矩阵，那么称XX为nn维联合高斯分布(n-dimensional joint Gauss distribution).
n=1n=1时，X∼N(μ,σ2)∈R1X\sim N(\mu,\sigma^2)\in \mathbb{R}^1，fX(x)=12π√σexp[−(x−μ)22σ2]f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{(x-\mu)^2}{2\sigma^2}]；
n=2n=2时，X=(X1,X2)T∈R2X=(X_1,X_2)^T\in \mathbb{R}^2，fX1,X2(x1,x2)=12πσ1σ21−ρ2√exp[−12(1−ρ2)((x1−μ1)2σ21−2ρ(x1−μ1)(x2−μ2)σ2σ2+(x2−μ2)2σ22)]f_{X_1,X_2}(x_1,x_2)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left[-\frac{1}{2(1-\rho^2)}\left(\frac{(x_1-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x_1-\mu_1)(x_2-\mu_2)}{\sigma_2\sigma_2}+\frac{(x_2-\mu_2)^2}{\sigma_2^2}\right)\right]；
n>2n>2时，X∈RnX\in \mathbb{R}^n，fX(x)=1(2π)n/2det(Σ)√exp[−12(x−μ)TΣ−1(x−μ)]f_X(x)=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}exp\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right]，其中，μ=E(X)∈Rn,Σ=E[(x−μ)(x−μ)T]∈Rn×n\mu=\mathbb{E}(X)\in \mathbb{R}^n,\Sigma=\mathbb{E}[(x-\mu)(x-\mu)^T]\in \mathbb{R}^{n\times n}为协方差矩阵。

对于上面的函数，需要验证其的确是概率密度函数(PDF)。我们知道，验证一个PDF只需验证下面两条是否满足即可：

fX(x)≥0f_X(x)\ge 0;
∫RnfX(x)dx=1\int_{\mathbb{R}^n}f_X(x)\mathrm{d}x=1

验证fX(x)f_X(x)是密度函数

首先验证fX(x)≥0f_X(x)\ge 0。要使得fX(x)≥0f_X(x)\ge 0成立，只需det(Σ)>0det(\Sigma)>0即可，即Σ\Sigma为正定矩阵。而协方差矩阵都是半正定的，但是这里det(Σ)−−−−−√\sqrt{det(\Sigma)}所处位置使得det(Σ)−−−−−√≠0\sqrt{det(\Sigma)}\ne 0。
其次验证积分为1，即∫RnfX(x)dx=1\int_{\mathbb{R}^n}f_X(x)\mathrm{d}x=1。
∫R2fX(x)dx=1(2π)n/2det(Σ)√∫R2exp[−12(x−μ)TΣ−1(x−μ)]dx\int_{\mathbb{R}^2}f_X(x)\mathrm{d}x=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right]\mathrm{d}x
要直接计算上面的积分十分不易，因为存在协方差矩阵的逆Σ−1\Sigma^{-1}，由于Σ\Sigma是协方差矩阵，因此有Σ=ΣT\Sigma=\Sigma^T，所以一种做法是将Σ\Sigma对角化（实对称矩阵可对角化）。所谓的对角化即是：
Σ=Udiag(λ1,λ2,⋯,λn)UT\Sigma=U\, \mathrm{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)\,U^T，其中UU为正交矩阵，且λi>0\lambda_i>0，则
Σ−1=Udiag(1/λ1,1/λ2,⋯,1/λn)UT=UΛUT\Sigma^{-1}=U\, \mathrm{diag}(1/\lambda_1,1/\lambda_2,\cdots,1/\lambda_n)\,U^T=U\Lambda U^T.（注意：U−1=UTU^{-1}=U^T）
那么此时

∫R2fX(x)dx=1(2π)n/2det(Σ)−−−−−√∫R2exp[−12(x−μ)TΣ−1(x−μ)]dx=1(2π)n/2det(Σ)−−−−−√∫R2exp[−12(x−μ)TUΛUT(x−μ)]dxlety=UT(x−μ),dx=|det(∂x∂y)|=|det(U)|dy=dy=1(2π)n/2det(Σ)−−−−−√∫R2exp(−12yTΛy)dx=1(2π)n/2det(Σ)−−−−−√∫R2exp(−12∑k=1ny2kλk)dxletzk=ykλk−−√,dy=(∏k=1nλk)1/2dz=(det(Σ))1/2dz=1(2π)n/2det(Σ)−−−−−√∫R2exp(−12∑k=1nz2k)det(Σ)−−−−−√dz=1(2π)n/2∫R2exp(−12∑k=1nz2k)dz=∏k=1n(12π−−√∫+∞−∞exp(−12z2k)dzk)=(12π−−√∫+∞−∞exp(−z2k2)dzk)n=1.

\begin{array}{l} \int_{\mathbb{R}^2}f_X(x)\mathrm{d}x&=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right]\mathrm{d}x\\ &=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left[-\frac{1}{2}(x-\mu)^TU\Lambda U^T(x-\mu)\right]\mathrm{d}x\\ &let \quad y=U^T(x-\mu),dx=|det(\frac{\partial{x}}{\partial{y}})|=|det(U)|dy=dy\\ &=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left(-\frac{1}{2}y^T\Lambda y\right)\mathrm{d}x\\ &=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left(-\frac{1}{2}\sum\limits_{k=1}^{n}\frac{y_k^2}{\lambda_k}\right)\mathrm{d}x\\ &let \quad z_k=\frac{y_k}{\sqrt{\lambda_k}},dy=\left(\prod\limits_{k=1}^n\lambda_k\right)^{1/2}dz=\left(det(\Sigma)\right)^{1/2}dz\\ &=\frac{1}{(2\pi)^{n/2}\sqrt{det(\Sigma)}}\int_{\mathbb{R}^2}exp\left(-\frac{1}{2} \sum\limits_{k=1}^{n}z_k^2 \right)\sqrt{det(\Sigma)}\mathrm{d}z\\ &=\frac{1}{(2\pi)^{n/2}}\int_{\mathbb{R}^2}exp\left(-\frac{1}{2}\sum\limits_{k=1}^{n}z_k^2\right)\mathrm{d}z\\ &=\prod_{k=1}^{n}\left(\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty}exp(-\frac{1}{2}z_k^2)\mathrm{d}z_k\right)\\ &=\left(\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty}exp\left(-\frac{z_k^2}{2}\right)\mathrm{d}z_k\right)^n\\ &=1. \end{array}
上面的计算过程证明了 fX(x)f_X(x)的确是概率密度函数。
未完待续（希望放假前能补充完整）。

《随机过程》学习笔记--高斯过程(1)相关推荐

指数随机变量泊松过程跳_随机过程学习笔记(1)：指数分布与泊松过程
笔记主要基于中文版<应用随机过程 Introduction to Probability Models >(Sheldon M. Ross),只有非常少的一部分是我自己的注解.写这个笔记的 ...
随机过程学习笔记04 布朗运动
终于要到这一章了!在很多随机的分析当中都需要用到它. 文章目录布朗运动性质布朗运动设{Bt,t≥0}\{B_t,t\ge 0\}{Bt,t≥0}是一个随机过程,如果它满足以下三条 Bt+s− ...
随机过程学习笔记1：泊松过程
泊松过程随机过程的一般概念计数过程的一般概念泊松过程泊松过程的定义泊松呼叫流.等待时间.年龄.寿命呼叫流的联合分布呼叫流的条件分布等待时间的分布年龄和寿命的分布泊松过程的汇合与分流 ...
Python可视化物理随机过程---pygame学习笔记2
Python可视化物理随机过程-pygame学习笔记2 文章目录 Python可视化物理随机过程---pygame学习笔记2 一.扩散现象的简单的介绍二.代码实现三.运行代码的效果展示四.总结 ...
2020-4-5 深度学习笔记17 - 蒙特卡罗方法 3 ( 马尔可夫链蒙特卡罗方法MCMC-先验分布/后验分布/似然估计，马尔可夫性质)
第十七章蒙特卡罗方法中文英文 2020-4-4 深度学习笔记17 - 蒙特卡罗方法 1 (采样和蒙特卡罗方法-必要性和合理性) 2020-4-4 深度学习笔记17 - 蒙特卡罗方法 2 ( 重要 ...
AI学习笔记（七）图像滤波器、OpenCV算法解析
AI学习笔记之图像滤波器.OpenCV算法解析图像滤波器图像噪声噪声的产生信噪比高斯噪声椒盐噪声其他噪声图像滤波滤波的目的滤波的要求各种滤波器均值滤波中值滤波最大最小值滤波 ...
深度学习笔记 | 第16讲：语音识别——一份简短的技术综述
原标题:深度学习笔记 | 第16讲:语音识别--一份简短的技术综述大家好!又到了每周一狗熊会的深度学习时间了.在上一讲中,小编给大家介绍了经典的 seq2seq,以及著名的注意力模型,并且小编在这些 ...
《神经网络与深度学习》—学习笔记
[nndl.github.io] [神经网络与深度学习] [nndl-book] 深度学习基础深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法. 深度学习问题是一个机器学习问题,指从 ...
学习笔记：匿名通信与暗网研究综述
本文仅为作者学习笔记,内容源自论文"匿名通信与暗网研究综述--罗军舟等"本身以及相关网络搜索 1.匿名通信与暗网匿名通信指采取一定的措施隐蔽通信流中的通信关系,使窃听者难以获取或 ...

《随机过程》学习笔记--高斯过程(1)

高斯过程(1)(Gauss Processes)

n-Dimensional Joint Gauss Distribution

验证fX(x)f_X(x)是密度函数

《随机过程》学习笔记--高斯过程(1)相关推荐

最新文章

热门文章