前言

高斯分布的理解, 它在低维和高维的形式。

一、概率与概率密度

两个基本的概念:

概率:在某事件出现某一结果的可能性大小。
分布:考虑事件的所有可能性那么它就是分布。
分布函数，是概率统计中重要的函数，正是通过它，可用数学分析的方法来研究随机变量。分布函数是随机变量最重要的概率特征，分布函数可以完整地描述随机变量的统计规律，并且决定随机变量的一切其他概率特征。
概率密度: 概率指事件随机发生的机率，对于均匀分布函数，概率密度等于一段区间(事件的取值范围)的概率除以该段区间的长度，它的值是非负的，可以很大也可以很小。

概率密度函数:

1.1 定义:

如果对随机变量X的分布函数F(x),存在非负函数f(x),使得对于任意实数有:
F ( x ) = ∫ − ∞ x f ( t ) d t F(x)=\int_{-\infty}^xf(t)dt F(x)=∫−∞xf(t)dt
则称X为连续型随机变量, 其中F(x)称为X的概率密度函数,简称概率密度。 ( f ( x ) ≥ 0 , 若 f ( x ) 在点 x 处连续 , 则 f ( x ) 是 F ( x ) 的导函数 ) (f(x)\geq 0,若f(x)在点x处连续,则f(x)是F(x)的导函数) (f(x)≥0,若f(x)在点x处连续,则f(x)是F(x)的导函数)f(x)并没有很特殊的意义,但是通过其值的相对大小得知,若f(x)越大,对于相同长度的区间,X落到在这个区间的概率越大。

1.2 意义及通俗理解:
形象解释:

假设一个物体,问你它在某一点处的质量是多少?因为一个点是无限小的,所以点的质量一定是0。然而这个物体是由无数个点组成的,假设我们又需要求他的质量, 于是引入密度的概念:
ρ = lim ⁡ V → 0 Δ m Δ V \rho=\lim_{V\to0}\frac{\Delta m}{\Delta V} ρ=V→0limΔVΔm
最后再对于密度积分就可以得到质量m了。
同理,如果[0,1]上随机取点,求取在某一点处的概率, 点的长度无限小,此概率一定为0。此时的情况和上面所描述的类似,我们需要引入概率密度p, p = lim ⁡ x → 0 Δ p Δ x p=\lim_{x\to 0} \frac{\Delta p}{\Delta x} p=x→0limΔxΔp 这样我们就可以求出所取点落在某一段(a,b)上的概率P了。 P = ∫ a b p ( t ) d t P=\int_a^bp(t)dt P=∫abp(t)dt
总结:
为什么要叫概率密度,因为它和物理上密度的定义本质上是一样的。
我们做题的时候一般就两种。
一.告诉你概率密度函数，让你求分布函数，积分就好了。
二.告诉你分布函数，让你求概率密度函数，求导就好了。
就像你做初中物理的密度题，无非两种:一.告诉你物体的密度让你求质量。二.告诉你物体的质量让你求密度

1.3.概率密度函数和概率的关系

只有函数连续才有概率密度

某一点的值是没有概率的

某一段的概率: 设 F ( x ) 是概率分布函数 , F ( x ) = ∫ − ∞ x f ( t ) d t 其中 f ( x ) > 0 , 则乘 f ( x ) 为 x 的概率密度函数 ⇓ F ′ ( x ) = f ( x ) 设F(x)是概率分布函数,\\F(x)=\int_{-\infty}^xf(t)dt \\其中f(x)>0,则乘f(x)为x的概率密度函数\\\Downarrow\\F'(x)=f(x) 设F(x)是概率分布函数,F(x)=∫−∞xf(t)dt其中f(x)>0,则乘f(x)为x的概率密度函数⇓F′(x)=f(x)

简单记录如有不懂的可以看一下这个:深度理解概率分布函数和概率密度函数

二、高斯分布是什么？

例如:从某校选取N名学生将他们的身高为x轴,人数量为y轴,进行直方图的绘画,则有:

当选取的人数足够多,间隔足够小的时候就会得到一个平滑的曲线:

定义: 若随机变量X的概率密度函数为:
f ( x ) = 1 2 π σ 2 e x p − 1 2 ( x − μ σ ) 2 − ∞ < x < ∞ f(x)=\frac{1}{\sqrt{2\pi \sigma^2}}exp{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2} \qquad -∞<x<∞ f(x)=2πσ2 1exp−21(σx−μ)2−∞<x<∞
则称X服从正态分布,记做: X ∽ N ( μ , σ 2 ) X\backsim N(\mu,\sigma^2) X∽N(μ,σ2)
注:

x: 随机变量的取值
σ: 总体标准差; σ越大曲线分布图越平缓, σ越小曲线分布图越陡峭。
u: 总体均值
π=3.14159
e=2.71828

方差为σ² -方差越小就越稳定
例如 : 一组数据为 [ x 1 , x 2 , . . . , x n ] , 它们的平均数为 x ˉ , σ 2 = ∑ i = 1 n ( x i − x ˉ ) 2 n 例如: 一组数据为[x_1,x_2,...,x_n], 它们的平均数为\bar{x}, \\ \sigma^2=\frac{\sum_{i=1}^n(x_i-\bar{x})^2}{n} 例如:一组数据为[x1,x2,...,xn],它们的平均数为xˉ,σ2=n∑i=1n(xi−xˉ)2

均值和标准差影响图形变化:
此时均值u小了图形往左平移, σ会影响图像的陡峭程度。

3σ准则:

落入到每个区间的概率不同:
例如:落入到区间[-1σ,1σ] 的概率为68.2%; 落入到[-3σ,3σ]的概率为99.73%。
如果 d a t a t , μ + 2 σ < t < μ + 3 σ 则说明已经超过了 90 data \qquad t,\\ \mu+2σ<t<\mu+3σ\\则说明已经超过了90%的数据了 datat,μ+2σ<t<μ+3σ则说明已经超过了90
主要用于检测质量与数量的统计:
如果一个事件落入到[-3σ,3σ]意外的区间,则说明发生了小概率事件。

三、高维高斯分布

正态分布推导过程

总结

参考引用:
1.高斯分布科普
2.多维高斯分布是如何由一维发展而来的？
3.高维高斯分布的简述
4.深度理解概率分布函数和概率密度函数

概率,概率分布,高斯分布,高维高斯分布相关推荐

UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
项目中涉及到的Python小技巧（3）—— 高维高斯分布
Python实现高维高斯分布:随机数生成.概率密度函数.累积分布函数一.高斯分布随机数生成二.高斯概率密度函数三.高斯累积分布函数不过多分类整理了,遇到什么问题,找到了解决方法,就随手写上来吧 ...
概率统计笔记：高斯分布的等高线
1 概念复习 1.1 多维高斯分布 1.2 马氏距离 1.3 协方差矩阵的特征分解任意的N × N实对称矩阵都有N个线性无关的特征向量.并且这些特征向量都可以正交单位化而得到一组正交且模为1的向量. ...
概率统计笔记：高斯分布的联合概率密度
1 符号说明我们的目的是求的概率 2 求p(y) 不难发现,y与x的关系为线性高斯模型,则yy与x符合下述关系于是可以得到y的分布 3 求p(z) 我们现在的目标就是求这个▲是什么参考资料:机 ...
一元高斯分布多元高斯分布高斯过程混合高斯模型
高斯分布,又称正态分布,应用于连续型随机变量分布的模型中,对于多元高斯分布存在和一元高斯相似的,对于多元实值向量,使熵取得最大值的是高斯分布.当多个随机变量之和相加时,根据拉普拉斯提出的中心极限定理( ...
java高斯分布_高斯分布的生成
1. 如何生成高斯分布? 在java8中的实现采用了 Marsaglia polar method (Box–Muller的一种形式), 具体理论如下: 随机变量服从的均匀分布计算如果 , 接 ...
Computer Science Theory for the Information Age-3: 高维空间中的高斯分布和随机投影
Computer Science Theory for the Information Age-3: 高维空间中的高斯分布和随机投影高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点 ...
PRML(3)--Chapter2(上)-概率分布-二元变量、多项式变量、高斯分布、指数族分布
PRML第二章上-概率估计 2.1二元变量 2.1.1 beta 分布 2.2 多项式变量 2.3 高斯分布 2.3.1条件高斯分布.2.3.2边缘高斯分布 2.3.3 高斯变量的贝叶斯定理 2.3. ...
高维空间中的高斯分布和随机投影
高维空间中的高斯分布和随机投影高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点的方法我们来考虑一个采样问题,就是怎样在高维单位球体的表面上均匀的采样.首先,考虑二维的情况,就是在 ...

概率,概率分布,高斯分布,高维高斯分布

文章目录

前言

一、概率与概率密度

二、高斯分布是什么？

三、高维高斯分布

总结

概率,概率分布,高斯分布,高维高斯分布相关推荐

最新文章

热门文章

概率,概率分布,高斯分布,高维高斯分布

文章目录

前言

一、概率与概率密度

二、高斯分布是什么？

三 、高维高斯分布

总结

概率,概率分布,高斯分布,高维高斯分布相关推荐

最新文章

热门文章

三、高维高斯分布