正态分布（高斯分布）
Table of Contents
正态分布
概要
历史
正态分布的定义
概率密度函数
累积分布函数
生成函数
性质
动差或矩（moment）
中心极限定理
无限可分性
稳定性
标准偏差
相关分布
参量估计
参数的极大似然估计
计量误差
参考文献
正态分布
正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian distribution），是一个非常常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。
则其概率密度函数为
正态分布的数学期望值或期望值
正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准正态分布是位置参数
概要
正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布（在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明）。正态分布出现在许多区域统计：例如，采样分布均值是近似地正态的，即使被采样的样本的原始群体分布并不服从正态分布。另外，正态分布信息熵在所有的已知均值及方差的分布中最大，这使得它作为一种均值以及方差已知的分布的自然选择。正态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论，正态分布是几种连续以及离散分布的极限分布。
历史
正态分布最早是棣莫弗在1718年著作的书籍的（Doctrine of Change），及1734年发表的一篇关于二项分布文章中提出的，当二项随机变量的位置参数n很大及形状参数p为1/2时，则所推导出二项分布的近似分布函数就是正态分布。拉普拉斯在1812年发表的《分析概率论》（Theorie Analytique des Probabilites）中对棣莫佛的结论作了扩展到二项分布的位置参数为n及形状参数为1>p>0时。现在这一结论通常被称为棣莫佛－拉普拉斯定理。
拉普拉斯在误差分析试验中使用了正态分布。勒让德于1805年引入最小二乘法这一重要方法；而高斯则宣称他早在1794年就使用了该方法，并通过假设误差服从正态分布给出了严格的证明。
“钟形曲线”这个名字可以追溯到Jouffret他在1872年首次提出这个术语"钟形曲面"，用来指代二元正态分布（bivariate normal）。正态分布这个名字还被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分别独立地使用。这个术语是不幸的，因为它反映和鼓励了一种谬误，即很多概率分布都是正态的。（请参考下面的“实例”）
这个分布被称为“正态”或者“高斯”正好是Stigler名字由来法则的一个例子，这个法则说“没有科学发现是以它最初的发现者命名的”。
正态分布的定义
有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数，这种方法能够表示随机变量每个取值有多大的可能性。累积分布函数是一种概率上更加清楚的方法，请看下边的例子。还有一些其他的等价方法，例如cumulant、特征函数、动差生成函数以及cumulant-生成函数。这些方法中有一些对于理论工作非常有用，但是不够直观。请参考关于概率分布的讨论。
概率密度函数
四个不同参数集的概率密度函数（红色线代表标准正态分布）
正态分布的概率密度函数均值为
如果一个随机变量
正态分布中一些值得注意的量：
- 密度函数关于平均值对称
- 平均值与它的众数（statistical mode）以及中位数（median）同一数值。
- 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
- 95.449974%的面积在平均数左右两个标准差
的范围内。
- 99.730020%的面积在平均数左右三个标准差
的范围内。
- 99.993666%的面积在平均数左右四个标准差
的范围内。
- 函数曲线的拐点（inflection point）为离平均数一个标准差距离的位置。
累积分布函数
上图所示的概率密度函数的累积分布函数
累积分布函数是指随机变量
正态分布的累积分布函数能够由一个叫做误差函数的特殊函数表示：
标准正态分布的累积分布函数习惯上记为
将一般正态分布用误差函数表示的公式简化，可得：
它的反函数被称为反误差函数，为：
该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。
正态分布的分布函数
生成函数
矩母函数
动差生成函数或矩生成函数或动差产生函数被定义为
正态分布的动差产生函数如下：
|
|
|
|
|
可以通过在指数函数内配平方得到。
特征函数
特征函数被定义为
|
|
|
|
|
把矩生成函数中的
性质
正态分布的一些性质：
- 如果
且
与
是实数，那么
- 如果
与
是统计独立的正态随机变量，那么：
- 它们的和也满足正态分布
- 它们的差也满足正态分布
.
与
两者是相互独立的。（要求X与Y的方差相等）
- 它们的和也满足正态分布
- 如果
和
是独立正态随机变量，那么：
- 它们的积
服从概率密度函数为
的分布
其中
是修正贝塞尔函数（modified Bessel function）
- 它们的比符合柯西分布，满足
.
- 它们的积
- 如果
为独立标准正态随机变量，那么
服从自由度为n的卡方分布。
动差或矩（moment）
一些正态分布的一阶动差如下：
| 阶数 | 原点矩 | 中心矩 | 累积量 |
|---|---|---|---|
| 0 | 1 | 0 | |
| 1 |
|
0 |
|
| 2 |
|
|
|
| 3 |
|
0 | 0 |
| 4 |
|
|
0 |
标准正态的所有二阶以上的累积量为零。
中心极限定理
正态分布的概率密度函数，参数为μ = 12，σ = 3，趋近于n = 48、p = 1/4的二项分布的概率质量函数。
正态分布有一个非常重要的性质：在特定条件下，大量统计独立的随机变量的平均值的分布趋于正态分布，这就是中心极限定理。中心极限定理的重要意义在于，根据这一定理的结论，其他概率分布可以用正态分布作为近似。
- 参数为
和
与
至少为5时才能使用这一近似）。
近似正态分布平均数为
- 一泊松分布带有参数
当取样样本数很大时将近似正态分布
近似正态分布平均数为
这些近似值是否完全充分正确取决于使用者的使用需求
无限可分性
正态分布是无限可分的概率分布。
稳定性
正态分布是严格稳定的概率分布。
标准偏差
深蓝色区域是距平均值小于一个标准差之内的数值范围。在正态分布中，此范围所占比率为全部数值之68%，根据正态分布，两个标准差之内的比率合起来为95%；三个标准差之内的比率合起来为99%。
在实际应用上，常考虑一组数据具有近似于正态分布的概率分布。若其假设正确，则约68.3%数值分布在距离平均值有1个标准差之内的范围，约95.4%数值分布在距离平均值有2个标准差之内的范围，以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为“68-95-99.7法则”或“经验法则”。
相关分布
是瑞利分布，如果
，这里
和
是两个独立正态分布。
是卡方分布具有
自由度，如果
这里
其中
是独立的。
是柯西分布，如果
，其中
并且
是两个独立的正态分布。
是对数正态分布如果{\displaystyle Y=e^{X}}
并且
.
- 与Lévy skew alpha-stable分布相关：如果
因而
参量估计
参数的极大似然估计
多元正态分布的协方差矩阵的估计的推导是比较难于理解的。它需要了解谱原理（spectral theorem）以及为什么把一个标量看做一个1×1矩阵(matrix)的迹(trace)而不仅仅是一个标量更合理的原因。
计量误差
饮料装填量不足与超量的概率[编辑]
某饮料公司装瓶流程严谨，每罐饮料装填量符合平均600毫升，标准差3毫升的正态分配法则。随机选取一罐，求（1）容量超过605毫升的概率；（2）容量小于590毫升的概率。
容量超过605毫升的概率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475
容量小于590毫升的概率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004
6-标准差(6-sigma或6-σ)的品质管制标准
6-标准差(6-sigma或6-σ)，是制造业流行的品质管制标准。在这个标准之下，一个标准正态分配的变量值出现在正负三个标准差之外，只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是说，这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准，而每罐饮料装填量符合平均600毫升，标准差3毫升的正态分配。那么预期装填容量的范围应该多少？
6-标准差的范围 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此，预期装填容量应该介于591至609毫升之间。
参考文献
- Normal Distribution, Gale Encyclopedia of Psychology
- Casella & Berger (2001， p. 102)
- Shaou-Gang Miaou; Jin-Syan Chou. 《Fundamentals of probability and statistics》. 高立图书. 2012: 第147页. ISBN 9789864128990.
- John Aldrich. Earliest Uses of Symbols in Probability and Statistics.网上材料，2006年6月3日存在.(See "Symbols associated with the Normal Distribution".)
- Abraham de Moivre (1738年). The Doctrine of Chances.
- Stephen Jay Gould (1981年). The Mismeasure of Man. First edition. W. W. Norton. ISBN 978-0-393-01489-1.
- R. J. Herrnstein and Charles Murray (1994年). The Bell Curve: Intelligence and Class Structure in American Life. Free Press. ISBN 978-0-02-914673-6.
- Pierre-Simon Laplace (1812年). Analytical Theory of Probabilities.
- Jeff Miller, John Aldrich, et al. Earliest Known Uses of Some of the Words of Mathematics. In particular, the entries for "bell-shaped and bell curve", "normal" (distribution), "Gaussian", and "Error, law of error, theory of errors, etc.".网上材料，2006年6月3日存在
- S. M. Stigler (1999年). Statistics on the Table, chapter 22. Harvard University Press. (History of the term "normal distribution".)
- Eric W. Weisstein et al. Normal Distribution at MathWorld.网上材料，2006年6月3日存在。
- Marvin Zelen and Norman C. Severo (1964年). Probability Functions. Chapter 26 of Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, ed, by Milton Abramowitz and Irene A. Stegun. National Bureau of Standards.
正态分布（高斯分布）相关推荐
- 正态分布高斯分布泊松分布_正态分布：将数据转换为高斯分布
正态分布高斯分布泊松分布 For detailed implementation in python check my GitHub repository. 有关在python中的详细实现,请查看我的 ...
- 正态分布 高斯分布（数学）
正态分布(Normal distribution),也称高斯分布(Gaussian distribution) 目录 [隐藏] 1 什么是正态分布 2 正态分布的发展 3 正态分布的主要特征 4 正态 ...
- 笔记：《深入浅出统计学》第八、九章：概率密度、正态分布(高斯分布)
离散数据由单个数值组成,连续数据包含一个数据范围. 1.概率密度: 连续随机变量的概率分布可用概率密度函数描述. 概率密度是一种表示概率的方法,并非概率本身.概率密度指出各种范围内的概率的大小,通过概 ...
- 正态分布(高斯分布)、均匀分布
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)
- 高斯分布和正态分布有什么区别？Gaussian VS Normal
先吐槽 也许真有不同,但是一般提"高斯分布"的人,包括论文期刊里面,都是为了显得自己高级,因为正态分布是中学就提过的东西嘛,现在再说好像有点low...其实他想表达的就是正态分布, ...
- GraphPad Prism9 将正态分布拟合至频率分布
为什么要对数据拟合正态分布/高斯分布? 首先,你需要回答一个问题:你的数据是否服从高斯分布? 回答该问题的一种方法是针对原始数据进行正态性检验.另一种方法是检查频率分布或累积频率分布. 拟合正态分布 ...
- 正态分布的前世今生：误差分布曲线的确立
转载自:http://www.itongji.cn/article/111013402012.html [编者注]几乎所有的经济模型都有假设前提,学过计量经济学的同学都知道古典假设,而正态分布又在假设 ...
- 正态分布的前世今生——如何发现的？
神说,要有正态分布,就有了正态分布.神看正态分布是好的,就让随机误差就服从了正态分布. 本文来自一个很牛的帖子:https://tieba.baidu.com/p/4206679461?pn=1 鄙人 ...
- 深蓝学院的深度学习理论与实践课程：第一章
预备知识: 概念1:数学期望理解 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一.它反映随机变量平均取值的大小. 需要 ...
- 「AI白身境」入行AI需要什么数学基础：左手矩阵论，右手微积分
https://www.toutiao.com/a6694018168718885390/ 今天是新专栏<AI白身境>的第九篇,所谓白身,就是什么都不会,还没有进入角色. 咱们这个系列接近 ...
最新文章
- SQLite入门与分析(二)---设计与概念
- PHP 项目中单独使用 Laravel Eloquent 查询语句来避免 SQL 注入
- 第七届蓝桥杯省赛---蚂蚁感冒
- 关于一致性hash算法的几个问题
- Python机器学习：多项式回归与模型泛化005学习曲线
- MATLAB中unwrap函数
- 解决Junit问题的方法
- html 开发资料 英文,HTML 中的框架(国外英文资料).doc
- nyoj--77--开灯问题
- WebService 入门教程(Java)
- 怎么更改文件类型/后缀？
- Flink 1.12 内存和提交参数
- 【IntelliJ IDEA】idea多次重装打不开的解决办法
- blender FLIP-Fluids 流体教程帮助系列02
- SIP协议之通话转接
- Clickhouse查询手册
- 1090 Highest Price in Supply Chain（天上人间，潇潇共雨。曼珠红遍，流水忘川。）
- Microservices--原文翻译（英汉对照）
- ural 1998 The old Padawan (模拟+二分)
- 博士访谈计算机科学研究,【计算机学院】国奖访谈 | 2019级博士研究生熊宇轩：一流的研究，从热爱科学开始...