东北大学应用数理统计第二章知识点总结——参数估计
2024-06-10 19:58:35
参数估计
一、点估计
1.1 矩估计：Vk=EXk=1n∑i=1nXikV_k=EX^k=\frac{1}{n}\sum_{i=1}^{n} X_i^kVk=EXk=n1∑i=1nXik
- 定义：用样本的有关矩去作为总体有关矩的估计。
- 重要结论
（1）样本均值作为总体期望的估计
（2）样本二阶中心矩作为总体方差的估计
（3）样本中位数（众数）作为总体中位数（众数）的估计 - 理论依据：大数律。矩估计基本上都是依概率或者几乎处处收敛到未知参数。
- 需注意问题
（1）总体的参数不能表示成矩的函数时（一般是总体矩不存在），就不能使用矩估计
（2）如果能够用低阶的矩估计，就不要用高阶矩
（3）按照矩估计的理论应该用样本的二阶中心矩来估计总体的方差，但是在实际应用中人们总是采用样本方差作为总体方差的的估计。 - 最大优点：简单实用，与总体分布形势没有关系。只要知道总体随机变量一些矩存在，就可以做相应的矩估计。
- 几个常见分布的矩估计
（1）二项分布 B(N,p),NB(N,p),NB(N,p),N已知
p^=X‾N\hat{p}=\frac{\overline{X}}{N} p^=NX
（2）均匀分布 U(a,b)U(a,b)U(a,b)
b^,a^=X‾±3(n−1)nS\hat{b}, \hat{a} = \overline{X} \pm \sqrt{\frac{3(n-1)}{n}} S b^,a^=X±n3(n−1)S
（3）泊松分布 P(λ)P(\lambda)P(λ)
λ^=X‾\hat{\lambda}=\overline{X} λ^=X
（4）参数为 λ\lambdaλ 的指数总体
λ^=1X‾\hat{\lambda}=\frac{1}{\overline{X}} λ^=X1
（5）正态总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)
μ^=X‾,σ^2=n−1nS2\hat{\mu}=\overline{X}, \hat{\sigma}^2=\frac{n-1}{n} S^2 μ^=X,σ^2=nn−1S2
σ^=n−1nS\hat{\sigma}=\sqrt{\frac{n-1}{n}} S σ^=nn−1S
1.2 极大似然估计：L(θ)=f(x,θ)L(\theta) = f(x, \theta)L(θ)=f(x,θ)
- 定义：所有情况中，“看起来最像”的那个估计。求参数 θ\thetaθ 使已知条件发生的可能性最大。
- 重要结论
（1）对离散总体，似然函数是样本联合分布律
（2）对连续总体，它是样本联合密度函数 - 如何理解：总体参数 θ\thetaθ 的极大似然估计就是使得似然函数在 Θ\ThetaΘ 参数空间中达到极大。
∀θ∈Θ,L(θ^)=maxL(θ)\forall \theta \in \Theta, L(\hat{\theta}) = maxL(\theta) ∀θ∈Θ,L(θ^)=maxL(θ) - 求解方式
（1）建立极大似然方程组，求对数，导数等于0
（2）用定义 - 几个常见分布的似然函数
（1）二项分布 B(N,p),NB(N,p),NB(N,p),N已知
L(θ)=[∏(Nxk)]p∑xk(1−p)nN−∑xkL(\theta) = [\prod{\dbinom{N}{x_k}}] p^{\sum x_k} (1-p)^{nN - \sum x_k} L(θ)=[∏(xkN)]p∑xk(1−p)nN−∑xk
∂∂θln[L(θ)]=x‾p−N−x‾1−p=0\frac{\partial}{\partial \theta} ln[L(\theta)] = \frac{\overline x}{p} - \frac{N - \overline{x}}{1-p} = 0 ∂θ∂ln[L(θ)]=px−1−pN−x=0
（2）正态总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)
L(θ)=(2πσ2)−n2exp{−12σ2∑k=1n(xk−μ)2}L(\theta) = (2\pi \sigma^2)^{-\frac{n}{2}}exp\{-\frac{1}{2\sigma^2} \sum_{k=1}^n(x_k-\mu)^2\} L(θ)=(2πσ2)−2nexp{−2σ21k=1∑n(xk−μ)2}
{1σ2(x‾−μ)=0−n2σ2+12(σ2)2∑k=1n(xk−μ)2=0\begin{cases} \frac{1}{\sigma^2}(\overline{x}-\mu) = 0 \\ -\frac{n}{2\sigma^2}+\frac{1}{2(\sigma^2)^2} \sum_{k=1}^n(x_k-\mu)^2 =0 \end{cases} {σ21(x−μ)=0−2σ2n+2(σ2)21∑k=1n(xk−μ)2=0
（3）均匀分布 U(a,b)U(a,b)U(a,b)
L(θ)=1,θ<x(1),...,x(n)<θ+1L(\theta) = 1, \theta < x_{(1)}, ... , x_{(n)} < \theta + 1 L(θ)=1,θ<x(1),...,x(n)<θ+1 - 几个常见分布的极大似然估计
（1）二项分布 B(N,p),NB(N,p),NB(N,p),N已知
p^=X‾N\hat{p}=\frac{\overline{X}}{N} p^=NX
（2）均匀分布 U(a,b)U(a,b)U(a,b)
a^,b^=X(1),X(n)\hat{a}, \hat{b} = X_{(1)}, X_{(n)} a^,b^=X(1),X(n)
（3）泊松分布 P(λ)P(\lambda)P(λ)
λ^=X‾\hat{\lambda}=\overline{X} λ^=X
（4）参数为 λ\lambdaλ 的指数总体
λ^=1X‾\hat{\lambda}=\frac{1}{\overline{X}} λ^=X1
（5）正态总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)
μ^=X‾,σ^2=n−1nS2\hat{\mu}=\overline{X}, \hat{\sigma}^2=\frac{n-1}{n} S^2 μ^=X,σ^2=nn−1S2
σ^=n−1nS\hat{\sigma}=\sqrt{\frac{n-1}{n}} S σ^=nn−1S
1.3 比较
- 矩估计不需要知道总体分布，只要求总体的矩存在
- 极大似然估计必须要知道总体来自哪一种分布类型，有更多数学上的良好性质
二、估计的优良标准
1.1 无偏性：Eϕ(X1,...,Xn)=g(θ)E\phi(X_1,...,X_n)=g(\theta)Eϕ(X1,...,Xn)=g(θ)
- 定义：估计量的数学期望要等于参数
- 利用充分统计量构造无偏估计
1.2 有效性
- 定义：估计量的方差要比较小（主要限制在无偏估计的范围内）
- 如何衡量估计的偏差
MSE(φ)=E[φ(X1,...,X2)−−g(θ)]2MSE(\varphi)=E[\varphi(X_1,...,X_2)--g(\theta)]^2 MSE(φ)=E[φ(X1,...,X2)−−g(θ)]2 - 限制在UE中的最优估计：一致最小方差无偏估计（UMVUE）
- 一般情况下如何寻找UMVUE
如果TTT是充分、完备的统计量，φ(T)\varphi(T)φ(T)是g(θ)g(\theta)g(θ)的一个无偏估计，则ϕ(t)\phi(t)ϕ(t)就是g(θ)g(\theta)g(θ)的UMVUE - 关于一些常见分布的参数的UMVUE
（1）二项分布 B(N,p),NB(N,p),NB(N,p),N已知
p^=X‾N\hat{p}=\frac{\overline{X}}{N} p^=NX
（2）泊松分布 P(λ)P(\lambda)P(λ)
λ^=X‾\hat{\lambda}=\overline{X} λ^=X
（3）参数为 λ\lambdaλ 的指数总体
λ^=n−1nX‾\hat{\lambda}=\frac{n-1}{n\overline{X}} λ^=nXn−1
（4）正态总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)
μ^=X‾,σ^2=S2\hat{\mu}=\overline{X}, \hat{\sigma}^2=S^2 μ^=X,σ^2=S2
1.3 相合性：φn\varphi_nφn依概率收敛到g(θ)g(\theta)g(θ)
- 定义：当样本容量趋于无限多时，估计量应该收敛到参数
- 公式
P{∣φn−g(θ)∣>ε}→0P\{|\varphi_n-g(\theta)|>\varepsilon\}\to0 P{∣φn−g(θ)∣>ε}→0 - 强相合估计
P{φn→g(θ)}=1P\{\varphi_n\to g(\theta)\}\ = 1 P{φn→g(θ)} =1 - 渐进正态估计
n12[φn−g(θ)]σ→N(0,1)\frac{n^{\frac{1}{2}}[\varphi_n-g(\theta)]}{\sigma} \to N(0,1) σn21[φn−g(θ)]→N(0,1)
三、区间估计
1.1 置信区间
- 定义：给定一个常数0<α<10<\alpha<10<α<1，对于总体未知参数g(θ)g(\theta)g(θ)，如果存在两个统计量φ1、φ2\varphi_1、\varphi_2φ1、φ2满足：则称(φ1,φ2)(\varphi_1,\varphi_2)(φ1,φ2)是g(θ)g(\theta)g(θ)的置信度1−α1-\alpha1−α的置信区间。
- 相关概念：置信下限、置信上限、置信区间、置信度、置信水平等
1.2 求解思路
- 找一个枢轴变量Z(X,θ)Z(X,\theta)Z(X,θ)
- 对于给定的置信度1−α1-\alpha1−α，求出两个常数a、ba、ba、b
- 变换不等式，成为的等价的形式。因此区间(φ1,φ2)(\varphi_1,\varphi_2)(φ1,φ2)就是g(θ)g(\theta)g(θ)的一个置信度为1−α1-\alpha1−α的区间估计
a<Z(X,θ)<b→φ1(X)<g(θ)<φ2(X)a<Z(X,\theta)<b \to \varphi_1(X) < g(\theta) < \varphi_2(X) a<Z(X,θ)<b→φ1(X)<g(θ)<φ2(X)
1.3 常见的区间估计
- **总体属性比例的置信区间（ps,p,1−αp_s,p,1-\alphaps,p,1−α）（最短区间 ）
X−npnp(1−p)=Xn−pp(1−p)n→N(0,1)\frac{X-np}{\sqrt{np(1-p)}} = \frac{\frac{X}{n}-p}{\sqrt{\frac{p(1-p)}{n}}} \to N(0,1) np(1−p)X−np=np(1−p)nX−p→N(0,1)
(ps−uα/2ps(1−ps)n,ps+uα/2ps(1−ps)n)(p_s-u_{\alpha/2} \sqrt{\frac{p_s(1-p_s)}{n}}, p_s+u_{\alpha/2} \sqrt{\frac{p_s(1-p_s)}{n}}) (ps−uα/2nps(1−ps),ps+uα/2nps(1−ps)) - **指数总体参数的置信区间（λ,1−α\lambda, 1-\alphaλ,1−α）（不一定是最短区间 ）
2λ∑i=1nXi→Γ(2n2,12)=χ2(2n)2\lambda \sum_{i=1}^n X_i \to \Gamma(\frac{2n}{2},\frac{1}{2})=\chi^2(2n) 2λi=1∑nXi→Γ(22n,21)=χ2(2n)
(χ1−α/22(2n)2nX‾,χα/22(2n)2nX‾)( \frac{\chi_{1-\alpha/2}^2(2n)}{2n\overline{X}}, \frac{\chi_{\alpha/2}^2(2n)}{2n\overline{X}}) (2nXχ1−α/22(2n),2nXχα/22(2n)) - **正态总体均值的置信区间（X‾,1−α\overline{X}, 1-\alphaX,1−α）（最短区间 ）
（1）总体方差已知（σ2=σ02,N(μ,σ02n)\sigma^2=\sigma_0^2, N(\mu, \frac{\sigma_0^2}{n})σ2=σ02,N(μ,nσ02)）
P{∣n(X‾−μ)σ0∣≤uα/2}=1−αP\{|\frac{\sqrt{n}(\overline{X}-\mu)}{\sigma_0}|\le u_{\alpha/2}\} = 1-\alpha P{∣σ0n(X−μ)∣≤uα/2}=1−α
(X‾−uα/2σ0n,X‾+uα/2σ0n)(\overline{X}-u_{\alpha/2}\frac{\sigma_0}{\sqrt{n}}, \overline{X}+u_{\alpha/2}\frac{\sigma_0}{\sqrt{n}}) (X−uα/2nσ0,X+uα/2nσ0)
（2）总体方差未知
n(X‾−μ)S→t(n−1)\frac{\sqrt{n}(\overline{X}-\mu)}{S} \to t(n-1) Sn(X−μ)→t(n−1)
(X‾−tα/2(n−1)Sn,X‾+tα/2(n−1)Sn)(\overline{X}-t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \overline{X}+t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}) (X−tα/2(n−1)nS,X+tα/2(n−1)nS) - 正态总体方差的置信区间（σ2,1−α\sigma^2, 1-\alphaσ2,1−α）
(n−1)S2σ2→χ2(n−1)\frac{(n-1)S^2}{\sigma^2} \to \chi^2(n-1) σ2(n−1)S2→χ2(n−1)
((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))(\frac{(n-1)S^2}{\chi_{\alpha/2}^{2}(n-1)}, \frac{(n-1)S^2}{\chi_{1 - \alpha/2}^{2}(n-1)}) (χα/22(n−1)(n−1)S2,χ1−α/22(n−1)(n−1)S2) - 两个正态总体均值差的置信区间（μ1−μ2,N(μ1,σ12)→n1,N(μ2,σ22)→n2\mu_1 - \mu_2, N(\mu_1, \sigma_1^2) \to n_1, N(\mu_2, \sigma_2^2) \to n_2μ1−μ2,N(μ1,σ12)→n1,N(μ2,σ22)→n2）
(X‾−Y‾)−(μ1−μ2)Sw1n1+1n2→t(n1+n2−2)\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\to t(n_1+n_2-2) Swn11+n21(X−Y)−(μ1−μ2)→t(n1+n2−2)
Sw2=(n1−1)S12+(n2−1)S22n1+n2−2S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2} Sw2=n1+n2−2(n1−1)S12+(n2−1)S22
(X‾−Y‾−tα/2(n1+n2−2)Sw1n1+1n2,X‾−Y‾+tα/2(n1+n2−2)Sw1n1+1n2)(\overline{X}-\overline{Y} - t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}, \overline{X}-\overline{Y} + t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}) (X−Y−tα/2(n1+n2−2)Swn11+n21,X−Y+tα/2(n1+n2−2)Swn11+n21) - 两个正态总体方差比的置信区间（σ12/σ22,1−α\sigma_1^2/\sigma_2^2, 1-\alphaσ12/σ22,1−α）
S12/S22σ12/σ22→F(n1−1,n2−1)\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} \to F(n_1-1, n_2-1) σ12/σ22S12/S22→F(n1−1,n2−1)
(S12/S22Fα/2(n1−1,n2−1),S12/S22F1−α/2(n1−1,n2−1))(\frac{S_1^2/S_2^2}{F_{\alpha/2}(n_1-1,n_2-1)}, \frac{S_1^2/S_2^2}{F_{1 - \alpha/2}(n_1-1,n_2-1)}) (Fα/2(n1−1,n2−1)S12/S22,F1−α/2(n1−1,n2−1)S12/S22)
1.4 其他（置信水平的理解，样本容量对区间长度的影响）
- 置信水平的理解：如果采用某种方法构造出一个置信水平 0.95 的区间（这个区间的两个端点是统计量的函数），当我们代入 100 次统计量的数据从而得到 100 个区间时，平均有 95 个区间要包含总体参数。
- 样本容量对区间长度的影响：以 95% 的区间估计为例
4倍的样本容量，抽样误差才可能缩减一半
（1）总体比例
2×1.96ps(1−ps)n2 \times 1.96\sqrt{\frac{p_s(1-p_s)}{n}} 2×1.96nps(1−ps)
（2）方差未知正态总体
2×t0.025(n−1)sn2 \times t_{0.025}(n-1)\frac{s}{\sqrt{n}} 2×t0.025(n−1)ns
（3）方差已知正态总体
2×1.96σ0n2 \times 1.96 \frac{\sigma_0}{\sqrt{n}} 2×1.96nσ0
四、常考题型及解题思路
- 求参数的矩估计量
- 求参数的最大似然估计量
- 频率估计概率的原理求某参数的估计值
- 求参数，使估计量满足无偏性
- 求估计量的方差，判断哪个估计量更有效
- 求置信区间
PDF版本下载
东北大学应用数理统计第二章知识点总结——参数估计相关推荐
- 2021-08-08概率论与数理统计-第二章
文章目录 概率论与数理统计-第二章 概率论与数理统计-第二章
- java第二章复习_JAVA第二章知识点
JAVA第二章知识点 本章知识梳理 2.1 关键字 2.2 标识符 2.3 变 量 2.4运算符 2.5 程序流程控制 2.6 方法 2.1 关键字 关键字(keyword)的定义和特点 定义:被ja ...
- java第二章_JAVA第二章知识点
JAVA第二章知识点 本章知识梳理 2.1 关键字 2.2 标识符 2.3 变 量 2.4运算符 2.5 程序流程控制 2.6 方法 2.1 关键字 关键字(keyword)的定义和特点 定义:被ja ...
- 计算机应用基础第一章第二章知识点,全国2013年自考《计算机应用基础》教材大纲第二章...
第二章 计算机操作系统 (一)课程内容 第 1 节 操作系统基本知识 第 2 节 Windows2000 基本内容 第 3 节 Windows 安装和操作 第 4 节 Windows 的应用程序 第 ...
- 2020-08-07 光纤通信第二章知识点整理
目录 2.1 半导体激光器 2 2.1.1 激光原理的基础知识 2 2.1.2 激光激射条件 3 2.1.3 结构理论 4 2.1.4 典型分类 6 2.1.5 模式概念 7 2．1.6 基本性质 8 ...
- 死锁 操作系统第二章知识点归纳总结
系列文章 第一章 操作系统概述 第二章 进程管理之进程描述与控制 第二章 进程管理之进程调度 第二章 进程管理之进程同步 第二章 进程管理 死锁 一组相互竞争系统资源或进行通信的进程间的永久阻塞 2. ...
- 进程调度 操作系统第二章知识点归纳总结
系列文章 第一章 操作系统概述 第二章 进程的描述与控制 第二章 进程管理 -调度 2.7 调度的类型 长程调度:决定哪个程序能进入系统成为进程,是创建进程的部分,用时最长 中程调度:决定哪个进程能进 ...
- 进程的描述与控制 操作系统第二章知识点归纳总结
系列文章 第一章 操作系统概述 第二章 进程调度 第二章 进程的描述与控制 2.1 什么是进程 程序代码+相关数据+程序控制块PCB 当处理器开始执行一个程序的代码时,称这个执行的实体为进程 2.1. ...
- 数值分析(第五版) 第二章知识点总结
仅供大致参考,有许多定义存在不严谨的地方:不同学校的考察重点自然是不同的 第二章 插值法 拉格朗日插值 Pn(x)=Ln(x)=∑i=0nf(xi)li(x)P_{n}(x)=L_{n}(x)=\su ...
最新文章
- JS经典面试题03-引用类型连续赋值a.x = a = { n: 2 }
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits中的“logits”到底是个什么意思？
- linux版本查看命令多少位,查看linux系统版本命令32位还是64位
- 【CodeForces - 1027C】Minimum Value Rectangle （数学，公式化简，思维，卡常卡memset）
- VS2013编译64位boost流程及若干问题
- python现有两个磁盘文件a和b_有两个磁盘文件a和b，各存放一行字母，今要求把这两个文件中的信息合并...
- api 另一窗体 之上_12 个设计 API 的安全建议，不要等出事儿了“捶胸顿足”
- Java中List判空问题白话详解
- 我不是领导，如何让别人听我的话？
- unity打开excel表格_Unity3D读取之（二）——读取Excel文件内容
- 【ArcGIS教程03】基础知识（建议收藏）
- 【信号与系统实验】实验七 音频信号的采集和传输
- CentOS 7 安装教程、硬盘分区、LVM、网络配置、软件源配
- 如何看懂常用原理图符号、如何阅读原理图
- m3u8流媒体下载 swift
- 微信小程序实现自动语音功能：小程序语音提醒演示
- 案例分享：如何通过数据分析进行活动效果评估
- html调用 另存为,：将html另存为文本
- 9--《Method and apparatus for providing an e-bussiness audit trail in a distribu》
- http 状态码以及http请求、响应