Bootstrap重抽样方法

Bootstrap重抽样数据集的产生方式主要分为3种方法：

非参数重抽样 Non-parametric resampling

此方法不假设数据的分布或模型。数据表示为n个独立观测向量yobsy_{obs}yobs, 假设求参数θ^(yobs)\hat{\theta}(y_{obs})θ^(yobs)的置信区间，非参数bootstrap抽样的步骤如下：

从yobsy_{obs}yobs中进行放回的重抽样nnn次，得到bootstrap数据集，表示为Y∗Y^*Y∗；
计算抽样数据集的统计量：θ^∗=θ^(Y∗)\hat{\theta}^* = \hat{\theta}(Y^*)θ^∗=θ^(Y∗)
重复步骤1,2总共BBB次，得到θ^∗\hat{\theta}^*θ^∗的bootstrap分布。

从排序后的系列θ^1∗,θ^2∗,…,θ^B∗\hat{\theta}_1^*,\hat{\theta}_2^*,\ldots,\hat{\theta}_B^*θ^1∗,θ^2∗,…,θ^B∗，可以计算θ^∗\hat{\theta}^*θ^∗的置信区间。

参数重抽样 Parametric resampling

根据数据计算总体θ\thetaθ的估计值θ^\hat{\theta}θ^，方式比如采用极大似然估计；
把估计值θ^\hat{\theta}θ^代入模型FY(.;θ^)F_Y(.;\hat{\theta})FY(.;θ^); 从模型抽取nnn个观测，形成数据集Y∗Y^*Y∗;
计算θ^∗=θ^(Y∗)\hat{\theta}^* = \hat{\theta}(Y^*)θ^∗=θ^(Y∗)；
重复2,3步BBB次，得到估计量的参数bootstrap分布。

参数重抽样和非参数重抽样的主要区别在于bootstrap数据集Y∗Y^*Y∗的生成，如果是从原始数据生成的，是非参数重抽样；如果是原始数据计算估计参数，然后把估计参数代入模型或分布，再生成数据集的，是参数重抽样。

半参数重抽样 Semi-parametric resampling

半参数重抽样是指模型y=g(β,x)+ry=g(\beta,x)+ry=g(β,x)+rrrr是残差。

令r~i=ri−rˉ\tilde{r}_i=r_i - \bar{r}r~i=ri−rˉ，采用非参数方式重抽样方式得到r1∗,r2∗,…,rn∗r_1^*, r_2^*, \ldots, r_n^*r1∗,r2∗,…,rn∗
计算bootstrap数据集(参数方法)yi∗=g(β^,x)+ri∗,i∈1,2,3,…,ny_i^*=g(\hat{\beta}, x) + r_i^*, \quad i\in 1,2,3,\ldots,nyi∗=g(β^,x)+ri∗,i∈1,2,3,…,n，得到Y∗Y^*Y∗；
根据生成的数据集Y∗Y^*Y∗, 计算β∗\beta^*β∗
重复步骤1-3 BBB次，得到β∗\beta^*β∗的bootstrap分布。

和参数重抽样相比，参数重抽样模型随机的数据来自正态分布N(0,σ2)N(0, \sigma^2)N(0,σ2)，半参数重抽样模型随机的数据来自残差（调整）非参数重抽样。

Bootstrap重抽样方法相关推荐

统计学习（四）：重抽样方法
文章目录重抽样方法交叉验证法验证集方法 k折交叉验证法偏差--方差均衡交叉验证法在分类问题中的应用自助法重抽样方法重抽样方法(resampling method)是一种不可或缺的工具 ...
Kmeans聚类K值选择Parametric Bootstrap方法，以及数据重抽样方法Bootstrapping
常用的K值选择方法是通过寻找"拐点"确认,或者下游业务需求确定.下文介绍了另一种选择方法. 评论:原始该K值选择法只有在数据为"gaussian-like"时才 ...
parametric bootstrap参数估计抽样方法的R实现
Bootstrap: 在统计学中,自助法(Bootstrap Method,Bootstrapping或自助抽样法)是一种从给定训练集中有放回的均匀抽样,也就是说,每当选中一个样本,它等可能地被再次选 ...
(ISLR-note)Chapter5 重抽样方法
一.交叉验证法 1.验证集方法将数据分为训练集和验证集. 2.留一交叉验证法LOOCV ①将一个单独的观测(x1,y1)作为验证集,剩下的观测 {(x2,y2), (x3,y3), - , ( ...
过拟合与模型调优(part2)--重抽样技术
学习笔记,仅供参考,有错必纠 PS : 本BLOG采用中英混合模式,有些英文下有中文翻译文章目录重抽样技术 k折交叉验证重复训练/测试集划分 Bootstrap方法重抽样技术 Generall ...
缺失数据的Bootstrap与Jackknife方法：《Statistical Analysis with Missing Data》习题5.1 5.2
一.题目 5.1 本题基于之前习题1.6产生关于 ( Y 1 , Y 2 , U ) (Y_1, Y_2, U) (Y1,Y2,U)的模拟数据: y i 1 = 1 + z i 1 y_{i1}= ...
R语言使用BOOT重抽样获取cox回归方程C-index（C指数）可信区间(2)
bootstrap自采样目前广泛应用与统计学中,其原理很简单就是通过自身原始数据抽取一定量的样本(也就是取子集),通过对抽取的样本进行统计学分析,然后继续重新抽取样本进行分析,不断的重复这一过程N(大 ...
R语言实战笔记--第十二章重抽样（置换检验）与自助法
R语言实战笔记–第十二章重抽样(置换检验)与自助法标签(空格分隔): R语言重抽样自助法置换检验置换检验双样本均值检验的时候,假设检验的方法就是,检查正态性.独立性.方差齐性,分别对应的 ...
bootstrap 时间线_R语言——通过bootstrap自抽样量化统计估计量的不确定性
开始今天的内容之前,需要大吼一声放假啦!感恩节假期正式开始,并且为防止节假日人流带来的更严重的新冠传染,感恩节之后本学期所有的课程也都将转为线上,也就是说,直到春季学期开学,我都会蜗居在自己的公寓里. ...

Bootstrap重抽样方法

Bootstrap重抽样方法

非参数重抽样 Non-parametric resampling

参数重抽样 Parametric resampling

半参数重抽样 Semi-parametric resampling

Bootstrap重抽样方法相关推荐

最新文章

热门文章