开始的疑问是，如果考虑的问题是形如

$\min_x\|y-x\|_2^2+\lambda\|x\|_2$

的去噪问题，那么能用CV的方法来选择最优参数吗，假设取90%的数据作为训练集，在训练集上应该只能得到这90%的数据所对应的估计x，那要怎么得到测试集数据的估计？直觉是这样的模型是不能用CV选择参数的，但之前听说在图像恢复问题中是可以用GCV来选择参数的，所以一直对这个参数选择过程存在一些疑惑. 这次仔细看了下几篇文章，发现CV方法确实是不适用于上述问题的，但GCV貌似是可以的，不过仅从给出的公式来看并不能得到这个结论，所以GCV到底能不能用还得再仔细分析一下，以后有时间再看吧. 在图像恢复问题中，如果模糊算子H不是对角的，GCV和CV应该都是适用的.

普通交叉验证[1,2]：

考虑多元线性回归

$y=X\beta+\varepsilon$

$y \in R^n$ 是响应变量， $X\in R^{n\times p}$ 已知， $\varepsilon \in R^p$ 是白噪声，考虑如下最小化问题：

$\min\limits_{\beta} \|y-X\beta\|_2^2+\lambda\|\beta\|_2^2$

则有 $\beta$ 的估计

$\hat{\beta}(\lambda) = (X^TX+\lambda I)^{-1}X^Ty$

令 $\beta^{(k)}(\lambda)$ 表示是提出了第k 个数据后得到的估计结果，即

$\beta^{(k)}(\lambda)=\arg\min_{\beta}\sum_{i=1,i\neq k}^{n}(y_i-[X\beta]_i)^2+\lambda\|\beta\|_2^2$

交叉验证的基本思想是，如果此时的 $\lambda$ 是一个好的参数，则 $[X\beta^{(k)}(\lambda)]_k$ 应该是 $y_k$ 的一个好的估计，因此定义了如下的CV函数：

$CV(\lambda)=\frac{1}{n}\sum_{k=1}^{n}([X\beta^{(k)}(\lambda)]_k-y_k)^2$

从而， $\lambda$ 的最佳估计是 $\hat{\lambda}=\min CV(\lambda)$ .

注意：如果X是对角矩阵，那么在剔除第k个元素后，是不能得到合理的 $\beta^{(k)}(\lambda)$ 的，这个时候 $[X\beta^{(k)}(\lambda)]_k$ 是0，

$CV(\lambda)=\frac{1}{n}\sum_{k=1}^{n}y_k^2$

所以最小化CV函数是得不到 $\lambda$ 的估计的. 特别地，如果X是单位矩阵，自然也不能用CV的方法来选择正则化参数。

广义交叉验证[2]

广义交叉验证是旋转不变的交叉验证(什么是旋转不变?)

$GCV(\lambda)=\frac{1}{n}\sum_{k=1}^{n}([X\beta^{(k)}(\lambda)]_k-y_k)^2w_k(\lambda)$

仅从这个公式来看，GCV只是加权后的CV，不太明白为什么可以克服X是对角矩阵对CV的限制.

图像恢复问题中的正则化参数选择[3]

考虑图像模型

$g=Hf+n$

其中 $g \in R^{n^2}$ 是观测图像， $f \in R^{n^2}$ 是恢复图像， $H \in R^{n^2\times n^2}$ 是已知的模糊矩阵， $n\sim N(0,\sigma ^2)$ 是噪声. 图像恢复问题可以考虑求解下列最小化问题：

$\min_{f}\frac{1}{\alpha}\|Hf-g\|_2^2+\|f\|_{TV}$

引入辅助变量u, 则利用变量分裂法可以将问题转化为：

$\min_{f,u}\frac{1}{\alpha}\|Hf-g\|_2^2+\frac{\beta}{2}\|u-f\|_2^2+\|u\|_{TV}$

从而，上述问题可以利用交替迭代来求解.

令 $\gamma =\alpha \beta/ 2$ ，考虑下述问题中正则化参数的选择

$\min_{f}\frac{1}{\alpha}\|Hf-z\|_2^2+\gamma \|u-f\|_2^2,\ z=g+v$ , 注： v 是在计算u的过程中产生的(与我们关心的问题无关，所以没仔细看).

有

$f^{(k)}(\gamma)=\arg\min_f\sum_{i=1,i\neq k}{n^2}([z-Hu]_j-[Hf]_j)^2$

$GCV(\gamma )=\frac{1}{n^2}\sum_{k=1}{n^2}([z-Hu]_k-[Hf^{(k)}(\gamma )]_k)^2w_k(\gamma )$

从而 $\gamma$ 的最佳估计是 $\hat{\gamma}=\min GCV(\gamma )$ .

只看 $f^{(k)}(\gamma)$ 的表达式的话，如果H是单位矩阵应该也不行啊，奇奇怪怪.

Allen, David M. The Relationship Between Variable Selection and Data Agumentation and a Method for Prediction. Technometrics, Vol. 16, No. 1 (February, 1974), pp. 125-127. https://doi.org/10.1080/00401706.1974.10489157
Golub, G.H., Heath, M., Wahba, G.: Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics 21(2), 215–223 (1979). https://doi.org/10.1080/00401706.1979.10489751
Haiyong Liao, Fang Li, and Michael K. Ng, Selection of regularization parameter in total variation image restoration, J. Opt. Soc. Am. A 26, 2311-2320 (2009). https://doi.org/10.1364/JOSAA.26.002311

【笔记】普通交叉验证 (CV) ，广义交叉验证(GCV)，图像恢复正则化参数选择相关推荐

ESL第七章模型评估及选择【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录 7.2 偏差.方差和模型复杂度 7.3 偏差-方差分解 7.3.1 例子:方差-偏差权衡 7.4 训练误差率的"乐观optimism" 7.5 样本内预测误差的估计.Cp和A ...
R语言构建xgboost文本分类模型（bag of words）：xgb.cv函数交叉验证确定xgboost模型的最优子树个数、交叉验证获取最优子树之后构建最优xgboost模型并评估模型文本分类效能
R语言构建xgboost文本分类模型(bag of words):xgb.cv函数交叉验证确定xgboost模型的最优子树个数.交叉验证获取最优子树之后构建最优xgboost模型并评估模型文本分类效能 ...
R语言构建xgboost模型：xgb.cv函数交叉验证确定模型的最优子树个数（可视化交叉验证对数损失函数与xgboost模型子树个数的关系）、交叉验证获取最优子树之后构建最优xgboost模型
R语言构建xgboost模型:xgb.cv函数交叉验证确定模型的最优子树个数(可视化交叉验证对数损失函数与xgboost模型子树个数的关系).交叉验证获取最优子树之后构建最优xgboost模型目录
文本分类 - 样本不平衡的解决思路与交叉验证CV的有效性
现实情况中,很多机器学习训练集会遇到样本不均衡的情况,应对的方案也有很多种. 笔者把看到的一些内容进行简单罗列,此处还想分享的是交叉验证对不平衡数据训练极为重要. 文章目录 1 样本不平衡的解决思路 ...
【笔记】【机器学习基础】交叉验证
(一)交叉验证交叉验证(cross-validation)是一种评估泛化性能的统计学方法,它比单次划分训练集和测试集的方法更加稳定.全面.在交叉验证中,数据被多次划分,并且需要训练多个模型. 最常用 ...
广义交叉验证（GCV）
广义交叉验证(Generalized Cross-Validation ,GCV) GCV=1N∑Nn=1[yn−f(Xn)]2[1−df/N]2=1NRSS[1−df/N]2GCV=1N∑n=1N[ ...
普通交叉验证（OCV）和广义交叉验证（GCV）
普通交叉验证OCV OCV是由Allen(1974)在回归背景下提出的,之后Wahba和Wold(1975)在讨论了确定多项式回归中多项式次数的背景,在光滑样条背景下提出OCV. Craven和Wa ...
matlab gcv,广义交叉验证
交叉验证,有时亦称循环估计, 是一种统计学上将数据样本切割成较小子集的实用方法.于是可以先在一个子集上做分析, 而其它子集则用来做后续对此分析的确认及验证. 一开始的子集被称为训练集.而其它的子集则被 ...
交叉验证方法汇总【附代码】（留一法、K折交叉验证、分层交叉验证、对抗验证、时间序列交叉验证）
目录交叉验证是什么? 留一验证(LOOCV,Leave one out cross validation ) LOOCC代码验证集方法验证集方法代码 K折交叉验证(k-fold cross va ...

【笔记】普通交叉验证 (CV) ，广义交叉验证(GCV)，图像恢复正则化参数选择

普通交叉验证[1,2]：

广义交叉验证[2]

图像恢复问题中的正则化参数选择[3]

【笔记】普通交叉验证 (CV) ，广义交叉验证(GCV)，图像恢复正则化参数选择相关推荐

最新文章

热门文章