PLS中的权值和载荷

很多人学习PLS之前是从PCR入手的，我个人认为这是PLS不错的打开方式，PCR和PLS主要区别是两者在权值W的选择上有本质的区别。

PCR的权值选择是基于X本身的特征向量，而PLS则根据X‘Y的特征向量来选择。PLS早在80年代就已经提出来，当时计算特征向量并不像今天这么容易，随便调用一个SVD就行。当时求特征向量是通过幂法得到，所以，在PCR和PLS中都能找到NIPALS算法，这个迭代算法主要是用于计算特征向量。事实上，今天我们调用的SVD算法仍然是基于这种办法，只不过做了很多改进，我们也无需去关注算法的原理与细节，只要得到我们想要的结果即可。

我们都知道，PCR让人很舒服的地方在于权值和载荷是一样的，我们先看一些SVD分解

$\\A = U\Sigma V^T \\W = V \\T = AW = U\Sigma \\P = W \\TP^T =AWW^T=A$

W是酋矩阵，对于PCR来说，W是X的各个特征向量，同时它各个成分是相互正交，这就保证了每一个得分与后面残差保持了正交的关系。

对于任意 $t_i,t_j$ 都满足以下条件

$t_i^Tt_j = (Aw_i)^T (Aw_j)=w_i^TA^TAw_j$

由于V是 $A^TA$ 的特征向量

$A^TA = (U\Sigma V^T)^TU\Sigma V^T=V\Sigma ^2V^T$

由于W=V，则有

$A^TAw_i= \lambda_iw_i$

$t_i^Tt_j = w_i^TA^TAw_j = \lambda_jw_i^Tw_j=\left\{\begin{matrix} 1,i=j\\ 0,i\neq j \end{matrix}\right.$

$w_i$ 满足相互正交，且关于 $A^TA$ 共轭正交，这也保证了每一个得分与其之后的残差矩阵保持正交的关系。

然而对于PLS而言，就没那么幸运了。举例而言，PLS1为例， $w\propto X^Ty$ ,可以看出，这个权值其实正比于X和y的协方差，它基本上不是 $X^TX$ 的特征向量。说到这里，理由还并不充分。

因为对于PLS而言，

$t_i= E_{i-1}w_i$

姑且查看 $t_1,t_2$ 的关系

$t_1^Tt_2 = t_1^TX_1w_2=t_1^T(X_0-t_1w_1^T)w_2=w_1^TX_0^TX_0w_2$

从求权值的过程来看， $w_1,w_2$ 显然都不是 $X_0^TX_0$ 的特征向量，所以其正交的可能性不大，并非说一定不可能，由上式可以得到

$t_1^Tt_2 =(t_1^TX_0-t_1^Tt_1w_1^T)w_2$

欲令上式等于0，只要满足 $t_1^TX_0-t_1^Tt_1w_1^T=0$ ，由此得到 $w_1^T = t_1^TX_0/(t_1^Tt_1)$ ,是不是很眼熟，这不正是载荷p的转置吗。好了，上面说了这么多，就是为了说明为什么载荷不能直接用权值代替的原因，说得不是特别透彻，大致应该可以理解了。

那么p之间是否存在正交的关系呢，答案是否定的。对于不同的p向量，则有如下关系

$p_i^Tp_j =(E_{i-1}^Tt_i)/(t_i^Tt_i))^TE_{j-1}^Tj_i)/(t_j^Tt_j)$

我们只需要观察 $t_i^TE_{0}E_{0}^Tt_j$ 是否为0，从形式来看，t显然不是 $E_{0}E_{0}^T$ 的特征向量，所以难以保证上式为0，但并非说一定不为0

由于t一直在E0的列空间内，所以t在E0空间上的投影还是自身，因此有

$t_i^TE_{0}(E_{0}E_{0}^T)^-E_{0}^Tt_j=t_i^Tt_j=0$

由此可以推得

$p_i^T(E_{0}E_{0}^T)^-p_j=0$

p关于 $(E_{0}E_{0}^T)^-$ 空间是正交的，也称为共轭正交

到了这里，我们对于p和w之间已经有了不少的认识，下面总结一下p和w之间的关系

$p_i^Tw_i^ = t_i^TE_{i-1}w_i/(t_i^Tt_i)=t_i^Tt_i/(t_i^Tt_i)=1$

当i相同时，p在w上投影值为单位长度1，注意到 $w_i^Tw_i^ =1$ ,这二者存在什么关系呢

将p分解为w的投影部分和正交部分 $p = p_w+p_o$

计算p的投影部分 $p _w= p^Tw/(w^Tw)*w = w$ ,由此可见，p包含了两部分内容，正交部分刚好弥补了w的不足

在展开w和p的关系前，先讨论了一下E和w之间的关系

$\\E_i = E_{i-1} -t_ip_i^T \\E_iw_i = E_{i-1}w_i -t_ip_i^Tw_i = t_i-t_i = 0$

对于任意j>i

$\\E_j = E_{j-1} -t_{j}p_{j}^T=(I-t_jt_j^T/(t_j^Tt_j))E_{j-1} =\prod_{d=i}^{j}(I-t_dt_d^T/(t_d^Tt_d))E{i-1}$

$(I-t_dt_d^T/(t_d^Tt_d))E_{d-1}*w_d = t_d - t_d = 0$

由上述可以得到

$\\E_jw_i= 0,j>=i$

有了这些信息，后面可以就p和w之间接着展开讨论

$p_j^Tw_i = t_j^TE_{j-1}w_i/(t_i^Tt_i)$

当j>i时，则有

$p_j^Tw_i = 0$

也就是说权值w与后续的载荷p是其正交的。w和p的关系就说到这里了，以后有想到再补充。

后记: 经过一段时间对PLS的继续学习,理解更加深入后,对w和p重新做了一段整理,详情见该文章

https://blog.csdn.net/billy145533/article/details/103482611

参考

主元分析与偏最小二乘法

PLS中的权值和载荷相关推荐

基于Python（sklearn）计算PLS中的VIP值
基于Python(sklearn)计算PLS中的VIP值 sklearn中PLS回归模型并没有计算VIP值的方法,但VIP又是很重要的筛选变量方法.下附代码思路与完整代码,若有错误,万望指正. 1.首 ...
如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
java二叉树求权值_二叉树中的权值是什么？
展开全部二叉树中的权值就是对叶子结点赋予的一个有意义的数量值. 一棵深度为k,且有2^k-1个节点的二叉树,32313133353236313431303231363533e58685e5aeb93 ...
求在整数序列A中连续权值最大的子序列的权值
题目描述给定整数序列A. 求在整数序列A中连续权值最大的子序列的权值. 输入描述: 第一行输入整数n.(1<=n<=1000) 第二行输入n整数a.(-1000<=a<=10 ...
偏最小二乘法中的权值w和载荷p
先介绍一下奇异值分解,也称为谱分解 A=UΣVTA = U\Sigma V^T A=UΣVT 这里UUU称为左奇异向量,VVV称为右奇异向量,Σ\SigmaΣ为奇异矩阵. 奇异值分解常常用来做低秩逼近 ...
卷积神经网络中的权值共享
一.起源权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积 ...
神经网络中的权值共享
2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用--其中一个就是权值共享. 神经网络的输入 ...
如何理解卷积神经网络中的权值共享
权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构,就是下面这个: 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端,但是CNN的 ...
理解卷积神经网络中的权值共享
首先介绍单层网络实行的权重共享袁力介绍简单从共享的角度来说:权重共享即filter的值共享卷积神经网络两大核心思想: 1.网络局部连接(Local Connectivity) 2.卷积核参数共享( ...

PLS中的权值和载荷

PLS中的权值和载荷相关推荐

最新文章

热门文章