偏最小二乘法中的权值w和载荷p

先介绍一下奇异值分解，也称为谱分解
A=UΣVTA = U\Sigma V^T A=UΣVT
这里UUU称为左奇异向量，VVV称为右奇异向量，Σ\SigmaΣ为奇异矩阵。
奇异值分解常常用来做低秩逼近，也就是保留最大的前r个奇异值以及特征向量，作为在秩为r时的最佳逼近
T=AV=UΣ=[t1,…,tr]Ar=t1v1T+⋯+trvrT=λ1u1v1T+⋯+λrurvrTT = AV =U\Sigma= [t_1,\dots,t_r] \\A_r = t_1v_1^T+\dots+t_rv_r^T=\lambda_1u_1v_1^T+\dots+\lambda_ru_rv_r^T T=AV=UΣ=[t1,…,tr]Ar=t1v1T+⋯+trvrT=λ1u1v1T+⋯+λrurvrT
λ\lambdaλ为奇异值，TTT为得分矩阵，我们可以看到奇异分解的特殊性，那就是V即使权值矩阵，又是载荷矩阵，这是因为V满足如下特点
viTvj={0i≠j1i=jviTATAvj={0i≠jλi2i=jv_i^Tv_j = \left\{\begin{matrix} 0& i\neq j\\ 1&i = j \\ \end{matrix}\right. \ \ \ \ v_i^TA^TAv_j = \left\{\begin{matrix} 0& i\neq j\\ \lambda_i^2&i = j \\ \end{matrix}\right. viTvj={01i=ji=j viTATAvj={0λi2i=ji=j
由此，我们可以看到，当i≠j,viTvj=viTATAvj=tiTtj=0i \neq j,v_i^Tv_j=v_i^TA^TAv_j=t_i^Tt_j=0i=j,viTvj=viTATAvj=tiTtj=0,viv_ivi和vjv_jvj既正交又共轭。

好了，下面可以看看偏最小二乘法的w和p,为何两者是不同呢，原因是如果w=p，那么无法保证tit_iti和tjt_jtj正交
以下均假定i≠ji \neq ji=j
为了简化问题，只讨论在单变量的情况,存在如下关系
wi=Xi−1Ty/∣∣Xi−1Ty∣∣ti=Xi−1wiwiTwj=0w_i = X_{i-1}^Ty/||X_{i-1}^Ty||\\ t_i = X_{i-1}w_i\\ w_i^Tw_j = 0 wi=Xi−1Ty/∣∣Xi−1Ty∣∣ti=Xi−1wiwiTwj=0
假设w=pw=pw=p,则有Xi=Xi−1−tiwiTX_{i} = X_{i-1}-t_iw_i^TXi=Xi−1−tiwiT
考查t1t_1t1和t2t_2t2之间的关系
t1Tt2=w1TX0TX1w2=w1TX0T(X0−t1w1T)w2=w1TX0TX0w2t_1^Tt_2 = w_1^TX_0^TX_1w_2=w_1^TX_0^T(X_0-t_1w_1^T)w_2 =w_1^TX_0^TX_0w_2 t1Tt2=w1TX0TX1w2=w1TX0T(X0−t1w1T)w2=w1TX0TX0w2
按照前面的讨论，如果w1w_1w1和w2w_2w2属于X0TX0X_0^TX_0X0TX0的特征向量的话，那么没问题。但是显然根据wiw_iwi的生成方式，并不满足这个条件。所以不能以此作为载荷。
按照最小二乘法得到pi=Xi−1T∗ti/(tiTti)p_i = X_{i-1}^T*t_i/(t_i^Tt_i)pi=Xi−1T∗ti/(tiTti)
那么有
piTwi=tiTXi−1∗wi/(tiTti)=1p_i^Tw_i = t_i^TX_{i-1}*w_i/(t_i^Tt_i) = 1 piTwi=tiTXi−1∗wi/(tiTti)=1
由于wiw_iwi是单位向量，这意为着pip_ipi在wiw_iwi上的投影为1，所有pi=wi+wi⊥p_i = w_i+w_i^\perppi=wi+wi⊥,wi⊥w_i^\perpwi⊥表示正交于wiw_iwi的部分，这部分内容的增加使得tit_iti和tjt_jtj正交成立。

偏最小二乘法中的权值w和载荷p相关推荐

PLS中的权值和载荷
很多人学习PLS之前是从PCR入手的,我个人认为这是PLS不错的打开方式,PCR和PLS主要区别是两者在权值W的选择上有本质的区别. PCR的权值选择是基于X本身的特征向量,而PLS则根据X'Y的特征 ...
如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
java二叉树求权值_二叉树中的权值是什么？
展开全部二叉树中的权值就是对叶子结点赋予的一个有意义的数量值. 一棵深度为k,且有2^k-1个节点的二叉树,32313133353236313431303231363533e58685e5aeb93 ...
求在整数序列A中连续权值最大的子序列的权值
题目描述给定整数序列A. 求在整数序列A中连续权值最大的子序列的权值. 输入描述: 第一行输入整数n.(1<=n<=1000) 第二行输入n整数a.(-1000<=a<=10 ...
BP算法，用梯度下降法更新权值W与偏置项b
Bp算法实际是输出的误差函数对每一个参数求导,输出层可以直接求出,非输出层则有链式法则求导.这里以上图5层神经网络为例进行说明. 一符号说明: 1)这里使用激活函数为sigmoid函数: ...
卷积神经网络中的权值共享
一.起源权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积 ...
神经网络中的权值共享
2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用--其中一个就是权值共享. 神经网络的输入 ...
如何理解卷积神经网络中的权值共享
权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构,就是下面这个: 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端,但是CNN的 ...
理解卷积神经网络中的权值共享
首先介绍单层网络实行的权重共享袁力介绍简单从共享的角度来说:权重共享即filter的值共享卷积神经网络两大核心思想: 1.网络局部连接(Local Connectivity) 2.卷积核参数共享( ...

偏最小二乘法中的权值w和载荷p

偏最小二乘法中的权值w和载荷p相关推荐

最新文章

热门文章