学习 Hybrid Beamforming for Millimeter Wave Systems Using the MMSE Criterion

链接: https://github.com/TianLin0509/Hybrid-Beamforming-for-Millimeter-Wave-Systems-Using-the-MMSE-Criterion.

Hybrid Beamforming for Millimeter Wave Systems Using the MMSE Criterion

摘要：
Contributions
场景建模
problem Formulation
问题求解
- 混合传输设计
流形算法
- 求导过程
GEVD 方法
- 初始化方法
宽带毫米波系统
- A lower bound (Jensen's inequality)
- - 琴森不等式：
- Upper Bound for Minimization (better algorithm) 逆矩阵特征值的性质
- - Courant-Fischer min-max theorem 极大极小定理
  - 韦尔定理 Wely theorem
  - 矩阵求逆定理(matrix inversion lemma)
  - Lemma3,(BHAB)−1特征值小于BHA−1B(B^HAB)^{-1}特征值小于B^HA^{-1}B(BHAB)−1特征值小于BHA−1B

Author : 林田

摘要：

首先提出了 ** manifold optimization-based HBF ** algorithm is first proposed， which is directly handled the constant modulus constrains of the analog component and proved its convergence.
For narrowband scenario, propose a low-complexity general eigenvalue decomposition-based HBF algorithm
For broadband scenario, propose three algorithms via the eigenvalue decomposition and orthogonal matching pursuit (正交匹配追踪）

Contributions

aiming at minimizing the modified MSE .

在宽带场景下，挑战是 数字预编码 should be optimized for == different subcarriers == while the ** analog one ** is == invariant== for the whole frequency band. (数字需要根据不同的子载波设计，而模拟在整个频带中是保持不变的）。

分解原始的 sum-MSE 最小化问题为传输混合预编码和接受合并设计两个子问题，分析发现两个子问题可以统一为几乎相同的表达式。
首先针对模拟预编码的常量模约束，采用MO方法。不同于论文[18] X. Yu, J.-C. Shen, J. Zhang, and K. B. Letaief, “Alternating minimization algorithms for hybrid precoding in millimeter wave MIMO systems,”中采用的MO方法最小化混合预编码与全数字预编码之间的Euclidean 距离，本文采用MO直接最小化 sum-MSE。并且推出了更加复杂的Euclidean 共轭梯度。
为了降低MO算法的复杂度，提出了几个低复杂度的算法，在窄带场景，展现了模拟波束成形可以以列到列的优化方式采用GEVD（general eigen-decomposition) 方法求解。
在宽带场景下，求出了原始目标函数的上界与下界，提出了两种基于eigen-decomposition (EVD)的算法。

场景建模

端到端的窄带毫米波MIMO场景：

通过Nt个发送天线以及Nr个接收天线对Ns个数据流进行传输。Ns X 1 的数据流首先经过基带数字预编码然后通过模拟预编码VRF。

problem Formulation

本文采用最小化MSE作为优化目标：

这个MSE也被称为 ** modified MSE** ，其中β\betaβ为标量因子，与混合预编码一起优化，物理意义上是将接收到的信号放大/缩小一定的幅度，使之更接近于原始信号。。那么为什么要引入β\betaβ这个因子呢？

第一，在传统的MIMO波束成形研究中，在设计预编码矩阵的时候，如果以原始的MSE（无β\betaβ）为目标，会发现预编码矩阵的设计与噪声能量无关！这其实不符合MSE的初衷。而如果引入ββ，预编码矩阵的解就与噪声能量相关，也因此可以达到更合理的性能。
第二，从数学意义上而言，混合波束成形问题中，需要求解四个矩阵，愈发复杂。而以传统MSE为目标求解的时候，考虑发送的功率约束，需要引入拉格朗日乘子，这个乘子非常难求，且影响后续对其他矩阵的设计。而引入β\betaβ后，后面的推导会证明大大简化了数学求解难度。
第三，引入β\betaβ后，可以使得固定接收端解发送端和固定发送端解接收端两个子问题可以化为完全一致的形式，也就可以用同样的算法来求解了。
（以上分析转载于作者，链接:
https://blog.csdn.net/weixin_39274659/article/details/108208409）.
在研究点到点的传输系统中，接收端也会有波束赋形的操作，因此scaling也可以视为在接收端完成。通过调整这个参数β\betaβ以获得更好的结果，同时能调整总传输能量约束。
求解MSE:

可以发现在噪声项中也有参数β\betaβ。
同时模拟预编码端需要满足每一个元素都要为连续模约束: ∣[VRF]ik∣=1|[V_{RF}]_{ik}|=1∣[VRF]ik∣=1

问题求解

原式中存在五个变量，因此考虑分解为两个子问题。

混合传输设计

首先考虑优化混合预编码以及β\betaβ参数。原始VBV_BVB可以分解为VB=βVuV_B=\beta V_uVB=βVu，其中VUV_UVU是一个没有归一化的基带预编码。固定了W后，可以得到等效信道 H1=HHWRFWBH_1=H^H W_RF W_BH1=HHWRFWB。

优化算法首先固定VRFV_{RF}VRF找到最优的数字预编码VUV_UVU，以及β\betaβ，然后更新目标函数为VRFV_{RF}VRF，最终进一步通过最小化目标函数以及连续模约束优化VRFV_{RF}VRF。

可以发现第一个约束的等号一定成立，因此可以计算处
β=（VRFVUVVHVRFH）−1/2\beta=（V_{RF} V_U V_V^H V_{RF}^H）^{-1/2}β=（VRFVUVVHVRFH）−1/2
利用KKT条件，即将β\betaβ带入到目标函数中求导即可计算VUV_UVU的封闭式解。带回原式推导得到基于VRFV_{RF}VRF的MSE表达式

流形算法

求导过程

MO方法：为了能够处理连续模约束，Mo方法可以用于获得局部最优VRFV_{RF}VRF.。
流行优化也叫黎曼优化。

本质上是一种梯度下降法，然而基本的梯度下降法是在整个欧式空间中进行下降，因此无法保证下降后的解仍满足 恒模约束，所以无法直接用于求解VRFV_{RF}VRF 。
而流形优化，则是首先将满足恒模约束的所有可行解表示为一个流形，其后每步迭代后都将解映射回这个流形之上，也因此可以确保结果永远满足恒模约束。
最重要的是，已经有严谨的数学证明了这样的迭代过程是严格收敛的，因此可以将流形优化理解为在可行集上进行下降的梯度下降法。
要想使用流形优化，你需要求解目标问题的梯度，然后就可以在这个框架下用下降法求出一个解了。

步骤4详解：
step1：投影Euclidean梯度到切线空间上以获得Riemannian梯度。
step2：在切线空间中沿着Riemannian梯度寻找最优点，采用Armijo-Goldstein确定步长
step3: 将寻找到的最优点缩回到流型中。

然而这个流形算法是基于梯度运算的，因此会产生很高的计算复杂度。

GEVD 方法

对于大尺度MIMO系统，不同波束流的最优的模拟预编码彼此之间是相互正交的，因此有VRFHVRF≈NtINRFV_{RF}^H V_{RF} \approx N_t I_{N_{RF}}VRFHVRF≈NtINRF （注意顺序）
所以基于VRFV_{RF}VRF的MSE可以简化为：
J(VRF)=tr((INS+1σ2wH1HVRFVRFHH1)−1)J(V_{RF})=tr((I_{N_S} +\frac{1}{\sigma^2 w}H_1^HV_{RF}V_{RF}^HH_1)^{-1}) J(VRF)=tr((INS+σ2w1H1HVRFVRFHH1)−1)
基于这样变化后，VRFV_{RF}VRF能够以列到列的方式优化。定义VmV_{m}Vm为移除mmmth矩阵后剩余矩阵。
因此我们可以设定以优化完第第mmm列剩余的元素进行重新定义，即：
Am=INS+1σ2wNtH1HVmVmHH1A_m =I_{N_S}+\frac{1}{\sigma^2wN_t}H_1^HV_mV_m^HH_1Am=INS+σ2wNt1H1HVmVmHH1。同时对于
逆矩阵存在一个性质，即对于满矩阵A，以及矩阵为1的矩阵B，满足：
(A+B)−1=A−1−A−1BA−11+tr(A−1B)(A+B)^{-1} =A^{-1}-\frac{A^{-1}BA^{-1}}{1+tr(A^{-1}B)} (A+B)−1=A−1−1+tr(A−1B)A−1BA−1
所以：
J(VRF)=tr((INS+1σ2wH1HVmVmHH1+1σ2wH1HvmvmHH1)−1)=tr((Am+1σ2wH1HvmvmHH1)−1)=tr(Am)−1−tr(1σ2w(Am)−1H1HvmvmHH1(Am)−1)1+tr(1σ2w(Am)−1H1HvmvmHH1)J(V_{RF})=tr((I_{N_S} +\frac{1}{\sigma^2 w}H_1^HV_{m}V_{m}^HH_1+\frac{1}{\sigma^2 w}H_1^Hv_{m}v_{m}^HH_1)^{-1}) \\=tr((A_m+\frac{1}{\sigma^2 w}H_1^Hv_{m}v_{m}^HH_1)^{-1}) \\=tr(A_m)^{-1}-\frac{tr(\frac{1}{\sigma^2 w}(A_m)^{-1}H_1^Hv_{m}v_{m}^HH_1(A_m)^{-1})}{1+tr(\frac{1}{\sigma^2 w}(A_m)^{-1}H_1^Hv_{m}v_{m}^HH_1)} J(VRF)=tr((INS+σ2w1H1HVmVmHH1+σ2w1H1HvmvmHH1)−1)=tr((Am+σ2w1H1HvmvmHH1)−1)=tr(Am)−1−1+tr(σ2w1(Am)−1H1HvmvmHH1)tr(σ2w1(Am)−1H1HvmvmHH1(Am)−1)
对于矩阵的迹有tr(AB)=tr(BA)tr(AB)=tr(BA)tr(AB)=tr(BA)
J(VRF)=tr(Am)−1−tr(vm1σ2w(Am)−1H1HH1(Am)−1vmH)1+tr(vm1σ2w(Am)−1H1HH1vmH)=tr(Am)−1−tr(vmUmvmH)1+tr(vmWmvmH)J(V_{RF})=tr(A_m)^{-1}-\frac{tr(v_{m}\frac{1}{\sigma^2 w}(A_m)^{-1}H_1^HH_1(A_m)^{-1}v_{m}^H)}{1+tr(v_{m}\frac{1}{\sigma^2 w}(A_m)^{-1}H_1^HH_1v_{m}^H)} \\=tr(A_m)^{-1}-\frac{tr(v_{m}U_mv_{m}^H)}{1+tr(v_{m}W_mv_{m}^H)} J(VRF)=tr(Am)−1−1+tr(vmσ2w1(Am)−1H1HH1vmH)tr(vmσ2w1(Am)−1H1HH1(Am)−1vmH)=tr(Am)−1−1+tr(vmWmvmH)tr(vmUmvmH)
Um=tr(1σ2wH1(Am)−2H1H)U_m=tr(\frac{1}{\sigma^2 w}H_1(A_m)^{-2}H_1^H)Um=tr(σ2w1H1(Am)−2H1H),Wm=1+tr(1σ2wH1(Am)−1H1H)W_m=1+tr(\frac{1}{\sigma^2 w}H_1(A_m)^{-1}H_1^H)Wm=1+tr(σ2w1H1(Am)−1H1H) 可以发现两个都是Hermitian 矩阵。
因此可以固定 VmV_{m}Vm,来对vmv{m}vm逐次优化——> Um,WmU_m,W_mUm,Wm都是Hermitian矩阵，所以最小化J(VRF)J(V_{RF})J(VRF)或者说最大化vmv{m}vm也就是寻找 Um,WmU_m,W_mUm,Wm的最大特征值所对应的最大特征向量。
同时考虑连续模约束，一种有效的方法是只将每个特征向量的幅值提取出来。

初始化方法

不同于传统的随机初始化，本文中采用了以全数字预编码作为初始值。
整个优化过程从发射端优化，因此可以将接收结合处的预编码作为全书子与编码。W(0)W^{(0)}W(0),将这种发放叫为virtual full digital beamformer method(VFD)。
值得注意的是，由于VFD初始化方法在一侧假定了虚拟全数字波束形成器，通常不能使用HBF结构直接实现，因此需要至少一次外部迭代来获得两边的混合波束形成器

宽带毫米波系统

由于毫米波的大型可用带宽，会出现频率选择性衰落。
由于考虑宽带毫米波，要考虑多个载波系统，更为复杂，然而主要思想还是相同的。
目标函数是求解N个子载波的最小总MSE：minimizeJ(VRF)=∑k=0N−1Jk(VRF)minimize J(V_{RF})=\sum_{k=0}^{N-1}J_k(V_{RF})minimizeJ(VRF)=∑k=0N−1Jk(VRF)
对于比较复杂的优化问题，一般采取求解其上界或者下届来寻找近似解。同时为了处理常量模约束，考虑先去掉这个约束，而在最后求解时直接提取其幅值，并加上大规模天线阵中模拟预编码正交特性： VRFHVRF=NtIRFV_{RF}^HV_{RF}=N_tI_{RF}VRFHVRF=NtIRF

A lower bound (Jensen’s inequality)

琴森不等式：

对于凸函数F(X)F(X)F(X),满足权重参数
a1+a2+...+an=1a_1+a_2+...+a_n=1 a1+a2+...+an=1
,有:
f(a1x1+a2x2+...+anxn)≤a1f(x1)+...+anf(xn)f(a_1x_1+a_2x_2+...+a_nx_n) \leq a_1f(x_1)+...+a_nf(x_n) f(a1x1+a2x2+...+anxn)≤a1f(x1)+...+anf(xn)
ϕ(∑i=1nxiai)≤∑i=1Nsϕ(xi)ai\phi(\sum_{i=1}^nx_ia_i)\leq\sum_{i=1}^{N_s}\phi(x_i)a_iϕ(∑i=1nxiai)≤∑i=1Nsϕ(xi)ai
所以对于MSE有:
tr(Q−1)=∑i=1Ns1λi,k=Ns1Ns∑i=1Ns1λi,k≥Ns∗∑i=1Ns11Nsλi,k=∑i=1NsNs2λi,ktr(Q^{-1})=\sum_{i=1}^{N_s}\frac1{\lambda_{i,k}}=N_s\frac1{N_s}\sum_{i=1}^{N_s}\frac1{\lambda_{i,k}} \geq N_s*\sum_{i=1}^{N_s}\frac1{\frac1{N_s}\lambda_{i,k}} \\=\sum_{i=1}^{N_s}\frac{N_s^2}{\lambda_{i,k}}tr(Q−1)=∑i=1Nsλi,k1=NsNs1∑i=1Nsλi,k1≥Ns∗∑i=1NsNs1λi,k1=∑i=1Nsλi,kNs2
Lamada1: J(VRF)≥N2Ns2sumk=0N−1tr(Qk)J(V_{RF})\geq \frac{N^2N_s^2}{sum_{k=0}^{N-1}tr(Q_k)}J(VRF)≥sumk=0N−1tr(Qk)N2Ns2 推导出了下届
因此, instead of the objective function, we devote to minimize the lower bound ,which is equivalent to maximizing the ∑k=0N−1tr(Qk){\sum_{k=0}^{N-1}tr(Q_k)}∑k=0N−1tr(Qk)

可以证明，最优的VRFV_{RF}VRF是(∑k=0N−1H1,kH1,kH)({\sum_{k=0}^{N-1}H_{1,k}H^H_{1,k}})(∑k=0N−1H1,kH1,kH)最大的前NRFN_{RF}NRF个特征向值对应的特征向量的Nt\sqrt {N_t}Nt倍。
To further make the constant modulus constraint satisfied, we just extract the phase of each element of the optimalNRFN_{RF}NRF

Upper Bound for Minimization (better algorithm) 逆矩阵特征值的性质

Courant-Fischer min-max theorem 极大极小定理

首先，本定理针对的是Hermitian 矩阵，即共轭对称矩阵。因为只有共轭对称矩阵的特征值是确定为实数值的。

韦尔定理 Wely theorem

这个定理可以推出一些有用的结论：

可以确定两个共轭对称矩阵和的特征值的范围。
一个共轭对称矩阵加上一个正定共轭对称矩阵，特征值必增大。

矩阵求逆定理(matrix inversion lemma)

(A+BCD)−1=A−1−A−1B(DA−1B+C−1)−1DA−1(A+BCD)^{-1}=A^{-1}-A^{-1}B(DA^{-1}B+C^{-1})^{-1}DA^{-1} (A+BCD)−1=A−1−A−1B(DA−1B+C−1)−1DA−1
了解了以上定理后，我们开始思考上界参数。

J(VRF)=∑k=0N−1tr((INs+1σ2wkNtH1,kHVRFVRFHH1,k)−1)J(V_{RF})=\sum_{k=0}^{N-1}tr((I_{N_s}+\frac1{\sigma^2w_kN_t}H_{1,k}^HV_{RF}V_{RF}^HH_{1,k})^{-1})J(VRF)=k=0∑N−1tr((INs+σ2wkNt1H1,kHVRFVRFHH1,k)−1)
通过迹的性质可以变形为
J(VRF)=∑k=0N−1tr(VRFH(INt+1σ2wkNtH1,kH1,kH)VRF)−1)J(V_{RF})=\sum_{k=0}^{N-1}tr(V_{RF}^H(I_{N_t}+\frac1{\sigma^2w_kN_t}H_{1,k}H_{1,k}^H)V_{RF})^{-1})J(VRF)=k=0∑N−1tr(VRFH(INt+σ2wkNt1H1,kH1,kH)VRF)−1)
令A=INt+1σ2wkNtH1,kH1,kHA=I_{N_t}+\frac1{\sigma^2w_kN_t}H_{1,k}H_{1,k}^HA=INt+σ2wkNt1H1,kH1,kH可以发现中间存在一个类似于XHAXX^HAXXHAX的项并且满足XHX=NtINRFX^HX=N_tI_{N_RF}XHX=NtINRF

Lemma3,(BHAB)−1特征值小于BHA−1B(B^HAB)^{-1}特征值小于B^HA^{-1}B(BHAB)−1特征值小于BHA−1B

因此提出lamma3 :对于一个a×aa\times aa×a的正定Hermitan矩阵A,以及随机的a×b(a>b)a\times b (a>b)a×b(a>b)准酉矩阵，满足：BHB=InB^HB=I_nBHB=In，定义下面两式的特征值：
(BHAB)−1,BHA−1B(B^HAB)^{-1},B^HA^{-1}B (BHAB)−1,BHA−1B
以descending order 排列，有μ1,..,μn\mu _1,..,\mu _nμ1,..,μn和λ1,...,λn\lambda _1,...,\lambda _nλ1,...,λn。有 μk≤λk\mu _k\leq \lambda_kμk≤λk
证明：

Courant-Fisher min-max theorem
Jensen’s 不等式：
xHxxHAx≤xHA−1xxHx\frac{x^Hx}{x^HAx}\leq\frac{x^HA^{-1}x}{x^Hx} xHAxxHx≤xHxxHA−1x
(ϕ(∑i=1nxiai)≤∑i=1Nsϕ(xi)ai\phi(\sum_{i=1}^nx_ia_i)\leq\sum_{i=1}^{N_s}\phi(x_i)a_iϕ(∑i=1nxiai)≤∑i=1Nsϕ(xi)ai)
J(VRF)=∑k=0N−1tr(VRFH(A)VRF)−1)≤∑k=0N−1tr(VRFH(A)−1VRF)=tr(VRF(∑k=0N−1H(A)−1)VRF)J(V_{RF})=\sum_{k=0}^{N-1}tr(V_{RF}^H(A)V_{RF})^{-1}) \\\leq\sum_{k=0}^{N-1}tr(V_{RF}^H(A)^{-1}V_{RF}) \\=tr(V_{RF}(\sum_{k=0}^{N-1}H(A)^{-1})V_{RF}) J(VRF)=k=0∑N−1tr(VRFH(A)VRF)−1)≤k=0∑N−1tr(VRFH(A)−1VRF)=tr(VRF(k=0∑N−1H(A)−1)VRF)
第二个等号是考虑模拟预编码在N个子载波中是相同的。
矩阵求逆定理
A−1=(INt+1σ2wkNtH1,kH1,kH)−1=INt−1σ2wkNtH1,k(1σ2wkNtH1,kHH1,k+INt)−1H1,kH)=INt−GkA^{-1}=(I_{N_t}+\frac1{\sigma^2w_kN_t}H_{1,k}H_{1,k}^H)^{-1} \\=I_{N_t}-\frac1{\sigma^2w_kN_t}H_{1,k}(\frac1{\sigma^2w_kN_t}H_{1,k}^HH_{1,k}+I_{N_{t}})^{-1}H_{1,k}^H) \\=I_{N_t}-G_kA−1=(INt+σ2wkNt1H1,kH1,kH)−1=INt−σ2wkNt1H1,k(σ2wkNt1H1,kHH1,k+INt)−1H1,kH)=INt−Gk