Deep Q-Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV 论文笔记

Deep Q-Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV Swarm Network

1、创新点

1)使用多层协议参数来识别无人机群状态

物理层 → \rightarrow →SINR
数据链路层 → \rightarrow → BER
网络层 → \rightarrow → PDR & RTG

2) 基于M/G/1抢占式重复优先的多跳队列模型

3）使用DQN进行链路选择和位置确定

2、模型

swarm node 普通节点
gateway node 网关节点，用于和上层控制节点交流
relay node 中继节点，当链路断开，中继节点补位修复链路

本文中的SINR定义为：
γ i j [ n ] = P i [ n ] G i j [ n ] ∑ k = 1 , k ≠ i N P k [ n ] G i k [ n ] + σ 2 \gamma_{ij}[n]=\frac{P_i[n]G_{ij}[n]}{\sum_{k=1,k\neq i}^{N}P_k[n]G_{ik}[n]+\sigma^2} γij[n]=∑k=1,k=iNPk[n]Gik[n]+σ2Pi[n]Gij[n]

P i P_i Pi是发射功率， G i j G_{ij} Gij是信道关联相应， P k P_k Pk是节点k对节点j的影响， σ 2 \sigma^2 σ2是造成方差。

每个时隙节点i可到达的平均数据速率表示为：
R i = 1 N T R i [ n ] = 1 N T ∑ n = 1 N T B . l o g 2 ( 1 + γ i j [ n ] ) R_i=\frac{1}{N_T}R_i[n]=\frac{1}{N_T}\sum_{n=1}^{N_T}B.log2(1+\gamma_{ij}[n]) Ri=NT1Ri[n]=NT1n=1∑NTB.log2(1+γij[n])

3、算法

1）MHQ-PRP队列模型

数据包服务时间:
E [ X i , h ] = L i R i , h , h + 1 ( 1 − ρ i , h , h + 1 ) E[X_{i,h}]=\frac{L_i}{R_{i,h,h+1}(1-\rho_{i,h,h+1})} E[Xi,h]=Ri,h,h+1(1−ρi,h,h+1)Li
因此，具有平均信道访问延迟 E [ W h ] E[W_h] E[Wh]的，在跳数h的优先级i分组的平均服务时间为:
E [ S i , h ] = E [ W h ] + E [ X i , h ] E[S_{i,h}]=E[W_h]+E[X_{i,h}] E[Si,h]=E[Wh]+E[Xi,h]
可以确定从源节点发送的数据包在跃点h处的平均端到端PDR为：
Ψ i , h = P r o b ( W i , h > d i − ∑ j = 0 h − 1 E [ W i , j ] = ( ∑ i − 1 4 λ i , h E [ S i , h ] ) e x p ( − ( d i − ∑ j = 1 h E [ W i , j ] ) ( ∑ i = 1 4 λ i , h E [ S i , h ] ) E [ W i , h ] ) \Psi_{i,h}=Prob\bigg(W_{i,h}>d_i-\sum_{j=0}^{h-1}E[W_{i,j}]=\bigg(\sum_{i-1}^4\lambda_{i,h}E[S_{i,h}]\bigg)exp\bigg(-\frac{(d_i-\sum_{j=1}^hE[W_{i,j}])(\sum_{i=1}^4\lambda_{i,h}E[S_{i,h}])}{E[W_{i,h}]}\bigg ) Ψi,h=Prob(Wi,h>di−j=0∑h−1E[Wi,j]=(i−1∑4λi,hE[Si,h])exp(−E[Wi,h](di−∑j=1hE[Wi,j])(∑i=14λi,hE[Si,h]))

2)DQN

本文的主要算法思想思想是：使用DQN选择一条链路，使用优化算法确定具体位置。

如图的左边，通过DQN，在Path1,Path2中选择了Path1.

如图的右边，选定好链路之后，在P3,P4中选择了P4，因为P3处节点较多，链路质量不好，尽管P3更近一些。

state

S n S^n Sn表示在时隙n的状态，用SINR，PDR，和外部影响来表示。 S n = { γ h j , Ψ i , h , J h } n − 1 S^n=\{\gamma_{hj},\Psi_{i,h},J_h\}^{n-1} Sn={γhj,Ψi,h,Jh}n−1
action

选择一个链路 l h l_h lh,且 h ∈ H h\in H h∈H
optimization

搜索网格 A g , g ∈ N g A_g,g\in N_g Ag,g∈Ng, N g N_g Ng是所有网格位置。优化问题可以表示为：
m a x 1 T ∫ n = 0 T R n d n s . t . : i . d t , k ≥ d m i n ; k ∈ { 1 , 2 , . . . , N n e i g h } i i . E [ W j ] ≤ D j ; j ∈ { 1 , 2 , 3 , 4 } i i i . j g = 0 ; g ∈ N g max \frac{1}{T}\int_{n=0}^{T}\mathbb{R}^ndn\\ s.t.:i.\ \ d_{t,k}\ge d_{min};k\in\{{1,2,...,N_{neigh}}\}\\ ii.\ \ E[W_j]\le D_j;j\in\{{1,2,3,4}\}\\ iii.\ \ j_g=0;g\in N_g maxT1∫n=0TRndns.t.:i. dt,k≥dmin;k∈{1,2,...,Nneigh}ii. E[Wj]≤Dj;j∈{1,2,3,4}iii. jg=0;g∈Ng
有三个约束：1、距离大于最小距离，要不然会撞

2、平均时延要低于deadline

3、表示外部干扰是否存在
reward
R = γ i j [ n ] = P i [ n ] G i j [ n ] P E S S J g + ∑ k = 1 , k ≠ i M P k [ n ] G i k [ n ] + σ j 2 \mathbb{R}=\gamma_{ij}[n]=\frac{P_i[n]G_{ij}[n]}{P_{ESS}J_g+\sum_{k=1,k\ne i}^{M}P_k[n]G_{ik}[n]+\sigma_j^2} R=γij[n]=PESSJg+∑k=1,k=iMPk[n]Gik[n]+σj2Pi[n]Gij[n]

神经网络结构：

CNN 3X3X20 s=1
ReLu
CNN 2X2X40
Relu
FC(180)
FC(M+1)

为了体现连续性，定义一个 B \mathcal{B} B,使得 φ n = { s n − B ， a n − B , . . . , a n − 1 , s n } \varphi^n=\{s^{n-\mathcal{B}}，a^{n-\mathcal{B}},...,a^{n-1},s^n\} φn={sn−B，an−B,...,an−1,sn}输入进CNN中，得到 Q ( φ n , a ∣ θ n ) Q(\varphi^n,a|\theta^n) Q(φn,a∣θn).放到经验池中。 D = { e 1 , . . . , e n } , w h e r e e n = ( φ n , a n , R s n , φ n + 1 ) \mathbb{D}=\{e^1,...,e^n\},where\ e^n=(\varphi^n,a^n,\mathbb{R}_s^n,\varphi^{n+1}) D={e1,...,en},where en=(φn,an,Rsn,φn+1)