留个笔记自用

Variational Relational Point Completion Network

做什么

Point Cloud Completion点云补全，简单来说，由于扫描限制，扫描得到的结果可能是一个不完整的稀疏点云，任务目标就是保证形状和全局的前提下进行上采样一样的工作，将稀疏点云构造成具有局部信息和全局形状的点云

做了什么

这里提出了一个初始化补全再精化补全的结构，初始化部分使用了根据全局形状的概率建模，补全部分则使用了注意力机制

怎么做

整体结构两个部分组成，第一部分PMNet，采用双路线架构，上半路是重建路径，下半部是补全路径，上本部分输入完整点云，输出重建点云，下半部分输入不完整点云，输出粗完整点云，共同组成PMNet，第二部分RENet，输入粗完整点云，输出精化完整的点云
首先是第一部分

上半部分采用VAE结构（Auto-Encoder+高斯几何约束），将完整点云编码生成全局结构特征z和潜在分布q(z|Y)，Y是点云完整形状
然后采用KL损失来进行训练

P(zg)是(0,1)的高斯分布先验，p(Y)是GT的真实分布，E是求期望，pΘ是解码分布
下半部分跟上本部分结构相同，共享encoder和decoder权重，基于下半路编码的全局特征z和不完整输入的潜在编码分布p(z|X)得到重建完整点云Y’，将完整分布q对不完整分布p进行分布正则化
然后采用KL损失来进行训练，符号方式与上面相同

简单来说，这部分就是两个VAE，上半部输入标签进行训练，为了学到全局特征和标签形状概率分布，然后下半部再用不完整的进行补全训练，用上面的概率分布来正则化下面的潜在向量概率分布。
至此，利用下半路得到了初始化的完整点云
然后是精化部分

输入粗补全点云和不完整点云，输出是精化补全点云
主要就是这个的模块部分

就是个Unet的造型，EP是Edge-preserved Pooling (EP)，EU是Edge-preserved Unpooling（EU），这俩就不多看了，主要是这里的R-PSK模块

这个R-PSK模块由三步组成，首先是第一步PSA

这个构图就很好理解了，就是点云里面的基础自注意力模块，跟PCT之类的用的想法基本相同，然后看下它的计算公式

这里所有的奇特符号，比如γ，σ这种都是MLP，这个模块就很好理解了
然后是第二个模块，PSK模块

从图结构就能看出，是在PSA的基础上增加了一个多尺度信息，因为它使用了不同的K做KNN，也可以理解成不同大小的感受野，然后再将二者特征聚合

最后是R-PSK

这里的R是Residual残差，简单来说就是不仅仅用attention block提取特征，还直接将特征也skip至结果
最后是模型训练的LOSS，也是个多LOSS任务，除了前面的重建损失和补全损失，还有最主要的任务损失，也就是输入和输出的补全损失

这里用的CD LOSS（Chamfer Distance）
最后将所有LOSS相加