PoinTr：几何敏感的多样点云补全TrICCV 2021 Or 点云( 二 )

Encoder-Decoder结构：

如上图所示，Encoder由多头自注意力层(multi-headself-attention layer)与前馈神经网络(feed-forward network)组成，Decoder则由多头自注意力层、编码器解码器交叉注意力层和前馈神经网络构成。

几何敏感的Transformer：

我们针对点云输入设计了一种即插即用的新型transformer block。在原本的transformer 模块中，网络只利用自注意力机制挖掘不同部分之间的关系，这其实是一种基于特征相似度的长程语义关系，为了利用点云数据的归纳偏置，我们将局部几何关系补充到自注意力模块。
我们根据点代理对应的三维点坐标，使用kNN将空间中相邻的点代理拼接在一起，使用一层线性层进行局部几何信息学习，通过将该结果和自注意力机制的结果进行融合，我们可以同时挖掘长程语义相关性，也同时保留了有效的局部几何关系，有效的提高了模型的性能。

Query生成器：

Queries是待预测点代理的初始状态，用于指导缺失点云的重建。我们首先通过Encoder的输出特征得到全局特征，如最大池化，并通过一个线性层预测粗略的缺失点云中心点坐标。将缺失点云中心点坐标与全局特征拼接后，用一个多层感知机生成query特征，即

点云预测：

通过Decoder被翻译为一个点代理，该点代理对应了以为中心的局部点云。我们利用FoldingNet对点代理进行偏移坐标重建：即
最后我们将输入点云与预测结果进行拼接，即可以得到最终的预测结果。

实验结果

首先我们将PoinTr和现有一些方法在ShapeNet-55与ShapeNet-34上进行了实验，在Simple，Moderate与Hard三个难度下（缺失25%，50%，75%点云），PoinTr在Chamfer Distance与F1指标上都取得了最好表现；

同时我们也在PCN数据集上进行了测试，也取得了最好表现。

为了验证我们提出的方法的有效性，我们对我们的方法进行了消融实验，可见我们提出的方法都有效提高了Transformer模型在点云补全任务上的效果。

最后我们使用我们的方法对真实雷达数据进行补全，在数值结果和可视化结果下都取得了提升。

总结

在这项工作中，我们提出了适合点云补全的PoinTr模型，很好地将Transformers引入到点云补全任务中，并在已有的合成数据集与真实数据集上取得了目前最好性能。除此以外，我们提出了更具挑战性的ShapeNet-55和ShapeNet-34，来模拟真实条件下的复杂缺失场景。我们希望本文提出的PoinTr和新的Benchmark可以为未来点云补全提供思路与启发。

参考文献：

[1]Ashish Vaswani, Noam Shazeer,Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, andIllia Polosukhin. Attention is All You Need. NeurIPS, pages 5998–6008, 2017.