标题：基于深度学习的三维点云配准研究

英文标题：Study of Deep Learning-based 3D Point Cloud Registration

作者：张志远

指导教师：戴玉超 教授

培养单位：电子信息学院

学科：信息与通信工程

读博寄语：不以物喜，不以己悲

主要研究内容

三维点云作为一种对物体表面信息的离散采样，是由若干、离散、无序、无拓扑结构的三维空间点组成的集合，具备能精准地反映物体的真实尺寸和形状结构、不受光照等因素的影响等优势。本课题聚焦于刚性运动下的三维点云配准问题，具体是指，给定扫描于同一目标或场景的两个点云，致力于找到一种刚性变换，使输入点云对齐。三维点云配准在各个领域的应用，如大规模三维地图构建，自动驾驶和机器人定位，三维重构等，都日益彰显了其广阔的发展前景(如图1所示)。随着深度学习技术的蓬勃发展，将深度学习应用到三维点云配准任务成为新的研究热点。但是，由于基于深度学习的三维点云配准技术发展时间较短，仍有许多棘手的问题未能很好的解决，如配准精度较低，对外点鲁棒性较差等。针对上述问题，在科技部科技创新2030“新一代人工智能”重点项目子课题、国家自然科学基金等项目支持下，从鲁棒特征描述子学习、配准网络框架改进、虚拟匹配点分布修正、两阶段硬匹配策略设计等多个角度展开基于深度学习的三维点云配准研究，致力于探索精度高、鲁棒性强的三维点云配准方法。

图1 三维点云配准典型应用（SLAM，自动驾驶，三维建模）

1. 针对匹配任务的三维点云鲁棒点描述子学习

在基于匹配对的三维点云配准框架中，点特征设计是被广泛关注的课题。传统的任务无关的点特征描述方法通常更关注特征的描述性，追求准确描述点云中三维点的局部几何结构。但是点云配准任务更关注点特征的鲁棒性，要求匹配点的特征描述在外点干扰下仍能保持一致以促进匹配对构建。针对现有的点特征描述子在点云配准任务中鲁棒性不足的问题，提出针对配准任务的点云特征描述子学习方法，使得点特征能同时兼顾鲁棒性和描述性。具体而言，现有的方法通常都是学习单帧点云，而本方法在学习单帧点云的几何结构的同时，通过在另一个点云中搜索重复结构来增强匹配点的特征，并动态地融合多个尺度的点特征以应对外点的干扰。实验表明，本方法在三维点云匹配和配准任务中都取得了先进的结果。

图2 针对匹配任务的三维点云鲁棒点描述子学习网络结构图

2. 基于刚性变换等变性的三维点云配准

为了充分挖掘三维点云数据的特点，提出了一种基于刚性变换等变性的三维点云配准方法。本方法将表示学习领域内的等变性扩展到三维点云配准任务，构造了一个新的刚性变换等变性来建模相对于输入点云的刚性变换，相对位姿发生的变化。相较于传统的单分支网络，设计了一个孪生神经网络，利用其分支网络输出的相对位姿间的固有的刚性变换等变性约束构造了一个新的自监督损失函数。同时利用匹配代价卷将深度学习应用到匹配阶段，进一步优化了匹配矩阵结果。实验表明，本方法大幅度提高了三维点云配准精度。

图3 基于刚性变换等变性结构的网络图

3. 基于修正的虚拟匹配点的三维点云配准

针对现有的基于虚拟匹配点的点云配准方法存在虚拟匹配点分布退化，以及某些特定分布的点的匹配点无法被有效拟合的问题，提出了一种基于修正的虚拟匹配点的三维点云配准方法。本方法对现有的虚拟匹配点进一步优化，使得到的修正后的匹配点趋近于真实正确的匹配点分布。为了实现这个目的，本方法设计了一个新的修正位移学习模块。并提出了一个新的混合损失函数，从多个角度监督修正后的虚拟匹配点的分布，使其与源点云有相同的形状分布和几何结构。实验表明，本方法能够有效地处理现有的虚拟匹配点的问题，显著改善匹配对估计的性能，提高三维点云配准精度。

图4 基于修正的虚拟匹配点的三维点云配准方法网络结构图

4. 基于两阶段硬匹配策略的三维点云配准

为了彻底地避免基于虚拟匹配点的方法中的虚拟点分布退化问题，提出使用真实存在的点构造匹配对。这种情况下，匹配矩阵是一种二元离散矩阵，其求解过程通常不可微。为了实现端到端的训练，设计了一种两阶段硬匹配策略，其主张先求解一个连续的近似矩阵，然后将其投影到离散空间，并在梯度反传时绕过离散矩阵，直接将梯度传递到连续矩阵。本方法首先考虑理想的无外点干扰的情况，此时，提出将匹配矩阵建模成一个标准置换矩阵。此方法可以用于求解稠密的点云匹配，并同时在刚性点云和非刚性点云数据集中得到了验证。然后进一步考虑有外点干扰的情况，此时提出将匹配矩阵建模成一个局部置换矩阵，这样既可以消除外点的干扰，又能保证一对一匹配。通过将提出的两阶段硬匹配模块嵌入到现有的基于深度学习的方法中来估计匹配对，有效地提升了三维点云的匹配和配准性能。

图5 两阶段匹配模块结构图

主要创新点

(1)将刚性变换等变性拓展到三维点云配准任务

利用训练数据间的刚性变换约束，设计孪生神经网络结构，在不需要额外的真值信息的情况下 构造自监督的刚性变换等变性损失函数，实现更高效的三维点云配准网络训练。

(2)设计对外点鲁棒的三维点云配准算法

在软匹配方法中，提出多层次约束损失函数结合校正位移学习模块，使虚拟匹配点保持和源点云相同的几何结构，实现对外点的鲁棒性。在硬匹配方法中，提出两阶段匹配方法，实现对外点鲁棒的一对一匹配结果。针对无匹配对三维点云配准问题，提出从表示分解的角度研究此问题，提高了点云配准精度。

代表性创新成果

[1] Zhiyuan Zhang, Jiadai Sun, Yuchao Dai∗, Dingfu Zhou, Xibin Song, Mingyi He. End-to-end Learning the Partial Permutation Matrix for Robust 3D Point Cloud Registration [C]. AAAI 2022, vol.36, no.3, pp.3399-3407, 2022. (CCF-A 类会议)

[2] Zhiyuan Zhang, Jiadai Sun, Yuchao Dai∗, Dingfu Zhou, Xibin Song, Mingyi He. Self-supervised Rigid Transformation Equivariance for Accurate 3D Point Cloud Registration [J]. Pattern Recognition (PR), vol.130, pp.108784, 2022. (中科院一区SCI)

[3] Zhiyuan Zhang, Jiadai Sun, Yuchao Dai∗, Bin Fan, Mingyi He. VRNet: Learning the Rectified Virtual Corresponding Points for 3D Point Cloud Registration [J]. IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), vol.32, no.8, pp.4997-5010, 2022. (中科院一区 SCI)

[4] Zhiyuan Zhang, Yuchao Dai∗, Bin Fan, Jiadai Sun, Mingyi He. Learning a Task-specific Descriptor for Robust Matching of 3D Point Clouds [J]. IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2022. (中科院一区 SCI)

[5] Zhiyuan Zhang, Jiadai Sun, Yuchao Dai∗, Dingfu Zhou, Xibin Song, Mingyi He. A Representation Separation Perspective to Correspondence-Free Unsupervised 3D Point Cloud Registration [J]. IEEE Geoscience and Remote Sensing Letters (GRSL), vol. 19, pp. 1-5, 2022. (中科院二区 SCI)