科学技术与工程

算法	运行时间/ms
KNN	13.988 9	13.666 8	13.979 9	13.664 1
KD-Tree	11.612 2	10.227 2	10.080 7	10.261 9

算法	运行时间/ms
KNN	13.988 9	13.666 8	13.979 9	13.664 1
KD-Tree	11.612 2	10.227 2	10.080 7	10.261 9

K	S	T	T×S×h×w	Shw×K+K×T
T/2	32	32	1 024	1 024
32	64	2 048	3 072
192	32	6 144	3 584
T/3	32	32	1 024	640
32	64	2 048	1 920
192	32	6 144	2 240

K	S	T	T×S×h×w	Shw×K+K×T
T/2	32	32	1 024	1 024
32	64	2 048	3 072
192	32	6 144	3 584
T/3	32	32	1 024	640
32	64	2 048	1 920
192	32	6 144	2 240

模块	模型	模块一	模块二	模块三	全部模块
超点检测	HRegNet	12 094	50 817	199 937	262 848
HKRNet	8 809	38 089	129 105	176 003
描述符提取	HRegNet	11 840	50 304	198 912	261 056
HKRNet	8 064	32 920	129 072	170 056

模块	模型	模块一	模块二	模块三	全部模块
超点检测	HRegNet	12 094	50 817	199 937	262 848
HKRNet	8 809	38 089	129 105	176 003
描述符提取	HRegNet	11 840	50 304	198 912	261 056
HKRNet	8 064	32 920	129 072	170 056

网络模型	计算量/G	参数量/M
HRegNet	10.635 4	2.467 8
HKRNet	4.146 8	2.119 5

网络模型	计算量/G	参数量/M
HRegNet	10.635 4	2.467 8
HKRNet	4.146 8	2.119 5

评估指标	原方法	滤波方法
平移矩阵误差均值/m	0.074 2	0.069 8
平移矩阵误差标准差/m	0.053 7	0.050 4
旋转矩阵误差均值/(°)	0.268 7	0.225 6
旋转矩阵误差标准差/(°)	0.175 6	0.147 7
配准成功率/%	97.63	98.55
平均配准时间/ms	86.525 2	85.167 8

评估指标	原方法	滤波方法
平移矩阵误差均值/m	0.074 2	0.069 8
平移矩阵误差标准差/m	0.053 7	0.050 4
旋转矩阵误差均值/(°)	0.268 7	0.225 6
旋转矩阵误差标准差/(°)	0.175 6	0.147 7
配准成功率/%	97.63	98.55
平均配准时间/ms	86.525 2	85.167 8

评估指标	HRegNet	HKRNet
平移矩阵误差均值/m	0.074 2	0.083 5
平移矩阵误差标准差/m	0.053 7	0.057 3
旋转矩阵误差均值/(°)	0.268 7	0.310 0
旋转矩阵误差标准差/(°)	0.175 6	0.215 0
配准成功率/%	97.63	95.96
平均配准时间/ms	134.525 2	82.833 4

评估指标	HRegNet	HKRNet
平移矩阵误差均值/m	0.074 2	0.083 5
平移矩阵误差标准差/m	0.053 7	0.057 3
旋转矩阵误差均值/(°)	0.268 7	0.310 0
旋转矩阵误差标准差/(°)	0.175 6	0.215 0
配准成功率/%	97.63	95.96
平均配准时间/ms	134.525 2	82.833 4

HKRNet: 高实时性点云配准轻量化框架

PDF下载

王志航 , 杨华实 , 杨维 , 庞明喜 , 陈治中 , 巩昊杨 , 王鼎衡 ^*

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(11): 4629-4637

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(11): 4629-4637

HKRNet: 高实时性点云配准轻量化框架

全屏

王志航, 杨华实, 杨维, 庞明喜, 陈治中, 巩昊杨, 王鼎衡^*

作者信息

西北机电工程研究所, 智能装备与技术研究室, 咸阳 712099

王志航(1998—),男,汉族,黑龙江哈尔滨人,硕士研究生。研究方向:模式识别。E-mail:1350152250@qq.com。

通讯作者:

* 王鼎衡(1988—),男,汉族,陕西西安人,博士,助理研究员。研究方向:武器装备智能化。E-mail:wangdai11@163.com。

HKRNet: Lightweight Framework for High-realtime Point Cloud Registration

Zhi-hang WANG, Hua-shi YANG, Wei YANG, Ming-xi PANG, Zhi-zhong CHEN, Hao-yang GONG, Ding-heng WANG^*

Affiliations

Intelligent Equipment and Technology Research Laboratory, Northwest Institute of Mechanical & Electrical Engineering, Xianyang 712099, China

出版时间: 2025-04-18 doi: 10.12404/j.issn.1671-1815.2403047

文章导航

摘要

收起

为解决LIO-SAM (tightly-coupled lidar inertial odometry via smoothing and mapping)等基于ICP(iterative closest point)方法的传统点云配准策略和HRegNet(hierarchical registration network)等基于深度神经网络方法的新型点云配准模型均存在的算力消耗高、配准时间长等问题,通过深入研究HRegNet神经网络点云配准模型框架,提出具有轻量化、实时性特点的HKRNet(hierarchical kcpstack registration network)网络模型。首先,使用点云体素化和高斯阈值降采样联用的滤波方法,去除雷达扫描地面的大量无用点,将点的数量从13万左右降至约7万。其次,对HRegNet模型内部耗时大的K最近邻(K-nearest neighbors, KNN)点云聚类算法改进为KD树(K-dimensional tree,KD-Tree)算法,能够在保证精度的前提下提升25%的处理速度。最后,针对模型内部卷积模块内存消耗高、计算效率低的问题,使用张量分解的轻量卷积模块并提出分层奇异值分解算法,将模型压缩至原来的86.1%并节约61.2%的计算量。结果表明,HKRNet网络相对于HRegNet网络可以在微小的精度损失下,减少40%的配准时间,单次配准时间不超过84 ms,满足实时配准的使用需求。

关键词

点云配准 / 深度学习 / 模型轻量 / 点云下采样

Abstract

收起

To tackle the computational cost and registration time challenges in traditional point cloud registration methods like ICP (iterative closest point) such as LIO-SAM (tightly-coupled lidar inertial odometry via smoothing and mapping) and newer models utilizing deep neural networks such as HRegNet(hierarchical registration network), a lightweight and real-time HKRNet (hierarchical kcpstack registration network) network model was proposed. The model was developed by thoroughly studying the HRegNet neural network point cloud registration framework. Initially, a combined filtering approach involving point cloud voxelization and Gaussian threshold downsampling was used to remove redundant points from ground radar scans, reducing the point count from around 130 000 to about 70 000. Subsequently, the computationally intense KNN (K-nearest neighbors) point cloud clustering algorithm within the HRegNet model was enhanced by optimizing it to a KD-Tree (K-dimensional tree) algorithm, resulting in a 25% improvement in processing speed while upholding accuracy. Lastly, to address high memory usage and low computational efficiency of the convolutional modules in the model, a lightweight convolutional module leveraging tensor decomposition and a hierarchical singular value decomposition algorithm was introduced. This leaded to a compressed model size of 86.1% of the original and a decrease of 61.2% in computational cost. The outcomes indicate that the HKRNet network, in comparison to the HRegNet network, can reduce registration time by 40% with minimal loss of accuracy, achieving a single registration time not exceeding 84ms, thus meeting real-time registration requirements.

Key words

point cloud registration / deep learning / model lightweighting / point cloud downsampling

引用本文

王志航, 杨华实, 杨维, 庞明喜, 陈治中, 巩昊杨, 王鼎衡. HKRNet: 高实时性点云配准轻量化框架. 科学技术与工程, 2025 , 25 (11) : 4629 -4637 . DOI: 10.12404/j.issn.1671-1815.2403047

Zhi-hang WANG, Hua-shi YANG, Wei YANG, Ming-xi PANG, Zhi-zhong CHEN, Hao-yang GONG, Ding-heng WANG. HKRNet: Lightweight Framework for High-realtime Point Cloud Registration[J]. Science Technology and Engineering, 2025 , 25 (11) : 4629 -4637 . DOI: 10.12404/j.issn.1671-1815.2403047

正文

收起

精准定位是实现汽车自动驾驶的必要前提,现有相关算法主要通过激光点云配准来获取精确的位置信息。其中,传统点云配准方法主要包括迭代最近点算法^[1](iterative closest point,ICP)、基于正态分布变换的 NDT(normal distribution transform)算法^[2]等。ICP算法不需要提取特征或计算点云的特征,在较好的初值下就可获得不错的配准效果,但随着数据量增加,计算效率会大幅下降,有配准失败的风险。相比于ICP算法,NDT算法的计算效率有很大的提升,但是其配准精度却有所下降。通过一种基于几何特征由粗到细点云配准算法^[3],可以改善对初始位置敏感且收敛速度慢的问题。但在配准大规模室外点云时,传统点云配准方法依然受限于点云的无序性和非结构化特性,很难配准成功,且会消耗大量的CPU算力。因此,基于深度学习的点云配准算法在近年受到越来越多的关注。

深度学习在三维物体检测、语义分割等众多三维计算机视觉任务中取得了巨大成功^[4],随之涌现出了许多基于深度学习的点云配准方法。这些方法一般通过构建深层卷积网络作为点云关键点检测器或局部特征描述符以学习鲁棒的局部区域特征,进而实现场景间准确的关键点匹配并进一步完成配准。

相较于传统的点云配准算法,基于深度学习的点云配准算法可以利用卷积模块的出众特征提取能力获得点云的几何结构特征,还可去除无序点的影响,从而获得更精确的配准效果。大多基于深度学习的点云配准方法是针对物体级点云^[5-6]或室内点云^[7-8]设计的,而室外点云通常具有更高的稀疏性、更大的空间范围和更复杂多变的分布,这使得配准变得十分困难,容易造成部分室内场景下的成功方法可靠性降低、耗时增加,难以应用于室外点云配准。

HRegNet^[9](hierarchical registration network)是最新的典型深度学习配准模型之一,专注于大规模室外点云配准,其内部基于K最近邻算法(K-nearest neighbors, KNN)点云聚类算法的关键点提取模块和特征描述符配准模块被多数配准网络效仿采用,使HRegNet形成事实上的深度学习点云配准通用框架之一。然而,常规HRegNet模型需要130 ms左右的配准时间,无法满足自动驾驶场景对定位实时性的需求。为解决该问题,围绕HRegNet神经网络点云配准模型框架进行三方面的优化改进设计,提出具有轻量化、实时性特点的HKRNet(hierarchical kcpstack registration network)网络,可以在微小的精度损失(小于2%)下减少40%的配准时间,使单次配准耗时不超过84 ms,满足实时配准的使用需求。

1 HRegNet

收起

1.1 骨干网络框架

HRegNet是针对大规模室外点云配准的网络模型。该模型受到基于深度学习的三维特征在点云配准上的成功启发^[10-11],利用基于关键点的分层点云配准网络进行配准。骨干网络模型结构及其数据流向如图1所示。首先从粗配准开始,匹配全局描述符空间中的关键点;然后,基于空间邻域利用其浅层的精确位置信息对粗配准精化,得到更精确的配准结果。由于只使用少量关键点而不是整个点云进行配准,该网络具有高于其他模型^[12-13]的计算效率,对自动驾驶等需要实时性能的场景具有较高应用潜力。

以KITTI odometry数据集中的两帧点云配准为例,如图2所示。可见预测结果与真实结果相吻合。

1.2 推理瓶颈分析

尽管HRegNet相较其他模型有更少的配准时间以及参数量、计算量,但是在资源受限的条件下,约130 ms一帧的配准时间仍然无法满足工程化的实时性需求。分析模型主体结构可知其共有6种模块,统计推理一帧点云配准中各模块的运行时间如图3所示。可见KNN处理大量点云数据时会耗费一半左右的配准时间,且模型中大量的卷积操作会严重影响网络运行效率。根据上述分析,提出具有轻量化、实时性特点的HKRNet网络,具体针对HRegNet提出如下三方面改进。

(1) 模型输入的点云数据(以KITTI odometry为例)由1个64线的Velodyne激光雷达采集,频率10 Hz,角分辨率为0.09°,每秒约一百三十万个点,水平视场360°,垂直视场±26.8°,最多120 m的距离范围。受其垂直视场角以及探测范围的影响,采集点云中会有大量的地面点,而地面点对于配准任务属于无用点,去除地面点不会影响最终匹配效果。因此拟增加地面点云滤波算法处理输入点云数据以去除无用的地面点。

(2) 模型中大规模点云通过KNN算法进行聚类,从图3中可以看到,KNN聚类计算非常耗时,占用几乎一半的配准时间。因此本文中使用更高效、更适用于大规模室外点云配准场景的KD-Tree(K-dimensional tree)聚类算法作为替换。KD-Tree通过递归地将K维空间划分为嵌套的半空间,能够实现对数据的快速检索和访问,大幅降低了计算复杂度,优化了聚类时间。

(3) 模型中有大量的卷积操作,使得该模型要面临卷积神经网络CNN(convolutional neural networks)在资源受限条件下的部署问题^[14]。基于一种具有可观压缩与加速能力的卷积核分层矩阵压缩算法KCPStack(convolutional kernel hierarchical matrix compression method)^[15],提出分层SVD(singular value decomposition)算法对模型中的大尺寸卷积进行压缩,以减少模型参数量和计算量。

2 点云降采样

收起

2.1 点云体素滤波

在数据预处理阶段首先对输入点云进行体素滤波处理。以KITTI odometry数据集中一帧点云为例,其点的数量约为13万。将该点云分配到一个由K个体素栅格组成的数据空间(K×T×F)内,其中T为体素栅格中的最大点数,F为点的特征维度。然后计算每个体素栅格的中心点,也就是体素内所有点坐标的几何中心,以这些中心作为新的点云数据,此即体素滤波后的结果点云。本文中设置体素的大小为0.3 m,可将13万的数据量降至7万左右。

2.2 地面点云滤波

分析图4点云中待配准点的语义信息,超点皆为非地面点,可见非地面点才是对配准有益的特征点。因此考虑使用地面点云滤波算法来大量减少不影响最终匹配效果的原始点云数据,使其在同样数量输入点的情况下可以将更多的注意力集中在非地面点上。现有的地面点云滤波方法主要有阈值滤波^[16-17]、平面拟合^[18-19]、聚类方法^[20]等。考虑到算法的运行效率以及适用性问题,本文提出一种高斯阈值降采样方法,去除雷达扫描车身周围的地面点。

考虑到自动驾驶场景中,车身相对道路面是平行的,该部分点云平面垂直雷达的Z坐标轴,因此滤波算法以点云Z坐标为基础,以-5~3为统计区间,0.5为区间间隔,计算数据量最大的区间范围,再去除该区间内的数据即可获得滤波结果。

图5所示为对原始点云采用本文所提两种滤波方法及联用之后的视觉效果。对比图5(d)、图5(b),在点云数据量相同的情况下,地面点云滤波可以排除4成的无用点,使配准时间缩短30 ms,配准速度提升27%。

3 最近邻优化

收起

点云作为三维空间中的离散点集合,广泛应用于三维重建、物体识别、场景理解等领域。最近邻算法(KNN)作为一种简单而有效的机器学习方法,在点云聚类中发挥着重要作用。然而,随着点云数据量的增加,KNN的计算复杂度成为限制其性能的主要瓶颈。因此,需要探索更高效的数据结构以优化KNN算法,减少配准时间。

3.1 KD-Tree算法

KD-Tree是一种用于组织K维空间中实例点的数据结构,通过递归地将K维空间划分为嵌套的半空间,实现对数据的快速检索和访问,从而提高邻近搜索的效率。但是KD-Tree需要在数据预处理阶段构建树结构,这可能会增加算法的预处理时间和内存消耗。相比之下,KNN是一种在线算法,可以在需要时直接计算样本之间的距离,无需提前构建任何数据结构。在不同的应用场景下,两种方法各有利弊。本文中主要面向大规模室外点云配准,具体以模型中实际输入数据为例,分析该场景下KNN和KD-Tree的适配性。

3.2 KNN与KD-Tree性能对比分析

以图2模型中KNN_1模块的实际输入数据为例,构建点云A (16 384,3)到点云B (1 024,3)的K=64个最近点的索引时,需要在点云A的每个点上查询点云B中的K个最近邻点,并且构建一个索引来加速这个过程。下面分别使用KNN和KD-Tree方法建立该索引,并对比两种方法的时间复杂度。

在KNN算法中,对于点云A中的每个点,需要计算它与点云B中所有点的距离,再通过排序找到最近的K个点。假设点云A有N₁个点,点云B有N₂个点,D表示点特征维度。首先,A中所有点到B中所有点距离的计算复杂度为Ο(N₁N₂D)。其次,选择堆排序或快速选择算法来排序A中每个点到B中所有点的距离所需时间复杂度为Ο[N₁(N₂+KlgN₂)]。最终,使用高效的排序方法后KNN算法整体的时间复杂度为Ο[N₁N₂D+N₁(N₂+KlgN₂)]。

在KD-Tree算法中,需要先对点云B构建KD-Tree,然后在点云A的每个点上执行最近邻搜索。其中构建KD-Tree的复杂度为Ο(N₂lgN₂)。对于点云A中的每个点,在KD-Tree上执行K个最近邻搜索的复杂度通常远低于Ο(N₁KlgN₂)且在最坏情况下不超过此值。因此通常情况下,KD-Tree算法的总的时间复杂度远低于Ο(N₁KlgN₂+N₂lgN₂)。

针对给定的数据大小(N₁=16 384, N₂=1 024, D=3)和K=64,计算KNN和KD-Tree两种算法的时间复杂度并作具体数值对比。最优排序下KNN的时间复杂度约为Ο(67 386 084),最坏搜索情况下KD-Tree算法的时间复杂度为Ο(1 146 880)。可见即便是在最坏情况下, KD-Tree的搜索效率都比KNN高很多。

为了进一步验证KD-Tree在模型中替换KNN方法的有效性,设计实验在相同输入条件下对比各自的运行时间。实验数据使用KITTI odometry的集合(8~10),输入数据与模型验证阶段的输入相同,首先从输入的16 384个点中截取1 024个点作为中心点,然后将源点云和裁剪后的点云作为输入,计算两种方法的运行时间,并对所有的点云聚类时间取平均,结果如表1所示。

实验结果表明,构建点云A (16 384,3)到点云B (1 024,3)的K=64个最近点的索引时,KNN耗时约14 ms,KD-Tree耗时约10 ms,其中构建KD-Tree消耗1.5 ms,搜索消耗8.5 ms,搜索时间占总时间的85%。可见在大规模点云聚类中,需要的是更高效的搜索方法。在输入输出数据维度相同的情况下,基于KD-Tree的聚类方法速度可以提升25%,且准确率与KNN方法相当。具体到130 ms的配准时间中,KNN处理时间约占70 ms,使用KD-Tree优化后,只需约47 ms,证明了KD-Tree替换KNN聚类的有效性。

综上所述,针对大规模点云配准的应用场景,KD-Tree算法的搜索效率显著超越KNN。KD-Tree通过构建树形结构有效减少了冗余的比较次数,其在实际应用中的搜索复杂度往往远低于理论上的最坏情况。同时考虑到KD-Tree的构建时间占比较小甚至可忽略不计,因此本文中选择采用KD-Tree聚类算法来大幅缩短点云聚类的处理时间。

4 轻量卷积优化

收起

HRegNet网络的特征提取模块中,有大量1×1的2D卷积,且通道较宽,计算量、参数量都比较大。为减少模型参数量、计算量,降低模型部署压力,本文基于一种具有可观压缩与加速能力的卷积核分层矩阵压缩方法(KCPStack),提出分层SVD算法,对预训练模型中的大尺寸卷积进行压缩,简化卷积计算,解决模型推理计算效率较差的问题。

4.1 KCPStack压缩算法

KCPStack是一种具有可观压缩与加速能力的卷积核分层矩阵压缩方法。该方法首先将卷积运算通过im2col算法的方式转换为矩阵乘法,其次借助KCP对卷积核转换后的权重矩阵进行2阶分解,接着将输入特征数据与KCP因子张量之间的运算过程优化为两个连续矩阵乘法,最后通过col2im的方式使卷积核及其计算转变为双层轻量卷积结构。具体地,设卷积的输入为S通道H×W尺寸的特征图X∈R^S^×^H^×^W,卷积核C∈R^T^×^S^×^h^×^w的扫描窗口大小为h×w,输出特征图为Y∈

R T × H † × W †

,T为输出通道数,H^†×W^†表示输出特征图的尺寸。先对卷积核的通道数进行2阶因数分解(S=S₁S₂,T=T₁T₂),得到C^†∈

R (S 1 S 2 h w) × (T 1 T 2)

,再据此对C^†进行2阶KCP分解,得到K组因子张量,并将其堆叠成分块矩阵F⁽^A⁾、F⁽^B⁾,即

(1)

F (A) = v e c [F 1 (A 1) (F 2 (A 1)) T] v e c [F 1 (A 2) (F 2 (A 2)) T] ︙ v e c [F 1 (A K) (F 2 (A K)) T] T ∈ R S 1 S 2 h w × K F (B) = v e c [F 1 (B 1) (F 2 (B 1)) T] v e c [F 1 (B 2) (F 2 (B 2)) T] ︙ v e c [F 1 (B K) (F 2 (B K)) T] T ∈ R K × T 1 T 2

式(1)相对于原卷积核C减少了大量可训练参数。在推理计算时,可与F⁽^A⁾、F⁽^B⁾依次相乘输出特征图Y,即

(2)Y=(XF⁽^A⁾)F⁽^B⁾

4.2 分层奇异值分解(SVD)算法

KCPStack算法通过直接定义F⁽^A⁾、F⁽^B⁾两分块矩阵并替换原卷积核的方式设计整个CNN,然后对其从头开始训练,并未充分利用相关基线预训练模型。具体到HRegNet模型,其中的卷积核大小都是1×1,使用KCPStack直接设计压缩后的HRegNet模型再训练将会产生较大误差,无法满足精度要求。因此考虑充分利用已经具备较好精度的HRegNet预训练模型,即先对已训练模型的卷积核进行逐层正向分解,然后微调模型中的卷积压缩部分,避免模型整体的明显精度损失。为此,本文根据KCPStack形制特点提出分层SVD算法,具体计算过程如下。

首先将输入X和卷积核C通过im2col算法重构为X∈

R H † W † × S h w

、C∈R^T×Shw,其中Shw=S×h×w。然后对重构后的卷积核进行第一次SVD分解,得到矩阵A∈R^T^×^K、B∈R^K^×^Shw。再将矩阵A拆成K个T×1的列向量,即A={a₁,a₂,…,a_K},矩阵B拆成K个1×Shw的行向量,即B=

{b T 1, b 2 T, …, b K T} T

。再令S=S₁×S₂,T=T₁×T₂,将列向量a_i转成矩阵A_i∈

R T 1 × T 2

,将行向量b_i转成矩阵B_i∈

R S 1 × S 2 h w

。进而对K组A_i、B_i矩阵进行第二次SVD分解,得到K组因子张量

F 1 (A K)

∈

R S 1 × R K (A)

、

F 1 (B K)

∈

R T 1 × R K (B)

、

F 2 (A K)

∈

R S 2 h w × R K (A)

、

F 2 (B K)

∈

R T 2 × R K (B)

,张量因子堆叠后即可获得式(1)中的分块矩阵F⁽^A⁾、F⁽^B⁾。其中,K为第一层SVD分解的秩,

R K (A)

、

R K (B)

为第二层SVD分解的秩。在推理时,同样通过式(2)中简单的矩阵运算便可获得近似的推理结果。

综上,分层SVD算法流程如下。

4.3 模型压缩效果

HRegNet模型中,卷积的输入通道数与输出通道数的倍数在[0.5,6]区间内,从中选出输入通道S与输出通道T之比为0.5、1、6的三种情况进行对比,结果如表2所示。设K为输出通道的一半,当输出和输入通道数相同时,参数量与分解前相同;当输出通道数大于输入通道时,参数量增加;当输入通道数小于输出通道数时,参数量减少。因此调整K的取值为T/3,并向下取偶数整数。此时模型中所有可压缩的卷积参数量都得到降低。

模型中满足压缩条件的是超点检测(KeypoinsDetector)和描述符提取(DescExtractor)两部分,压缩前后参数量的对比如表3所示,HRegNet、HKRNet是原模型和压缩模型,可见压缩后两部分的三个模块参数量共下降了35%。

HKRNet、HRegNet的参数量和计算量对比如表4所示,可见模型压缩至原来的86.1%并节约了61.2%的计算量,实现了大幅降低模型参数量和计算量的效果。

5 HKRNet:模型训练和评估

收起

经上述点云降采样、最近邻优化和轻量卷积优化后的HKRNet网络框架如图6所示。

5.1 实验条件

训练集KITTI odometry Seq(0~5),验证集Seq(6~7),测试集Seq(8~10)。模型为HKRNet,使用PyTorch实现,Adam作为优化器,迭代轮数100,学习率初始设置0.001,每10轮迭代下降50%。网络在NVIDIA RTX 3090 GPU上进行训练,测试集为Seq(8~10),测试设备Intel Core i7-8700 CPU、NVIDIA GTX 1660 SUPER GPU。

5.2 评估指标

本文中采用式(3)定义的相对平移误差(translation regression error, RTE)和相对旋转误差(rotation regression error, RRE)评估配准结果R、t,其中(

R ∧

t ∧

)和(R,t)分别为预测变换矩阵和真实变换矩阵。当RTE和RRE在阈值trans=1和rot=1内时,认为配准成功。

(3)

R T E = t - t ∧ 2 R R E = a r c c o s T r (R ∧ T R) - 1 2

5.3 模型训练

5.3.1 模型输入点数确定

HRegNet模型训练的输入点数为16 384,测试的输入点数为10 000,模型的输入点数很大程度上决定了模型的运行时间,但是模型点数过少,则配准精度会大幅度下降。

选取6 000为模型的输入点数,原因有以下两点。

(1) 图7所示为HRegNet模型以16 384个点为输入进行训练的结果,测试集是Seq10。从图7中可以看出,选择输入的点数为6 000点时,相对的误差增加小,且配准成功率也较高,配准时间也下降了10 ms左右。

(2) 通过地面点云滤波处理,可以去除四成的无用点,因此原方法输入的10 000个点中,有约6 000个点对配准有益。

5.3.2 地面点云滤波效果

调整训练的输入点数为6 000点,使用HRegNet模型测试地面点云滤波方法对配准效果的影响,数据集为Seq (8~10),输入点数为6 000。结果如表5所示,经过地面点滤除后,配准精度、配准成功率等都有改善。

5.3.3 HKRNet训练效果

训练HKRNet模型并与原HRegNet模型进行对比测试,测试集为Seq (8~10)。如表6所示,可以看到使用分层 SVD算法压缩卷积核,能够在大幅降低模型参数量和计算量的同时,保证对配准精度的最小影响。

6 结论

收起

围绕HRegNet框架,本文提出高实时性点云配准轻量化框架HKRNet,做出下述三处改进。使用点云体素化和高斯阈值降采样方法,去除点云中雷达扫描地面的大量无用点,将13万的数量点降至7万;改进KD-Tree算法处理点云,在保证精度的前提下提升25%的配准速度;提出分层 SVD算法,先对已训练模型的卷积核进行逐层正向分解,然后微调模型中的卷积压缩部分无需再训练,该算法可将模型压缩至原来的86.1%并节约61.2%的计算量。改进后的HKRNet框架可以在精度微损(小于2%)的情况下,减少40%的配准时间。

分层SVD算法体现出了张量分解灵活的拓扑结构变化,以及其优化轻量化神经网络模型推理计算效率的能力,但是对1×1的卷积压缩优势不够明显,模型中部分卷积无法压缩,针对该压缩方法的改进,是未来值得进一步研究的方向。

基金

收起

国家自然科学基金青年科学基金(12302267)
咸阳市重大科技专项(L2023-ZDKJ-JSGG-GY-018)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Besl

P J

, Mckay

N D

. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[2]

Thierfelder

. Standard probability density functionsof characterizing water quality variablesin dimictic glacial/boreal lakes[J]. Water, Air, and Soil Pollution, 1999, 113: 295-317

[3]

胡加涛, 吴晓红, 何小海, 等. 一种基于几何特征由粗到细点云配准算法[J]. 科学技术与工程, 2020, 20(5): 1947-1952.

Jiatao

, Wu

Xiaohong

, He

Xiaohong

, et al. A coarse to fine point cloud registration algorithm based on geometric features[J]. Science Technology and Engineering, 2020, 20(5): 1947-1952.

[4]

Guo

, Wang

, Hu

, et al. Deep learning for 3D point clouds: a survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2021, 43(12): 4338-4364.

[5]

Yuan

, Eckart

, Kim

, et al. DeepGMR: Learning latent gaussian mixture models for registration[EB/OL]// arXiv.org.libyc.nudt.edu.cn:80. (2020-08-20) [2024-02-29]. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2008.09088v1. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2008.09088v1

[6]

Choy

, Dong

, Koltun

. Deep global registration[EB/OL]// arXiv.org.libyc.nudt.edu.cn:80. 2020-04-24)[2024-02-29]. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2004.11540v2. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2004.11540v2

[7]

Pais

G D

, Ramalingam

, Govindu

V M

, et al. 3DRegNet: a deep neural network for 3d point registration[EB/OL]// arXiv.org.libyc.nudt.edu.cn:80. (2019-04-02)[2024-02-29]. https://arxiv.org.libyc.nudt.edu.cn:80/abs/1904.01701v2. https://arxiv.org.libyc.nudt.edu.cn:80/abs/1904.01701v2

[8]

Gojcic

, Zhou

, Wegner

J D

, et al. Learning multiview 3D point cloud registration[EB/OL]// arXiv.org.libyc.nudt.edu.cn:80. (2020-01-15)[2024-02-29]. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2001.05119v2. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2001.05119v2

[9]

, Chen

, Liu

, et al. HRegNet: A hierarchical network for efficient and accurate outdoor LiDAR point cloud registration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(10): 1-14.

[10]

Bai

, Luo

, Zhou

, et al. D3Feat: Joint learning of dense detection and description of 3D local features[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 6358-6366

[11]

, Chen

, Liu

, et al. RSKDD-Net: random sample-based keypoint detector and descriptor[EB/OL]// arXiv.org.libyc.nudt.edu.cn: 80. (2020-10-23) [2024-02-29]. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2010.12394v1. https://arxiv.org.libyc.nudt.edu.cn:80/abs/2010.12394v1

[12]

Qin

, Yu

, Wang

, et al. GeoTransformer: fast and robust point cloud registration with geometric transformer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(8): 9806-9821.

[13]

Tang

, Li

, Du

, et al. HD2Reg: hierarchical descriptors and detectors for point cloud registration[M/OL]. arXiv, 2023[2023-12-07]. http://arxiv.org/abs/2305.03487. http://arxiv.org/abs/2305.03487

[14]

Deng

B L

, Li

, Han

, et al. Model compression and hardware acceleration for neural networks: a comprehensive survey[J]. Proceedings of the IEEE, 2020, 108(4): 485-532.

[15]

王鼎衡, 刘保荣, 杨维, 等. KCPStack: 张量分解的卷积核分层矩阵压缩方法[J]. 西安交通大学学, 2024, 58(3): 137-148.

Wang

Dingheng

, Liu

Baorong

, Yang

Wei

, et al. KCPStack: Tensor decomposed compression method with layered matrices for convolutional kernels[J]. Journal of Xi'an Jiaotong University, 2024, 58(3): 137-148.

[16]

丁少鹏, 刘如飞, 蔡永宁, 等. 一种顾及地形的点云自适应坡度滤波方法[J]. 遥感信息, 2019, 34(4): 108-113.

Ding

Shaopeng

, Liu

Rufei

, Cai

Yongning

, et al. A point cloud adaptive slope filtering method considering terrain[J]. Remote Sensing Information, 2019, 34(4): 108-113.

[17]

董涛涛, 宋宇博. 基于自适应阈值的循环增长地面点云分割算法[J]. 科学技术与工程, 2024, 24(9): 3526-3532.

Dong

Taotao

, Song

Yubo

. Ground point cloud segmentation algorithm with cyclic growth based on adaptive threshold[J]. Science Technology and Engineering, 2024, 24(9): 3526-3532.

[18]

储栋, 王磊, 李靖宇, 等. 基于WPA-CSF的地面点云滤波方法研究[J]. 地球物理学进展, 2023, 38(5): 1919-1930.

Chu

Dong

, Wang

Lei

, Li

Jingyu

, et al. Research on ground point cloud filtering method based on WPA-CSF[J]. Progress in Geophysics, 2023, 38(5): 1919-1930.

[19]

李昊, 陈壮, 董振川, 等. 一种改进布料模拟滤波的地面点云提取方法[J]. 测绘科学, 2023, 48(5): 120-128.

Hao

, Chen

Zhuang

, Dong

Zhenchuan

, et al. A ground pointcloud extraction method based on improved cloth simulation filtering[J]. Science of Surveying and Mapping, 2023, 48(5): 120-128.

[20]

金立生, 贺阳, 王欢欢, 等. 基于自适应阈值DBSCAN的路侧点云分割算法[J]. 汽车工程, 2022, 44(7): 987-996.

Jin

Lisheng

, He

Yang

, Wang

Huanhuan

, et al. Point cloud segmentation algorithm based on adaptive threshold DBSCAN for roadside LiDAR[J]. Automotive Engineering, 2022, 44(7): 987-996.

2025年第25卷第11期

PDF下载

334

134

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2403047

接收时间：2024-04-25
首发时间：2025-07-09
出版时间：2025-04-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-04-25
修回日期：2024-07-30

基金

国家自然科学基金青年科学基金(12302267)

咸阳市重大科技专项(L2023-ZDKJ-JSGG-GY-018)

作者信息

西北机电工程研究所, 智能装备与技术研究室, 咸阳 712099

通讯作者:

* 王鼎衡(1988—),男,汉族,陕西西安人,博士,助理研究员。研究方向:武器装备智能化。E-mail:wangdai11@163.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2403047

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法	运行时间/ms
KNN	13.988 9	13.666 8	13.979 9	13.664 1
KD-Tree	11.612 2	10.227 2	10.080 7	10.261 9

算法

运行时间/ms

集合(8)

集合(9)

集合(10)

集合(8~10)

KNN

13.988 9

13.666 8

13.979 9

13.664 1

KD-Tree

11.612 2

10.227 2

10.080 7

10.261 9

K	S	T	T×S×h×w	Shw×K+K×T
T/2	32	32	1 024	1 024
32	64	2 048	3 072
192	32	6 144	3 584
T/3	32	32	1 024	640
32	64	2 048	1 920
192	32	6 144	2 240

T×S×h×w

Shw×K+K×T

T/2

1 024

2 048

3 072

192

6 144

3 584

T/3

1 024

640

2 048

1 920

192

6 144

2 240

模块	模型	模块一	模块二	模块三	全部模块
超点检测	HRegNet	12 094	50 817	199 937	262 848
HKRNet	8 809	38 089	129 105	176 003
描述符提取	HRegNet	11 840	50 304	198 912	261 056
HKRNet	8 064	32 920	129 072	170 056

模块

模型

模块一

模块二

模块三

全部模块

超点
检测

HRegNet

12 094

50 817

199 937

262 848

HKRNet

8 809

38 089

129 105

176 003

描述
符提取

HRegNet

11 840

50 304

198 912

261 056

HKRNet

8 064

32 920

129 072

170 056

网络模型	计算量/G	参数量/M
HRegNet	10.635 4	2.467 8
HKRNet	4.146 8	2.119 5

网络模型

计算量/G

参数量/M

HRegNet

10.635 4

2.467 8

HKRNet

4.146 8

2.119 5

评估指标	原方法	滤波方法
平移矩阵误差均值/m	0.074 2	0.069 8
平移矩阵误差标准差/m	0.053 7	0.050 4
旋转矩阵误差均值/(°)	0.268 7	0.225 6
旋转矩阵误差标准差/(°)	0.175 6	0.147 7
配准成功率/%	97.63	98.55
平均配准时间/ms	86.525 2	85.167 8

评估指标

原方法

滤波方法

平移矩阵误差均值/m

0.074 2

0.069 8

平移矩阵误差标准差/m

0.053 7

0.050 4

旋转矩阵误差均值/(°)

0.268 7

0.225 6

旋转矩阵误差标准差/(°)

0.175 6

0.147 7

配准成功率/%

97.63

98.55

平均配准时间/ms

86.525 2

85.167 8

评估指标	HRegNet	HKRNet
平移矩阵误差均值/m	0.074 2	0.083 5
平移矩阵误差标准差/m	0.053 7	0.057 3
旋转矩阵误差均值/(°)	0.268 7	0.310 0
旋转矩阵误差标准差/(°)	0.175 6	0.215 0
配准成功率/%	97.63	95.96
平均配准时间/ms	134.525 2	82.833 4

评估指标

HRegNet

HKRNet

平移矩阵误差均值/m

0.074 2

0.083 5

平移矩阵误差标准差/m

0.053 7

0.057 3

旋转矩阵误差均值/(°)

0.268 7

0.310 0

旋转矩阵误差标准差/(°)

0.175 6

0.215 0

配准成功率/%

97.63

95.96

平均配准时间/ms

134.525 2

82.833 4