汽车工程

元素	传感器
顶点元素	3D坐标	BEV坐标	2D坐标

元素

传感器

激光雷达

毫米波雷达

相机

顶点元素

3D坐标

BEV坐标

2D坐标

元素	传感器
顶点元素	3D坐标	BEV坐标	2D坐标

元素

传感器

激光雷达

毫米波雷达

相机

顶点元素

3D坐标

BEV坐标

2D坐标

子空间	正态检验	P值	均值	标准差
1	Shapiro-wilk	0.343	0.948	0.016
2	Shapiro-wilk	0.111	0.956	0.015
3	Shapiro-wilk	0.070	0.920	0.026

子空间

正态检验

P值

均值

标准差

Shapiro-wilk

0.343

0.948

0.016

Shapiro-wilk

0.111

0.956

0.015

Shapiro-wilk

0.070

0.920

0.026

子空间	正态检验	P值	均值	标准差
1	Shapiro-wilk	0.343	0.948	0.016
2	Shapiro-wilk	0.111	0.956	0.015
3	Shapiro-wilk	0.070	0.920	0.026

子空间

正态检验

P值

均值

标准差

Shapiro-wilk

0.343

0.948

0.016

Shapiro-wilk

0.111

0.956

0.015

Shapiro-wilk

0.070

0.920

0.026

项目	噪声类型	标准差	极值	P值
$σ u$	乘法	0.015	1.07	0.196
$σ ν$	乘法	0.020	1.07	0.238
$σ d$	乘法	0.017	1.05	0.053 2
$σ α$	加法	0.021	2	0.425
$σ θ$	加法	0.025	2	0.294
$σ w$	加法	0.019	0.1	0.162
$σ h$	加法	0.029	0.1	0.423
$σ l$	加法	0.018	0.1	0.239
$σ ω$	加法	0.027	2	0.091

项目

噪声类型

标准差

极值

P值

σ u

乘法

0.015

1.07

0.196

σ ν

乘法

0.020

1.07

0.238

σ d

乘法

0.017

1.05

0.053 2

σ α

加法

0.021

0.425

σ θ

加法

0.025

0.294

σ w

加法

0.019

0.1

0.162

σ h

加法

0.029

0.1

0.423

σ l

加法

0.018

0.1

0.239

σ ω

加法

0.027

0.091

项目	噪声类型	标准差	极值	P值
$σ u$	乘法	0.015	1.07	0.196
$σ ν$	乘法	0.020	1.07	0.238
$σ d$	乘法	0.017	1.05	0.053 2
$σ α$	加法	0.021	2	0.425
$σ θ$	加法	0.025	2	0.294
$σ w$	加法	0.019	0.1	0.162
$σ h$	加法	0.029	0.1	0.423
$σ l$	加法	0.018	0.1	0.239
$σ ω$	加法	0.027	2	0.091

项目

噪声类型

标准差

极值

P值

σ u

乘法

0.015

1.07

0.196

σ ν

乘法

0.020

1.07

0.238

σ d

乘法

0.017

1.05

0.053 2

σ α

加法

0.021

0.425

σ θ

加法

0.025

0.294

σ w

加法

0.019

0.1

0.162

σ h

加法

0.029

0.1

0.423

σ l

加法

0.018

0.1

0.239

σ ω

加法

0.027

0.091

子空间	均值	标准差	最小值	最大值
1	0.917	0.017	0.729	0.964
2	0.927	0.015	0.750	0.937
3	0.873	0.025	0.623	0.945

子空间

均值

标准差

最小值

最大值

0.917

0.017

0.729

0.964

0.927

0.015

0.750

0.937

0.873

0.025

0.623

0.945

子空间	均值	标准差	最小值	最大值
1	0.917	0.017	0.729	0.964
2	0.927	0.015	0.750	0.937
3	0.873	0.025	0.623	0.945

子空间

均值

标准差

最小值

最大值

0.917

0.017

0.729

0.964

0.927

0.015

0.750

0.937

0.873

0.025

0.623

0.945

序号	算法	F1/%
1	（LR）+C^［24］	88.1
2	（CR）+L^［25］	88.2
3	（LC）+R^［22］	86.8
4	LM-μ ₁	90.3
5	LM-μ ₂	90.2
6	LM-μ ₃	88.9
7	LM+	91.7
8	LM++	94.0

序号

算法

F1/%

（LR）+C^［24］

88.1

（CR）+L^［25］

88.2

（LC）+R^［22］

86.8

LM-μ ₁

90.3

LM-μ ₂

90.2

LM-μ ₃

88.9

LM+

91.7

LM++

94.0

序号	算法	F1/%
1	（LR）+C^［24］	88.1
2	（CR）+L^［25］	88.2
3	（LC）+R^［22］	86.8
4	LM-μ ₁	90.3
5	LM-μ ₂	90.2
6	LM-μ ₃	88.9
7	LM+	91.7
8	LM++	94.0

序号

算法

F1/%

（LR）+C^［24］

88.1

（CR）+L^［25］

88.2

（LC）+R^［22］

86.8

LM-μ ₁

90.3

LM-μ ₂

90.2

LM-μ ₃

88.9

LM+

91.7

LM++

94.0

基于三分图匹配的智能车辆多传感器数据融合

PDF下载

李路兴 ¹^,² , 魏超 ¹^,²

汽车工程 | 2024,46(7): 1228-1238

收起

汽车工程 | 2024, 46(7): 1228-1238

基于三分图匹配的智能车辆多传感器数据融合

全屏

李路兴¹^,², 魏超¹^,²

作者信息

^1. 北京理工大学机械与车辆学院，北京 100081

^2. 特种车辆设计制造集成技术全国重点实验室，北京 100081

通讯作者:

魏超，教授，博士，E-mail：weichaobit@163.com。

Multi-sensor Data Fusion for Intelligent Vehicles Based on Tripartite Graph Matching

Luxing Li¹^,², Chao Wei¹^,²

Affiliations

^1. School of Machinery and Vehicles，Beijing Institute of Technology，Beijing 100081

^2. National Key Laboratory of Special Vehicle Design and Manufacturing Integration Technology，Beijing 100081

出版时间: 2024-07-25 doi: 10.19562/j.chinasae.qcgc.2024.07.010

文章导航

摘要

收起

多传感器融合是提高智能车辆感知效果的有效途径，针对激光雷达、毫米波雷达和相机3种传感器数据匹配问题，传统匹配方法（如二分图匹配）无法获得高的精度，同时匹配鲁棒性差。为此，本文提出一种基于三分图匹配的智能车辆多传感器数据融合算法，将3种传感器数据匹配问题抽象为有权三分图匹配问题，通过拉格朗日松弛将原问题空间分解为子空间，进而利用代价矩阵模型确定子空间内的顶点和边的权重，结合感知误差模型和似然估计确定感知误差后验分布，最终利用拉格朗日乘子（Lagrange Multiplier，LM）模型完成数据匹配。最后利用nuScenes训练集和实车实验对本文所提匹配算法的效果进行了验证，在数据集上本文算法比常用算法在F1得分方面提升了7.2%，而在多种实车场景测试中，本文算法也同样具有较好的感知精度和鲁棒性。

关键词

拉格朗日松弛 / 多传感器融合 / 感知误差模型 / 三分图匹配

Abstract

收起

Multi-sensor fusion is an effective way to improve intelligent vehicle perception. For the data-matching problem of the three types of sensors of LiDAR， millimeter-wave radar， and camera， traditional methods such as bipartite graph matching can’t achieve high precision， with poor matching robustness. Therefore， a multi-sensor data fusion algorithm for intelligent vehicles based on tripartite graph matching is proposed in this paper. The problem of data matching of the three sensors is abstracted as a weighted tripartite graph-matching problem. By using Lagrange relaxation， the original problem space is decomposed into subspaces， the weights of vertices and edge inside which are determined then by the cost matrix model. Furthermore， combining the perceptual error model and likelihood estimation， the posterior distribution of perceptual errors is determined. Ultimately the Lagrange Multiplier （LM） model is used for data matching. Finally， the effectiveness of the proposed matching algorithm is validated by the nuScenes training dataset and real-world vehicle tests. On the dataset， the proposed algorithm improves F1 scores by 7.2% compared to common algorithms. In various real-world vehicle scenarios， the proposed algorithm shows excellent perceptual accuracy and robustness across.

Key words

Lagrange relaxation / multi-sensor fusion / perception error model / tripartite graph matching

引用本文

李路兴, 魏超. 基于三分图匹配的智能车辆多传感器数据融合. 汽车工程, 2024 , 46 (7) : 1228 -1238 . DOI: 10.19562/j.chinasae.qcgc.2024.07.010

Luxing Li, Chao Wei. Multi-sensor Data Fusion for Intelligent Vehicles Based on Tripartite Graph Matching[J]. Automotive Engineering, 2024 , 46 (7) : 1228 -1238 . DOI: 10.19562/j.chinasae.qcgc.2024.07.010

正文

收起

前言

收起

为了实现高级别自动驾驶，智能车辆必须依赖多种传感器设备以获得准确和可靠的道路环境信息和交通参与者信息。这对多传感器融合算法提出了越来越高的要求^［1-2］。目前多传感器融合算法可以分为3类：早期融合、深度融合和后融合^［3-4］。前两者在大规模数据集、海量计算资源，以及大型神经网络的推动下迅速发展，提高了感知模型的性能和泛化能力^［5-8］，如Lin等提出了一种早期融合模型，设计一种双流架构从相机图像生成伪点云，用以增强原始激光雷达数据，以弥补两种传感器之间的数据差异^［9］；Chen等提出了一种改进的顺序深度融合算法，通过考虑距离和不确定性的语义信息，以及融入不确定性参数学习，用于激光雷达点云特征层信息增强训练^［10］；Chen等提出了一种通用深度融合模型架构，采用基于查询的方法，将低分辨率激光雷达、高分辨率激光雷达、相机和毫米波雷达这4种传感器的特征进行融合，并验证了各种组合的有效性^［11］。但是这两者融合方式计算资源占用和计算成本高，融合过程可解释性差^［12-14］。

相比之下，后融合具有低成本、高效和高可解释性的特点，已被学术界和工业界广泛认可^［15］。对于两种传感器来说，在每种传感器独立完成感知检测之后，通过构造代价矩阵进行数据融合，如赵树廉等提出了基于欧式距离和余弦相似度的数据关联算法，用于构建视觉检测和毫米波雷达检测结果的代价矩阵，以进行目标物数据的匹配和关联^［16］；刘志强等提出了一种基于无迹信息的分布式融合算法，通过引入先验贝叶斯决策量，分别对相机和毫米波传感器的延迟信息进行状态补偿，从而获得局部估计，然后对检测结果进行数据匹配关联，以获得全局估计^［17］；Hao等提出了一种异步融合算法，在进行同步状态更新的同时，对局部缺失的相机和毫米波雷达数据进行估计，随后利用匈牙利算法对这两种估计结果进行数据匹配^［18］；文礼杰等提出了一种多传感器融合算法，基于相容系数计算单帧感知聚类结果之间的相容性，重新分配冲突证据，进而对激光雷达和相机检测结果进行数据匹配，得到最终目标类别识别结果^［19］。以上算法在完成两种传感器数据的状态估计后，通过构建代价矩阵，利用有权二分图匹配进行数据匹配。

然而二分图匹配算法只能考虑两种传感器间的数据匹配关系，二分图匹配无法直接求解3种传感器间的数据匹配问题^［20］。目前常用的解决3种传感器间的数据匹配的算法是基于顺序的二分图匹配法，如Liu等提出了一种结合前端融合和全局融合的异步融合算法，通过柔性关联门控依次对激光雷达、相机和毫米波雷达的目标跟踪结果进行数据匹配，然后将匹配结果与角雷达和超声波雷达数据进行全局融合^［21］；宋强等提出了一种两级融合算法，通过将激光雷达、相机和毫米波雷达的感知结果进行两两分组匹配，随后进行局部组合状态估计和系统误差估计，从而提高了多传感器系统误差估计的精度^［22］。Liu等提出一种自适应二分图匹配算法，依次按照激光雷达、相机和毫米波雷达顺序进行两次二分图匹配，并设置传感器权重因子阈值，将感知结果较差的传感器执行退出融合操作，确保融合匹配的鲁棒性^［23］；Ignatious等提出一种多级二分图匹配算法，依次对红外相机、GPS、激光雷达和超声波雷达的感知结果进行二分图匹配，并为每个模态设置阈值，以确保融合数据的质量^［24］。然而，以上基于顺序二分图匹配的算法的求解精度较低，无法满足3种传感器间数据匹配精度和鲁棒性的要求。

因此，为了求解3种传感器数据匹配问题和保证数据匹配结果的精度和鲁棒性，本文基于三分图匹配，提出一种智能车辆多传感器数据融合算法。首先，将3种传感器数据匹配问题抽象为有权三分图问题，并利用拉格朗日松弛决策将原始问题分解为3个子问题。然后，结合顶点和边的关系，在子空间1-3内进行代价矩阵、感知误差和LM的建模。最终，完成3种传感器数据匹配过程。在nuScenes数据集上进行了大量实验，验证了所提算法的有效性。并在多种实车场景中进行实验，进一步验证了所提算法的精度和鲁棒性。

1 理论基础

收起

本文研究的3种传感器数据匹配问题是指智能车辆常用的激光雷达、毫米波雷达和相机这3种传感器的实际感知数据匹配问题。其为一种典型NP-Hard问题^［25］。本文通过建立原始和子问题空间模型、代价矩阵模型、感知误差模型和LM模型解决该问题。

1.1 原始和子问题空间模型

这3种传感器数据匹配问题可以转换为三分图匹配问题。假设图

G = [V g, E g]

，其中V _g代表所有顶点，并划分为3个子集

v 1, v 2, v 3

；E _g代表顶点之间的边。那么任取E _g中的一条边记为

[I, J]

，若任意边的两个顶点不在同一个子集中，则称图G为三分图^［25］，如式（1）所示：

∀ I ∈ V g, ∀ J ∈ V g, I ≠ J,

v 1 ⋂ v 2 = v 1 ⋂ v 3 = v 2 ⋂ v 3 = ∅

（1）

假定激光雷达、毫米波雷达和相机3种传感器的检测结果数量n ₁= n ₂= n ₃=2时，3种传感器的数据匹配关系如图 1所示。

有权图F _g表示满足式（2）：

F g = {[v, l v, r v c], [e l c, e l r, e r c]}

（2）

式中：

v 、 l v 、 r v c

分别代表激光雷达、毫米波雷达和相机的顶点；

e l c 、 e l r 、 e r c

分别代表激光雷达和相机间的边

、

激光雷达和毫米波雷达间的边

、

毫米波雷达和相机间的边。

F _g中的顶点集合

v, l v, r v c

满足式（3）：

v l = [A, B] v r = [C, D] v c = [E, F]

（3）

F _g中的边

e l c, e l r, e r c

满足式（4）：

e l c = [A E, A F, B E, B F] e l r = [A C, A D, B C, B D] e r c = [C E, C F, D E, D F]

（4）

任取F _g中的一条边记为

e = [i, j]

，满足式（5），即原始问题空间可用有权图F表示。

∀ e ∈ e l c, i ≠ j, v l ⋂ v c = ∅ ∀ e ∈ e l r, i ≠ j, v l ⋂ v r = ∅ ∀ e ∈ e r c, i ≠ j, v r ⋂ v c = ∅

（5）

对于三分图的求解，无法直接使用针对二分图的求解算法；常用的顺序二分图匹配算法的求解精度较低。本文基于拉格朗日松弛决策，提出一种求解三分图的高精度解的算法，首先根据分支定界策略将原始空间分解为子空间，即优先分支子空间具有成本最低的最高下界，保证子空间内为完全匹配，从而保证在分支前后不会丢失最优解。通过这一原则，可以确保图2与图1的最优解相同，如图2所示，3个子空间满足式（6）：

子空 间 1 : F 1 = {[[v l + v r], v c], [e l c + e r c]} 子空 间 2 : F 2 = {[[v c + v r], v l], [e l c + e l r]} 子空 间 3 : F 3 = {[[v l + v c], v r], [e l r + e r c]}

（6）

得到3个子空间后，使用顺序二分图匹配表示子空间内匹配，将图2进一步分解为图 3所示的结构，并通过引入LM对原始优化问题的约束条件进行松弛，通过调整拉格朗日乘子的值，可以确保分解后的新问题（图3）在优化意义上与原问题（图1）保持一致，即是原问题的最优解或近似最优解，从而可以确保对图1最优解的求解精度，此时原始空间和子空间满足式（7）：

F g = u 1 F 1 + u 2 F 2 + u 3 F 3

（7）

式中：

u 1 、 u 2 、 u 3

代表子空间1、子空间2和子空间3的LM；

F 1 、 F 2 、 F 3

分别代表子空间1、2和3。

更一般的，当n ₁，n ₂和n ₃为任意大于1，原始空间和子空间的关系同样满足式（7）。

1.2 子空间内代价矩阵建模

为了确定子空间内有权二分图的顶点和边，须建立合理的代价矩阵模型。分析常用感知算法的检测结果，选择鲁棒性和准确性最高的检测指标作为顶点元素，用来构造代价矩阵。有权二分图的顶点元素的选择如表 1所示，其中3D坐标指的是激光雷达感知到的障碍物3D角点坐标，BEV坐标指的是毫米波雷达感知到的障碍物直角坐标（可由极坐标转化得到）下的检测点，2D坐标指的是相机感知到的障碍物2D像素角点坐标。

根据子空间内顶点元素的特点，确定子空间内顶点间的空间转换关系，如图 4所示。其中图 4（a）为3种传感器空间位置和坐标系定义。对于相机来说，其3D空间坐标系通过式（8）转换为像素坐标系。

K = f x 0 c x 0 f y c y 001, K X c Y c Z c = Z c μ ν 1

（8）

式中： K 是相机内参矩阵； f_x 和f_y 是焦距，以像素为单位；c_x 和c_y 是主点坐标，也以像素为单位；（X _c，Y _c，Z _c）是相机坐标系3D空间坐标；（μ，ν）是像素平面坐标。

图4中，PV代表相机坐标系的驾驶员视角，BEV代表激光雷达坐标系的鸟瞰图视角。

如图4（b）所示，对于激光雷达感知到某点P _l来说，可以通过式（8）和式（9）转换为相机像素平面坐标。然后，计算激光雷达和相机检测结果在像素平面二维框的GIOU值，得到两者匹配权重。

P c = R l c P l + T l c

（9）

式中：P代表3维空间点，P下标c，l，r分别代表相机，激光雷达和毫米波雷达； R 代表空间旋转变换矩阵； T 代表空间平移变换矩阵； R 和 T 下标lc代表激光雷达和相机的转换关系。

同理，如图4（c）所示，通过式（10）将毫米波雷达感知到某点P _r转换为相机像素平面坐标。然后，在像素平面，计算毫米波雷达和相机检测结果的欧式距离值，得到两者匹配权重；如图4（d）所示，计算激光雷达和毫米波雷达的检测结果在像素平面的欧式距离值，得到两者匹配权重。

P c = R r c P r + T r c

（10）

如图4（e）所示，通过式（11）将毫米波雷达感知到某点P _r转换到激光雷达坐标下。然后，计算激光雷达和毫米波雷达检测结果在BEV视角的欧式距离值，得到两者匹配权重。

P l = R r l P r + T r l

（11）

综上所述，得到顶点边的权重后，结合预先定义的顶点，完成子空间内代价矩阵建模。

1.3 感知误差建模

为了保证感知误差的完整性，本文从时间和空间两个维度对感知误差进行分析。其中，空间维度误差表现在目标3D/2D包围盒角点坐标的偏差；时间维度误差表现在传感器感知结果检测状态^［26］。

1.3.1 空间维度感知误差

考虑到激光雷达的点云由近至远逐渐稀疏的特点，采用考虑距离的高斯白噪声对其3D框大小和位置偏差进行建模^［27］。为了减少累计误差，使用球坐标（可由直角坐标转化得到）表示3D中心点坐标，其误差模型如式（12）所示：

d' = d N 1, σ d θ' = θ + N 0, σ θ α' = α + N 0, σ α

（12）

式中：

d

是原始半径，

d'

是具有乘法噪声的新半径；

θ

是原始方位角，

θ'

是具有加法噪声的新方位角；

α

是原始极角，

α'

是具有加法噪声的新极角；

N 0, σ θ

和

N 1, σ d

是高斯随机变量。其中

d

、

θ

、

α

及其噪声量

d'

、

θ'

、

α'

是3D中心点在球坐标下的表示。

3D框是指激光雷达检测的结果，其长、宽、高和横摆角的误差模型如式（13）所示：

w' = w + N 0, σ w, h' = w + N 0, σ h l' = l + N 0, σ l, ω' = ω + N 0, σ ω

（13）

式中：

w

是3D框原始宽，

w'

是具有加法噪声的宽；

h

是3D框原始高，

h'

是具有加法噪声的高；

l

是3D框原始长，

l'

是具有加法噪声的长；

ω

是3D框原始横摆角，

ω'

是具有加法噪声的横摆角。

考虑到相机检测结果存在“近大远小”的情况，其采用考虑2D框大小的高斯白噪声对其2D包围盒大小和位置偏差进行建模，如式（14）所示：

μ 1' = μ 1 N 1 / Δ μ + 1, σ u ν 1' = ν 1 N 1 / Δ ν + 1, σ ν μ 2' = μ 2 N 1 / Δ μ + 1, σ u ν 2' = ν 2 N 1 / Δ ν + 1, σ ν

（14）

式中：

μ 1', ν 1'

和

μ 2', ν 2'

分别代表具有乘法噪声的2D框左上角和右下角顶点坐标；

μ 1, ν 1

和

μ 2, ν 2

分别代表原始2D框左上角和右下角顶点坐标，其中

Δ μ = μ 2 - μ 1

，

Δ ν = ν 2 - ν 1

。

对于毫米波雷达来说，其空间分辨率较低且测距结果基本不受距离的影响，一般直接使用其输出的障碍物点云的距离和速度等信息，故不对其感知误差进行建模。

1.3.2 时间维度感知误差

本文通过具有两种状态的马尔可夫链对偶发性未检测错误进行建模^［27］，首先明确状态转移类别，P_t （状态0→状态1）表示从状态0到状态1的转移概率，表示未检测的概率；P_t （状态1→状态0）表示从状态1到状态0的转移概率，通常表示检测到的概率。

其次，确定系统稳定概率，其中p ₀表示系统处于状态0的稳态概率，p ₁表示系统处于状态1的稳态概率，p ₀、p ₁

∈

［0，1］。并使用平均逗留时间λ表示在0和1状态中平均停留的时间，λ

∈

［0，1 s］。

综上所述，偶发性未检测误差概率密度函数如式（15）所示：

状态 0 : f t | λ 0 = λ 0 e x p - λ 0 t 状态 1 : f t | λ 1 = λ 1 e x p - λ 1 t

（15）

当一个传感器检测失败时，其将退化为二分图问题，可由图3中任意子空间内求解；当两个传感器检测失败时，不需要数据融合。同时，因为本文的研究对象是3种传感器数据融合的NP-Hard问题，故下文中拉格朗日乘子建模部分并不考虑时间维度感知误差。

1.4 拉格朗日乘子建模

在式（7）的基础上，并且不考虑式（12）~式（15）构建的感知误差模型的影响，并结合子空间内代价矩阵模型，每个子空间内的LM与边的权重有关^［28］，如式（16）所示：

u 1 = f 1 [y 1 T P]; u 2 = f 2 [y 2 T P] u 3 = f 3 [y 3 T P]

（16）

式中

y T P

是每个子空间内TP边权重，TP代表实际为正模型预测也为正的样本数。

式（16）的基于统计的表达形式，可由式（17）确定：

u^1 = o 1 [F 1 + y^T P] / 2 u^2 = o 2 [F 1 + y^T P] / 2 u^3 = o 3 [F 1 + y^T P] / 2

（17）

式中：

F 1 = 2 T P 2 T P + F P + F N

；

y^T P

是每个子空间内TP边权重的均值；FP和FN分别表示实际为负模型预测却为正的样本数和实际为正模型预测却为负的样本数；

u^1 、 u^2 、 u^3

分别代表基于统计表达的子空间1、子空间2和子空间3的LM。

实际上感知误差不可避免，考虑式（12）~式（14）构建的空间维度感知误差模型，并结合似然估计模型，利用贝叶斯推断得到每条边权重的后验分布，如式（18）所示：

P Θ Y T P = P Y T P Θ P Θ P Y T P

（18）

式中：

Y T P = y 1 T P, y 1 T P, …, y n T P

，

Θ = μ, σ

，

Y T P

代表由n个观测值组成的观测数据集，

Θ

代表模型参数集合；

P Y T P

代表代表边缘概率；

P Θ

代表感知误差先验模型分布；

P Y T P Θ

代表似然估计模型；

P Θ Y T P

代表后验分布模型。

结合式（17）和式（18），并考虑式（12）~式（14）构建的空间维度感知误差模型，每个子空间内的LM与边的权重的表达如式（19）所示：

u 1 = f 1 [u^1, y p e m 1 T P] u 2 = f 1 [u^2, y p e m 2 T P] u 3 = f 1 [u^3, y p e m 3 T P]

（19）

式中

y p e m T P

是每个子空间内TP边后验估计权重。

考虑实际感知误差后，式（19）的基于统计的表达形式，可由式（20）确定：

u^p e m 1 = ∑ i = 1 n u^1 y i T P n u^p e m 2 = ∑ i = 1 n u^2 y i T P n u^p e m 3 = ∑ i = 1 n u^3 y i T P n

（20）

式中

u^p e m 1 、 u^p e m 2 、 u^p e m 3

分别代表考虑实际感知误差后，基于统计表达的子空间1、子空间2和子空间3的LM。

综上所述，本文提出的基于三分图匹配的智能车辆多传感器数据融合算法伪代码如图 5所示。

2 实验验证

收起

2.1 实验数据

nuScenes是一个广泛用于自动驾驶研究的数据集和场景理解平台，以其开放性和多功能性，成为学术研究和工业应用中的重要资源。该数据集提供了大规模且高质量的传感器数据：包含1 000个场景，覆盖不同城市、天气条件（晴天、雨天、雾天）及多个时间段，提供约40 000组激光雷达、相机和毫米波雷达的原始数据和标签信息^［5］。因此，本文选用nuScenes数据集作为多传感器数据匹配实验研究的基准数据集，并在实车数据上进行进一步验证。

2.2 拉格朗日乘子实验分析

本文将不考虑感知误差的匹配算法定义为LM+算法，将考虑感知误差的匹配算法定义为LM++算法，并对两种算法进行实验分析。

2.2.1 拉格朗日乘子初值模型

nuScenes训练集提供了850个场景片段，每个场景大约有20 s的连续帧，并以2 Hz的频率对每个场景的关键帧进行标注。本文利用其原始数据和标签数据进行LM实验分析。

首先在不考虑感知误差的前提下，通过使用这些训练场景的真值标签数据对LM初值进行实验分析。如图 6 所示， 3个子空间的LM值在0.8~0.98范围内波动，并主要集中在均值附近。这种较小的波动范围和集中的分布，证明了本文提出的LM模型能够有效量化描述各子空间的约束状态。此外，在每个场景下都满足

μ 2 > μ 1 > μ 3

，证明子空间2是3个子空间中的最优空间，可以作为原始空间的近似解空间。

LM的统计学分析如表 2所示：对每个场景的LM值进行统计分析，并利用Shapiro-wilk进行正态性检验。结果显示，在5%显著水平下，各子空间的LM皆满足正态性，进一步证明本文所提LM模型可以很好的量化描述各子空间的约束状态。根据各子空间的正态分布均值结果，可以确定基于统计的LM模型初值

μ^2

=0.956，

μ^1

=0.948，

μ^3

=0.920。

LM初值模型只考虑代价矩阵模型影响。然而，感知误差不可避免，需要对考虑感知误差的LM模型进行进一步研究。

2.2.2 考虑感知误差的LM模型

首先，选用工业界常用的2D检测算法：YOLOv5^［29］及3D检测算法：PointPillars^［30］，在nuScenes训练集原始传感器数据上进行检测，获得相机实际2D框像素检测结果，激光雷达实际3D检测结果。而对于毫米波实际2D检测结果，则直接使用nuScenes数据集提供的解码和滤波算法^［5］。结合数据集真值标签数据，得到实际感知误差，如表 3所示。实际噪声类型和感知误差模型保持一致，证明感知误差模型分类的合理性；实际噪声P值大于0.05，表明在5%显著水平下2D框和3D检测空间误差皆满足正态性，验证了感知误差模型的精度。

在忽略时间维度感知误差后，感知误差模型可由表 3确定。结合实例对象的2D/3D感知信息得到似然估计模型，利用贝叶斯推断获得考虑实际感知误差后，三分图边权重的后验估计，进而得到考虑实际感知误差的LM统计分析，结果如表4所示。与表 2和图6相比，每个子空间的均值都在降低，并且极值存在不同程度的下降，最小值甚至降到0.623。这一现象是由实际感知误差导致的边权重降低引起的，证明了考虑感知误差的合理性与重要性。同时考虑感知误差后的LM满足

μ^2 > μ^1 > μ^3

，进一步证明子空间2是3个子空间中的最优空间，可以作为原始空间的近似解空间。

2.3 对比实验分析

为进一步验证本文提出算法在多传感器数据匹配方面的优越性，文中继续采用nuScenes数据集，并将其与多种常用算法进行对比分析，结果如表 5所示。其中算法1-3为3种常用的顺序二分图匹配算法，算法4-6分别为考虑感知误差的子空间1-3的匹配算法。所有算法的输入相同，皆为实际感知结果，且代价矩阵构造采用1.2节代价矩阵建模的方式。通过F1得分，本文对结果进行了定量分析评价。

由表5可见，与算法1-3相比，LM++算法取得了最高的F1得分，LM+算法取得了次高的F1得分；相比于表5中的算法3，LM++算法取得了7.2百分点的明显提升，LM+算法取得了4.9百分点的明显提升，证明了本文所提基于三分图匹配的智能车辆多传感器融合算法的优越性。相比于常用的算法1-3，考虑感知误差的算法4-6的F1得分均获得不低于2百分点的提升；相比于LM+，考虑感知误差的LM++的F1得分获得2.3百分点的提升，证明了LM在考虑感知误差后的优越性。

在nuScenes数据集的850个场景中，对本文提出的LM++算法的运行时间进行了统计。结果显示，本文算法的平均耗时为0.547 ms，最大耗时为2.11 ms。这表明，在大多数场景下，本文算法的平均运行时间远低于毫秒级，即使在复杂场景中，其运行时间也能保持在毫米级。这一性能充分证明了本文提出的方法能够满足高实时性的要求，适用于多传感器融合的应用场景，确保了算法在实际应用中的可行性和高效性。

2.4 数据集和实车场景

2.4.1 nuScenes数据集场景

在nuScenes数据集中选取城市十字路口、城郊窄路、郊区雨天和高速夜晚4种具有挑战性的场景进行可视化效果分析。如图 7所示，每行代表一个场景的匹配情况，第1列为初始帧的完整场景，第2至第4列为第2至第4帧的局部放大图。整体上，每个场景下都完成了对多传感器检测结果的匹配。对于遮挡严重和长远距离目标来说，存在匹配失败情况。原因在于这类目标的感知检测误差较大，导致了边的权重过低；在雨天和夜晚时，对目标的有效感知范围减小并且检测误差增大，但在有效范围内依然可以完成匹配。

2.4.2 实车场景测试

为了进一步验证所提出模型的鲁棒性，本文使用某自动驾驶运输车在4种不同的真实测试场景中进行实车实验。这些测试场景包括城区开放路口、封闭园区、乡村土路以及雨天碎石路。运输车的感知传感器包括前置长距激光雷达、前置高帧率相机和前置中长距毫米波雷达，通过ros采集3种类型传感器的实测数据，并利用节点同步的方式对实测数据进行时间同步。之后，进行传感器空间标定，获得3种类型传感器间的空间转换矩阵，完成实车多传感器间实际场景数据准备工作。

图8展示了在实车场景中进行的多传感器匹配实验结果。与nuScenes实车场景相比，面对的环境更加多样化和复杂，涵盖了结构化道路，如城区路口和园区，以及非结构化道路，如乡村土路和雨天碎石路面。在城区路口和园区场景中，分别取得了0.944和0.957的F1得分。其中园区场景得分高于城区路口的原因在于，园区内车速低、数量少，目标检测算法精度偏高。总的来说，本文所提的匹配模型表现出色，无论是对动态目标还是静态目标，都能够确保获得稳定的匹配结果。

特别是面对感知误差噪声相对较大的乡村土路和雨天碎石路面时，分别取得了0.923和0.914的F1得分。其中两者得分皆低于结构化道路的原因在于，目标检测算法本身在非结构道路中泛化能力降低，检测精度偏低。总的来说，本文所提匹配模型仍然能够稳定地完成匹配任务。这进一步证明，在复杂和多样化的实际场景中，本文提出的匹配算法能够保证多传感器数据匹配的精度和鲁棒性。

图7中红色虚线矩形框为局部放大目标，红色矩形框为激光雷达3D检测结果在像素平面的逆投影，绿色矩形框为相机检测2D框，红色点为3D框中心点在像素平面的逆投影，绿色点为2D检测框中心点，蓝色点为毫米波雷达检测结果在像素平面的逆投影，编号549、617、698、842为nuScenes数据集中的特定场景序号。

3 结论

收起

（1）针对二分图匹配无法直接求解3种传感器数据融合问题，本文将激光雷达、毫米波雷达和相机3种传感器数据匹配问题抽象为有权三分图问题。通过基于图匹配的子问题空间模型求解，并在每个子空间上建立代价矩阵模型、感知误差量化模型和LM模型，用以提高常用多传感器匹配算法的精度和鲁棒性。

（2）在nuScenes数据集上的结果表明，本文所提算法优于常用算法，在F1得分方面获得7.2百分点的显著提升；考虑感知误差的LM算法优于不考虑感知误差的算法，提高了多传感器数据匹配的精度和鲁棒性。最后多种典型实车场景测试表明，本文所提算法具有良好匹配精度和鲁棒性。

（3）但是，注意到感知误差过大时，匹配效果的精度和鲁棒性会降低。未来的工作将着重考虑建立更加精确的感知误差模型，以进一步提高匹配精度和鲁棒性。

基金

收起

青年科学基金项目（52002026）资助。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

BADUE C， GUIDOLINI R， CARNEIRO R V， et al. Self-driving cars： a survey［J］. Expert Systems with Applications， 2021， 165（1）： 1-34.

TEETI I， KHAN S， SHAHBAZ A， et al. Vision-based intention and trajectory prediction in autonomous vehicles： a survey［C］. International Joint Conference on Artificial Intelligence， 2022： 5630-5637.

WANG Z， WU Y， NIU Q. Multi-sensor fusion in automated driving： a survey［J］. IEEE Access， 2019， 8： 2847-2868.

LI Y， DENG J， ZHANG Y， et al. EZFusion： a close look at the integration of LiDAR， millimeter-wave radar， and camera for accurate 3D object detection and tracking［J］. IEEE Robotics and Automation Letters， 2022， 7（4）： 11182-11189.

CAESAR H， BANKITI V， LANG A H， et al. Nuscenes： a multimodal dataset for autonomous driving［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 11621-11631.

SUN P， KRETZSCHMAR H， DOTIWALLA X， et al. Scalability in perception for autonomous driving： waymo open dataset［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 2446-2454.

SINGH A. Vision-radar fusion for robotics bev detections： a survey［C］. 2023 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2023： 1-7.

TANG Q， LIANG J， ZHU F. A comparative review on multi-modal sensors fusion based on deep learning［J］. Signal Processing， 2023： 109165.

LIN C， TIAN D， DUAN X， et al. CL3D： camera-LiDAR 3D object detection with point feature enhancement and point-guided fusion［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 18040-18050.

CHEN W， TIAN W， XIE X， et al. RGB image-and LIDAR-based 3D object detection under multiple lighting scenarios［J］. Automotive Innovation， 2022， 5（3）： 251-259.

CHEN X， ZHANG T， WANG Y， et al. Futr3D： a unified sensor fusion framework for 3D detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 172-181.

LI H， ZHANG Z， ZHAO X， et al. Enhancing multi-modal features using local self-attention for 3D object detection［C］. European Conference on Computer Vision. Cham： Springer Nature Switzerland， 2022： 532-549.

YIN T， ZHOU X， KRÄHENBÜHL P. Multimodal virtual point 3D detection［J］. Advances in Neural Information Processing Systems， 2021， 34： 16494-16507.

JIANG K， SHI Y， ZHOU T， et al. PTMOT： a probabilistic multiple object tracker enhanced by tracklet confidence for autonomous driving［J］. Automotive Innovation， 2022， 5（3）： 260-271.

ZHOU Y， DONG Y， HOU F， et al. Review on millimeter-wave radar and camera fusion technology［J］. Sustainability， 2022， 14（9）： 5114.

赵树廉，吴思宇，赵鹏云，等. 基于最小临近点迹和航迹关联的多源目标融合方法［J］. 汽车工程学报， 2022， 12（5）： 593-603.

ZHAO S L， WU S Y， ZHAO P Y， et al. Multi-source target fusion method based on the nearest positioning and trajectory data association［J］. Chinese Journal of Automotive Engineering， 2022， 12（5）： 593-603.

刘志强，张光林，郑曰文，等. 基于检测无迹信息融合算法的多传感融合方法［J］. 汽车工程， 2020， 42（7）： 854-859.

LIU Z Q， ZHANG G L， ZHENG Y W， et al. Multi-sensor fusion method based on checking unscented information fusion algorithm［J］. Automotive Engineering， 2020， 42（7）： 854-859.

HAO X， XIA Y， YANG H， et al. Asynchronous information fusion in intelligent driving systems for target tracking using cameras and radars［J］. IEEE Transactions on Industrial Electronics， 2022， 70（3）： 2708-2717.

文礼杰，谢荣，许军立，等. 基于相容系数的多传感器融合目标识别方法［J］. 电子测量与仪器学报， 2023， 37（4）： 142-153.

WEN L J， XIE R， XU J L， et al. Multi-sensor fusion target recognition method based on compatibility coefficient ［J］. Journal of Electronic Measurement and Instrumentation， 2023， 37（4）： 142-153.

ZHANG B， SMALL D S， LASATER K B， et al. Matching one sample according to two criteria in observational studies［J］. Journal of the American Statistical Association， 2023， 118（542）： 1140-1151.

LIU Y， WANG Z， PENG L， et al. A detachable and expansible multisensor data fusion model for perception in level 3 autonomous driving system［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 24（2）： 1814-1827.

宋强，熊伟，何友. 多传感器多目标系统误差融合估计算法［J］. 北京航空航天大学学报， 2012， 38（6）： 835-841.

SONG Q， XIONG W， HE Y. Multi-sensor multi-target systematic bias fusion estimation algorithm［J］. Journal of Beijing University of Aeronautics and Astronautics， 2012， 38（6）： 835-841.

LIU Q， ZHOU W， ZHANG Y， et al. Multi-target detection based on multi-sensor redundancy and dynamic weight distribution for driverless cars［C］. 2021 International Conference on Communications， Information System and Computer Engineering （CISCE）. IEEE， 2021： 229-234.

IGNATIOUS H A， EL-SAYED H， KULKARNI P. Multilevel data and decision fusion using heterogeneous sensory data for autonomous vehicles［J］. Remote Sensing， 2023， 15（9）： 2256.

IVANOV A， TONCHEV K， POULKOV V， et al. Graph-based resource allocation for integrated space and terrestrial communications［J］. Sensors， 2022， 22（15）： 5778.

YANG K， TANG X， LI J， et al. Uncertainties in onboard algorithms for autonomous vehicles： challenges， mitigation， and perspectives［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（9）： 8963-8987.

PIAZZONI A， CHERIAN J， SLAVIK M， et al. Modeling perception errors towards robust decision making in autonomous vehicles［C］. Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence， 2021： 3494-3500.

XU L， QIAN B， HU R， et al. Lagrange heuristic algorithm incorporated with decomposition strategy for green multi-depot heterogeneous-fleet vehicle routing problem［C］. International Conference on Intelligent Computing. Singapore： Springer Nature Singapore， 2023： 537-548.

ULTRALYTICS. YOLOv5［DB/OL］. （2024-01-22）. https：//github.com/ultralytics/yolov5/tree/v5.0.

2024年第46卷第7期

PDF下载

365

154

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2024.07.010

接收时间：2023-11-12
首发时间：2025-07-29
出版时间：2024-07-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-11-12
修回日期：2024-02-22

基金

青年科学基金项目（52002026）资助。

作者信息

^1. 北京理工大学机械与车辆学院，北京 100081

^2. 特种车辆设计制造集成技术全国重点实验室，北京 100081

通讯作者:

魏超，教授，博士，E-mail：weichaobit@163.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2024.07.010

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

元素	传感器
顶点元素	3D坐标	BEV坐标	2D坐标

元素

传感器

激光雷达

毫米波雷达

相机

顶点元素

3D坐标

BEV坐标

2D坐标

子空间	正态检验	P值	均值	标准差
1	Shapiro-wilk	0.343	0.948	0.016
2	Shapiro-wilk	0.111	0.956	0.015
3	Shapiro-wilk	0.070	0.920	0.026

子空间

正态检验

P值

均值

标准差

Shapiro-wilk

0.343

0.948

0.016

Shapiro-wilk

0.111

0.956

0.015

Shapiro-wilk

0.070

0.920

0.026

项目	噪声类型	标准差	极值	P值
$σ u$	乘法	0.015	1.07	0.196
$σ ν$	乘法	0.020	1.07	0.238
$σ d$	乘法	0.017	1.05	0.053 2
$σ α$	加法	0.021	2	0.425
$σ θ$	加法	0.025	2	0.294
$σ w$	加法	0.019	0.1	0.162
$σ h$	加法	0.029	0.1	0.423
$σ l$	加法	0.018	0.1	0.239
$σ ω$	加法	0.027	2	0.091

项目

噪声类型

标准差

极值

P值

σ u

乘法

0.015

1.07

0.196

σ ν

乘法

0.020

1.07

0.238

σ d

乘法

0.017

1.05

0.053 2

σ α

加法

0.021

0.425

σ θ

加法

0.025

0.294

σ w

加法

0.019

0.1

0.162

σ h

加法

0.029

0.1

0.423

σ l

加法

0.018

0.1

0.239

σ ω

加法

0.027

0.091

子空间	均值	标准差	最小值	最大值
1	0.917	0.017	0.729	0.964
2	0.927	0.015	0.750	0.937
3	0.873	0.025	0.623	0.945

子空间

均值

标准差

最小值

最大值

0.917

0.017

0.729

0.964

0.927

0.015

0.750

0.937

0.873

0.025

0.623

0.945

序号	算法	F1/%
1	（LR）+C^［24］	88.1
2	（CR）+L^［25］	88.2
3	（LC）+R^［22］	86.8
4	LM-μ ₁	90.3
5	LM-μ ₂	90.2
6	LM-μ ₃	88.9
7	LM+	91.7
8	LM++	94.0

序号

算法

F1/%

（LR）+C^［24］

88.1

（CR）+L^［25］

88.2

（LC）+R^［22］

86.8

LM-μ ₁

90.3

LM-μ ₂

90.2

LM-μ ₃

88.9

LM+

91.7

LM++

94.0