汽车工程学报

数据集	数据类型	传感器数量	信号采集数	稀疏度
SODA10M	467	86	6105	0.152
KITTI	389	72	8 247	0.294

数据集	数据类型	传感器数量	信号采集数	稀疏度
SODA10M	467	86	6105	0.152
KITTI	389	72	8 247	0.294

方法	SODA10M数据集
相对坐标(X, Y)距离	RMSE	耗时/s	PSNR	SSIM	SAM	UIQI
原始目标	(10.50,6.45)
MF	(8.94,5.16)	0.164	3.84	43.62	0.9751	4.27	0.984 1
Bias-SVD	(11.06, 6.93)	0.060	1.32	44.25	0.9836	4.16	0.986 5
MC+DMF	(10.61,6.39)	0.010	0.86	46.85	0.9916	3.26	0.993 6
PMF	(10.28,6.18)	0.028	0.98	46.73	0.9896	3.32	0.9930

方法	SODA10M数据集
相对坐标(X, Y)距离	RMSE	耗时/s	PSNR	SSIM	SAM	UIQI
原始目标	(10.50,6.45)
MF	(8.94,5.16)	0.164	3.84	43.62	0.9751	4.27	0.984 1
Bias-SVD	(11.06, 6.93)	0.060	1.32	44.25	0.9836	4.16	0.986 5
MC+DMF	(10.61,6.39)	0.010	0.86	46.85	0.9916	3.26	0.993 6
PMF	(10.28,6.18)	0.028	0.98	46.73	0.9896	3.32	0.9930

方法	KITTI数据集
相对坐标(X, Y)距离	RMSE	耗时/s	PSNR	SSIM	SAM	UIQI
原始目标	(12.44,7.52)
MF	(10.86, 6.37)	0.134	6.72	43.71	0.980 6	4.36	0.986 2
Bias-SVD	(13.39,6.67)	0.088	3.58	44.53	0.9824	4.21	0.9874
MC+DMF	(12.41,7.48)	0.003	1.17	46.89	0.9928	3.15	0.994 2
PMF	(12.35,7.36)	0.013	1.65	45.91	0.9914	3.16	0.993 2

方法	KITTI数据集
相对坐标(X, Y)距离	RMSE	耗时/s	PSNR	SSIM	SAM	UIQI
原始目标	(12.44,7.52)
MF	(10.86, 6.37)	0.134	6.72	43.71	0.980 6	4.36	0.986 2
Bias-SVD	(13.39,6.67)	0.088	3.58	44.53	0.9824	4.21	0.9874
MC+DMF	(12.41,7.48)	0.003	1.17	46.89	0.9928	3.15	0.994 2
PMF	(12.35,7.36)	0.013	1.65	45.91	0.9914	3.16	0.993 2

基于深度矩阵分解的无人感知系统信号补全方法研究

PDF下载

钟岳 , 徐峰 , 张纬华

汽车工程学报 | 智能网联技术专栏/主编:高镇海 2024,14(5): 801-811

收起

汽车工程学报 | 智能网联技术专栏/主编:高镇海 2024, 14(5): 801-811

基于深度矩阵分解的无人感知系统信号补全方法研究

全屏

钟岳, 徐峰, 张纬华

作者信息

中国人民解放军32184部队北京 100071

钟岳(1996-),男,江苏南通人,硕士,工程师,主要研究方向为模式识别与试验鉴定。Tel: 15011305172 E-mail：1286486130@qq.com

Signal Completion for Unmanned Sensing Systems Based on Deep Matrix Factorization

Yue ZHONG, Feng XU, Weihua ZHANG

Affiliations

Unit 32184 of the PLA Beijing 100071 China

doi: 10.3969/j.issn.2095–1469.2024.05.06

文章导航

摘要

收起

针对当前无人车行驶过程中存在的异常信号测试手段缺乏问题,以可靠性行驶试验中受到环境干扰等导致的信号异常为例,利用感知系统中多传感器感知信号在时域和空域上的相关性,建立多传感器采集数据信息间的交叉数学模型,提出将传感器采集信号和各传感器分别作为信号矩阵的行列元素,通过此数值化方式将原始多传感器信号转化为可参数化的信号矩阵模型。还提出了一种基于矩阵补全和深度矩阵分解融合(MC+DMF)的方法恢复由于环境干扰等导致的部分异常信号,根据神经网络前向传播特性,将原始矩阵中的行向量(单个传感器在i时刻的各采集数据)和列向量(传感器向量)进行降维,降低失真信号矩阵在特征提取过程中的计算量,利用Hadamard乘积对特征提取后的损失函数正则化避免出现过拟合,将该方法运用至SODA10M和KITTI公开数据集中,并与传统的单一矩阵分解(MF)、概率矩阵分解(PMF)、带偏置的奇异值分解(BiasSVD)方法进行均方根误差(MAE)对比试验,可有效检测到行驶过程中出现的异常信号传感器。结果表明,深度矩阵分解方法能极大地降低数据恢复误差和时间,相较于概率矩阵分解方法,其误差率低1%,恢复时间少约20.65%。

关键词

环境干扰 / 异常信号 / 矩阵补全 / 多传感器融合 / 深度矩阵分解

Abstract

收起

Aiming at the lack of effective methods for testing abnormal signals during the operation of unmanned vehicles, the paper focuses on signal anomalies caused by environmental disturbances in reliability driving tests. By using the correlation of signals from multiple sensors in both the time domain and spatial domain, a crossmathematical model is established based on the multisensor data. The signals collected from sensors are assigned as the row elements and the sensors as the column elements within the signal matrix. This numerical method transforms the original multisensor signals into a parameterized signal matrix model. A method combining matrix completion and deep matrix decomposition fusion (MC+DMF) is proposed to recover certain abnormal signals resulting from environmental disturbances. According to the forward propagation characteristics of the neural network, dimensionality reduction is applied to the row vectors (data collected by individual sensors at time i ) and column vectors (sensor arrays) in the original matrix. This process reduces the computational load during feature extraction from the distorted signal matrix. Additionally, the Hadamard product is used to regularize the MC+DMF loss function after feature extraction to avoid overfitting. The proposed method is applied on the SODA10M and KITTI public datasets, and comparing with traditional approaches, such as the single matrix factorization (MF), probability matrix factorization (PMF) and BiasSVD, the experiments using root mean square error (RMSE) show that the method can effectively detect abnormal sensor signals caused by vibration interference during driving. The results show that the MC+DMF method can greatly reduce the data recovery error and time. Compared with the probability matrix decomposition method, it achieves a 1% lower error rate and approximately 20.65% less recovery time.

Key words

environmental disturbances / abnormal signals / matrix completion / multisensor fusion / deep matrix factorization

引用本文

钟岳, 徐峰, 张纬华. 基于深度矩阵分解的无人感知系统信号补全方法研究. 汽车工程学报, 2024 , 14 (5) : 801 -811 . DOI: 10.3969/j.issn.2095–1469.2024.05.06

Yue ZHONG, Feng XU, Weihua ZHANG. Signal Completion for Unmanned Sensing Systems Based on Deep Matrix Factorization[J]. Chinese Journal of Automotive Engineering, 2024 , 14 (5) : 801 -811 . DOI: 10.3969/j.issn.2095–1469.2024.05.06

正文

收起

21 世纪以来, 伴随模式识别、图像处理和数据融合等无人感知相关技术的突破, 无人驾驶车辆进入快速发展阶段, 操纵方式逐步由遥控式扩展到半自主和全自主式 ^{[ 1 ]} ,而无人感知技术是衔接这两个阶段的关键所在。通过感知系统(传感器组)采集信息并处理从而规划路线 ^{[ 2 ]} 。无人车的环境信息既包括道路动静态障碍物的位置、形状和语义等信息,也包括路面的固有特征 ^{[ 3 ]} 。感知系统的性能对无人车是否能安全高效运行有重要意义。

无人车感知系统由激光雷达、相机、毫米波雷达 3 部分组成, 其结构如图 1 所示。

在传感器模块中, 通过 3 种传感器采集时间- 帧序列,并通过分析模块进行特征提取和识别分析,最终输出感知结果 ^{[ 4 ]} ,但这一结构对于行驶过程中受到的干扰缺乏鲁棒性。无人车感知系统正常运行的主要风险主要来源于路面环境干扰导致的信号接收误差以及感知系统本身故障 ^{[ 5 ]} 。

环境干扰主要包括天气、光照、路面材质、路面颜色和反射率以及路况条件。感知系统本身故障也非常普遍, 主要分为 3 类: 传感器距离测量偏差、传感器角度测量偏差、传感器采集致盲 ^{[ 6 ]} 。无人感知系统的底层感知源自激光采集信号原理, 即感知系统发射激光后,开始计时 ${t}_{1}$ ,当激光接触到物体后部分能力散失, 部分能量反射回感知系统能量接收器, 此时内部计时器停止计时, 此时刻记为 ${t}_{2}$ ,令激光传播速度为 $C$ 。则感知系统到目标的距离如式 (1) 所示。

(1)

$ S = C \times \frac{\left( {t}_{2} - {t}_{1}\right) }{2}\text{。} $

通过分析目标到无人车感知系统的相对距离, 再根据收寄过程中目标表面的点、线、面模型从而识别目标语义。

若无人车在超过不平度阈值的路面行驶, 并达到极限振动, 那么传感器在诸如正弦波路面的行驶过程中会出现一定的位移,记为 ${\Delta l}$ ,它可以近似认为服从于简谐分布,如式 (2) 所示。

(2)

$ {\Delta h} = \left( {s - a}\right) \tan \theta - {\Delta l}\text{。} $

式中: ${\Delta h}$ 为干扰目标与真实目标之间的垂直距离; $a$ 为车辆极限振动过程中的行驶距离; $\theta$ 为测量角度偏差,如图 2 所示。

由图 2 可知, 无人车在实际行驶过程中, 由环境干扰引起的传感器位移偏差会极大地影响传感器采集的距离和角度, 从而不同程度地影响传感器的信息采集。

根据国内外的研究发现, 感知算法层的改善对于应对传感器异常现象具有一定的作用。如 CAO Yulong 等 ^{[ 7 ]} 通过试验研究发现,某些材料会加剧透镜印刷现象,表现为误判和漏判,因此,提出了一种 LiDAR-Adv 方法, 即通过生成对抗样本 (用于逃避感知系统检测)将其置于行驶道路中间位置, 直到逼近对抗样本时检测并识别该目标, 此研究不仅提供了一种解决思路, 更是揭示了无人车驾驶过程中感知系统存在信息提取存在残缺的现象。

环境因素和感知系统本身的故障, 极易导致传感器获取的信息因混入振动噪声而出现信息失真, 引发错误的识别结果, 从而出现路径规划偏差, 导致无人车行驶过程中存在安全风险。如 WU Xiongwei 等 ^{[ 8 ]} 在 2019 年在对特斯拉 Model S 无人车的试验过程中, 通过大幅度增加地面不平度影响感知系统内部的图像识别传感器, 导致测试装备在行驶过程中受失真信号的影响进入了反向车道。因此, 当前的主要研究致力于对无人车异常信号的测试以及通过某种方式消除不规则振动等其他因素带来的信号影响, 并通过还原信号的方式分析出感知系统中的故障部分, 也就验证了无人车系统中的易损部分, 从而规避无人车在道路行驶过程中出现的信号接收误差问题。

无人车感知系统属于高智能群体, 其车载异构传感器群所采集的大量数据集的精确程度将直接影响行驶过程中的感知精度 ^{[ 9 ]} 。国内外对此均有不同程度的研究成果, 美国国家标准技术研究所对无人系统的自主性水平框架进行了比较系统的研究, 建立了无人系统自主性等级框架；美国工程师 SONG 等 ^{[ 10 ]} 在面对无人车行驶过程中因光学环境变化导致的车辆阴影问题时, 提出了一种利用图像边缘信息方法将阴影车辆数据作为特征依据实现目标背景分离, 从而减小了无人车在行驶过程中出现的目标检测误差。针对无人车因振动冲击导致的信号识别误差问题, GU Shuo 等 ^{[ 11 ]} 基于深度学习方法, 利用 Haar 矩阵结合特征分类器, 对无人车感知系统采集到的图像、视频数据进行多隐藏层操作, 提取视频帧和图像的语义特征, 从而提升无人感知系统识别精度。这两类图像动态检测方法可以达到一定的识别精度, 但存在计算量过大以及时效性较差的问题, 所以很难用于复杂环境下的无人车行驶道路。

为进一步提升无人车感知系统在复杂环境下的信号处理效率, DALLOLIO 等 ^{[ 12 ]} 提出了一种基于多传感器融合信息的信息处理检测方法, 运用激光雷达、GPS等非视觉传感器采集目标物的三维坐标信息, 在栅格上采用矩形中心点、宽度和长度数据对车辆位置信息进行描述, 此类方法在进一步提升数据精度的基础上, 极大程度地规避了由于道路环境带来的感知系统信息采集和识别误差, 然而这一方法仍难以解决因光学干扰导致的目标识别偏差问题。基于此,王宇岚等 ^{[ 13 ]} 结合无人感知系统中红外热像仪采集到的点云特征信号, 如图 3 所示, 提出了一种基于外轮廓特征矩阵补全的光学干扰信息识别算法, 将无人车外轮廓的线性特征和角度特征存储为原始特征矩阵, 再对采集到的干扰信号矩阵与原始特征矩阵进行聚类分析, 从而实现了光学干扰情况下无人车的信号分类识别。

上述研究对于无人车道路行驶风险识别规避技术具有一定的可参考性, 但缺乏对具体故障或干扰下的试验数据分析, 对造成无人车干扰的引发因素机理分析不够深入和具体。

基于此, 从故障和干扰机理入手, 建立多传感器融合模型, 并提出了一种基于深度矩阵分解的信息补全算法, 对失真信息进行高精度重构恢复, 通过 1000 次的迭代试验,将补全误差由最初的近 16%降低至0.3%。

1 基于深度矩阵分解的信号补全方法

收起

目前应对感知系统受到环境干扰或设备故障导致的信号缺失问题的解决方法, 主要是针对其中某个灵敏度较高的传感器采取一些物理上的改善措施。但在实际应用中, 很难形成实际有效的抗干扰防御体系, 基于此, 本文提出了一种基于矩阵补全和分解方法的知错数据高精度恢复方法, 能极大程度地恢复由于行驶环境干扰带来的传感器数据缺失, 同时能根据恢复的数据诊断相应的故障部分。

1.1 基于矩阵补全的数据恢复方法

在矩阵补全问题中, 待补全的矩阵一般为低秩的 ^{[ 14 ]} ,且补全矩阵与原始矩阵相对应位置上的元素值相等。在研究矩阵补全与矩阵秩数的关系过程中, 文献[ 15 ]为构建用户与项目的潜在向量, 提出将秩函数作为秩的最小化模型目标函数, 如式 (3) 所示。

(3)

$ \mathop{\min }\limits_{Y}\operatorname{rank}\left( Y\right) $

$ \text{s.t.}{y}_{ij} = {r}_{ij},\;\left( {i, j}\right) \in \Omega $

式中: ${r}_{ij}$ 为第 $i$ 个用户对第 $j$ 个项目的评分值; $Y =$ ${\left( {y}_{ij}\right) }_{m \times n}$ 为补全后的新评分矩阵; rank(Y)为矩阵 $\mathbf{Y}$ 的秩； $\Omega \subseteq \{ 1,2,\ldots , m\} \times \{ 1,2,\ldots , n\}$ 为原始矩阵 $\mathbf{R}$ 已知元素的下标集合。

根据这一思路,假设矩阵 $\mathbf{W}$ 为待恢复的信号; $O$ 为受到环境干扰后的原始信号。 $O$ 中的部分元素因受到环境干扰而失真, 因此, 可将问题转化为通过矩阵补全方法找到矩阵 $\mathbf{X}$ ,使 $\mathbf{X}$ 中的元素尽量趋近于 $O$ 中未受到环境干扰部分,并对 $\mathbf{X}$ 中其他失真元素做逼近估计处理, 图 4 为利用矩阵补全方法对失真信号进行重构恢复的原理图。

那么矩阵补全问题即可转化为秩最小化约束优化模型,如式(4)所示。

(4)

$ \mathop{\min }\limits_{{X \in {\mathbf{R}}^{{n}_{1} \times {n}_{2}}}}\operatorname{rank}\left( \mathbf{X}\right) $

$ \text{s.t.}{D}_{\Omega }\left( \mathbf{O}\right) = {D}_{\Omega }\left( \mathbf{X}\right) $

式中: $\mathbf{R} = {\left( {r}_{ij}\right) }_{m \times n}$ 为原始评分矩阵; $\Omega \in \left\lbrack {n}_{1}\right\rbrack \times$ $\left\lbrack {n}_{2}\right\rbrack \left( {{n}_{1} = \left\{ {1,2,\cdots {n}_{1}}\right\} ,{n}_{2} = \left\{ {1,2,\cdots {n}_{2}}\right\} }\right.$ ),为采样元素的索引集合; ${D}_{\Omega }\left( \cdot \right)$ 为融合传感器采集特征向量所组成矩阵的正交投影算子,即表示当( $i$ , $j) \in \Omega$ 时, ${O}_{ij}$ 为原始信号矩阵中采样元素; ${D}_{\Omega }\left( \cdot \right)$ 的表示形式为:

(5)

$ {\left\lbrack {D}_{\Omega }\left( O\right) \right\rbrack }_{ij} = \left\{ {\begin{array}{ll} {O}_{ij}, & \text{ if }\left( {i, j}\right) \in \Omega \\ 0, & \text{ otherwise } \end{array}。}\right. $

当采样数据与实际数据存在误差时, 模型可表示为:

(6)

$ \mathop{\min }\limits_{{X \in {\mathbf{R}}^{{n}_{1} \times {n}_{2}}}}\operatorname{rank}\left( \mathbf{X}\right) $

$ \text{s.t.}{\begin{Vmatrix}{D}_{\Omega }\left( \mathbf{O} - \mathbf{X}\right) \end{Vmatrix}}_{F} \leq {\delta }^{ \circ } $

### 1.2 深度矩阵分解模型

根据式 (5), 可得到矩阵分解的输入部分。 MIAO Weiwei 第 ${}^{\text{ ^{[ 16 ]} }}$ 在研究电磁兼容试验低压区缺失数据补全方法时,发现因电磁干扰导致的失真矩阵 $\mathbf{O}$ 具有较强的稀疏性。为解决这一问题, He Xiangnan 等 ^{[ 17 ]} 结合广义矩阵分解和多层感知机提出一种深度矩阵分解模型, 即将原始矩阵进行 0/1 二值化处理, 即:

(7)

$ {\left\lbrack {D}_{\Omega }\left( \mathbf{O}\right) \right\rbrack }_{ij} = \left\{ \begin{array}{ll} 1, & \text{ if }{O}_{ij}\text{ 已知 } \\ 0, & \text{ if }{O}_{ij}\text{ 未知 } \end{array}\right. \text{。 } $

此方法在一定程度上减小了待补全矩阵的稀疏性, 然而却以降低恢复的准确性为代价, 原因在于此类处理方法忽视了电压、光学或惯导传感器采集的时间序列的连续性, 即使它是在电磁干扰或极限振动冲击等异常情况下的。

因此, 为解决矩阵的稀疏性问题, 建立一种基于神经网络模型的矩阵分解优化模型, 主要思路为: 分别将矩阵 $\mathbf{O}$ 中第 $i$ 个行向量 ${\mathbf{O}}_{i}$ (即单个传感器在 $i$ 时刻的各采集数据)和第 $j$ 个列向量 ${\mathbf{O}}_{j}$ (即传感器向量)作为深度矩阵分解的输入。通过神经网络映射方式将输入向量 ${\mathbf{O}}_{i}$ 和 ${\mathbf{O}}_{j}$ 做降维处理。

对于行向量 ${\mathbf{O}}_{i}$ ,建立 $N$ 层(神经网络隐藏层数)非线性映射为:

(8)

$ {h}_{u}^{\left( 0\right) } = {\mathbf{Y}}_{i}^{\mathrm{T}}\text{。} $

(9)

$ {h}_{u}^{\left( k\right) } = f\left( {{W}_{u}^{\left( k\right) }{h}_{u}^{\left( k - 1\right) } + {b}_{u}^{\left( k\right) }}\right) $

$ k = 1,2,\ldots , N $

对于列向量 ${\mathbf{O}}_{j}$ ,建立 $N$ 层非线性映射为:

(10)

$ {h}_{v}^{\left( 0\right) } = {\mathbf{Y}}_{j} \circ $

(11)

$ \begin{array}{l} {h}_{v}^{\left( k\right) } = f\left( {{\mathbf{W}}_{v}^{\left( k\right) }{h}_{v}^{\left( k - 1\right) } + {b}_{v}^{\left( k\right) }}\right) \\ k = 1,2,\ldots , N \end{array} $

式中: ${\mathbf{W}}_{u}^{\left( k\right) }{\mathbf{W}}_{v}^{\left( k\right) }$ 分别为传感器采集数据和传感器的最终输出向量。在深度矩阵分解过程中, 令神经网络所有隐藏层的维数均为 $K$ ,即 ${\mathbf{h}}_{u}{}^{\left( k\right) }$ 和 ${\mathbf{h}}_{v}{}^{\left( k\right) }$ 均为 $K$ 维列向量。

基于神经网络模型的深度矩阵分解模型 (Deep Matrix Factorization, DMF) 包含了输入层、嵌入层、多层感知层、双线性池化层和输出层, 其结构如图 5 所示 ^{[ 18 ]} 。

在 MC+DMF (Matrix Completion, 矩阵补全) 算法中, ${\mathbf{X}}_{ij}$ 的预测如式 (12) 所示。

(12)

$ {\widehat{\mathbf{X}}}_{ij} = {\left( {\mathbf{h}}_{u}^{\left( N\right) } \odot {\mathbf{h}}_{v}^{\left( N\right) }\right) }^{T}\mathbf{h}\text{ 。 } $

式中: $\odot$ 为 Hadamard 乘积,即矩阵对应位置的元素相乘; $\mathbf{h}$ 是维数为 $K$ 的列向量,为待学习参数, 通过正态分布方式随机初始化 $\mathbf{h}$ 。

为防止学习过程中出现过拟合现象, 对 MC+ DMF模型定义正则化损失函数,如式(13)所示。

(13)

$ L = \mathop{\sum }\limits_{{\left( {i, j}\right) \in \Omega }}{\left( {\mathbf{X}}_{ij} - {\widehat{\mathbf{X}}}_{ij}\right) }^{2} + \eta \mathop{\sum }\limits_{{k = 1}}^{N}\left( {{\begin{Vmatrix}{\mathbf{W}}_{u}^{\left( k\right) }\end{Vmatrix}}_{F}^{2} + {\begin{Vmatrix}{b}_{u}^{\left( k\right) }\end{Vmatrix}}_{F}^{2}}\right) + \\ \eta \mathop{\sum }\limits_{{k = 1}}^{N}\left( {{\begin{Vmatrix}{\mathbf{W}}_{v}^{\left( k\right) }\end{Vmatrix}}_{F}^{2} + {\begin{Vmatrix}{b}_{v}^{\left( k\right) }\end{Vmatrix}}_{F}^{2}}\right) $

式中: $\eta > 0$ 为正则化参数; $\parallel \cdot {\parallel }_{F}$ 为矩阵的 Frobenius 范数。

为了应对估计误差和噪声带来的目标图像失真问题, 需要采取措施将无法完全由失真矩阵表示的信息重新引入模型, 以减少信息损失。为解决这个难题, HAN Xiaolin 等 ^{[ 19 ]} 提出了一种双字典表示方法。该方法利用一个光谱字典来表示基本信息, 同时使用另一个空间字典来表示剩余信息。与此不同,本研究不直接表示和计算这些剩余信息,而是进行优化, 优化模型的目标是无人驾驶的目标图像,其形式如下。(14)

$ \beta {\begin{Vmatrix}{\mathrm{X}}^{\left( k\right) }\mathrm{C} - \mathrm{Y}\end{Vmatrix}}_{F}^{2} + \gamma {\begin{Vmatrix}{\mathrm{{RX}}}^{\left( k\right) } - \mathrm{Z}\end{Vmatrix}}_{F}^{2} $

其中, 第 1 项和第 2 项计算了矩阵分解的表示误差,引入第 2 项是为了充分利用辅助系数矩阵 $\mathbf{V}$ 所包含的信息。第 3 项和第 4 项分别计算了空间剩余信息和剩余信息。 $\alpha$ 、 $\beta$ 和 $\gamma$ 是 3 个惩罚系数,用于平衡各项的权重。通过这个优化模型, 无法由失真矩阵表示的信号可以得到补全, 所以将其称为信号补全模型。式(14)可以转化为一个 Sylvester 方程进行求解, 但这种形式不适用于后续的网络设计。因此, 选择使用梯度下降法对其进行迭代求解。对 $\mathrm{X}$ 进行求导,导数表达式为:

(15)

$ \begin{array}{l} \left( \mathrm{X}\right) = 2\left( {\mathrm{X} - {\mathrm{{PA}}}^{\left( k\right) }}\right) + {2\alpha }\left( {\mathrm{X} - {\mathrm{{PV}}}^{\left( k\right) }}\right) + \\ + {2\beta }\left( {\mathrm{{XC}} - \mathrm{Y}}\right) {\mathrm{C}}^{\mathrm{T}} + {2\gamma }{\mathrm{R}}^{\mathrm{T}}\left( {\mathrm{{RX}} - \mathrm{Z}}\right) \end{array} $

通过应用梯度下降法, 获得一个近似解:

(16)

$ {\mathrm{X}}^{\left( k, i\right) } = {\mathrm{X}}^{\left( k, i - 1\right) } - {l}_{3}\Delta \left( {\mathrm{X}}^{\left( k, i - 1\right) }\right) 。 $

式中: $i \in \left\{ {1,\cdots ,{K}_{3}}\right\}$ 为梯度下降的迭代计数器; ${l}_{3}$ 为梯度下降的步长。因此,优化问题式 (16) 的解可以表示为:

(17)

$ {\mathrm{X}}^{\left( k, i\right) } = {e}_{0}{\mathrm{X}}^{\left( k, i - 1\right) } + {e}_{1}{\mathrm{{PA}}}^{\left( k\right) } + {e}_{2}{\mathrm{{PV}}}^{\left( k\right) } - $

$ {e}_{3}\left( {{\mathrm{B}}_{1} - \mathrm{Y}}\right) {\mathrm{C}}^{\mathrm{T}} - {e}_{4}{\mathrm{R}}^{\mathrm{T}}\left( {{\mathrm{B}}_{2} - \mathrm{Z}}\right) $

式中: ${\mathrm{B}}_{1} = {\mathrm{X}}^{\left( k, i - 1\right) }\mathrm{C},{\mathrm{B}}_{2} = {\mathrm{{RX}}}^{\left( k, i - 1\right) },{e}_{0} = 1 - 2{l}_{3} -$ $2{l}_{3}\alpha ,{e}_{1} = 2{l}_{3},{e}_{2} = 2{l}_{3}\alpha ,{e}_{3} = 2{l}_{3}\beta$ 以及 ${e}_{4} = 2{l}_{3}{\gamma }_{0}$ 此外,初始条件设定为 ${\mathrm{X}}^{\left( k,0\right) } = {\mathrm{T}}^{\left( k\right) }$ ,得到迭代结果 ${\mathrm{X}}^{\left( k\right) } = {\mathrm{X}}^{\left( k,{K}_{3}\right) } \circ$

通过上述系数矩阵学习模型和信号补全模型, 可以对无人驾驶目标图像进行重建。然而,这种方法仍然存在两个问题。首先, 模型需要已知信号和空间退化函数, 而在真实的融合场景中很难满足这个要求。其次, 模型涉及的参数太多, 传统的调参方法难以解决这个问题。为了解决这两个问题, 将模型的迭代解展开, 并构建一个模型驱动的深度卷积神经网络。通过这个网络, 模型能自适应地学习系数矩阵和表示误差, 从而完成融合任务, 可有效减少参数估计的困难。

2 试验结果与分析

收起

2.1 试验平台搭建

为验证算法的有效性, 在公开数据集上对单一矩阵分解(Matrix Factorization, MF)、概率矩阵分解(Probability Matrix Factorization, PMF)、带偏置的奇异值分解 (Bias-SVD), 以及矩阵补全和深度矩阵分解融合 (MC+DMF) 4 类算法进行信号补全精度和故障定位精度的比较。

本文算法所运行的环境为 Windows 10 操作系统, Inter Core i7 CPU, 16 GB 内存及 Nvidia GeForce GTX960M 显卡,利用 Matlab 建立开源自动驾驶仿真平台Carla Simulink。试验采用 SODA10M ^{[ 20 ]} 和 KITTI ^{[ 21 ]} 两个在复杂的山村地区道路上无人驾驶采集的公开数据集。这两个数据集与现实场景的相似度较高, 能模拟真实环境中的干扰信号, 得出的结果更贴近实际情况。将迭代次数设置为 500 次,在训练过程中,采用梯度下降法 (Stochastic Gradient Descent, SGD), 设置数据集批量(batch)为 20000 。表 1 为两数据集的基本信息。

2.2 评估方法

对于模型的评估方法选取均方根误差 (RMSE) 和平均绝对误差 (MAE) ^{[ 22 ]} ,其中 RMSE 的计算式为:

(18)

$ \text{ RMSE } = \sqrt{\frac{\mathop{\sum }\limits_{\left( i, j \in \Omega \right) }{\left( {X}_{ij} - {\widehat{X}}_{ij}\right) }^{2}}{\left| \Omega \right| }}。 $

式中: $\left| \Omega \right|$ 表示原始信号矩阵中非异常信号个数。 MAE的计算式为:

(19)

$ \mathrm{{MAE}} = \frac{\mathop{\sum }\limits_{\left( i, j \in \Omega \right) }\left| {{X}_{ij} - {\widehat{X}}_{ij}}\right| }{\left| \Omega \right| }。 $

2.3 对比试验

2.3.1 传感器数据采样和特征提取

以激光感知、视觉感知、GPS感知以及IMU感知为例, 根据 SODA10M 和 KITTI 数据集有关描述, 可以得到以下特征提取公式。

通过激光感知系统 SSD-HF(SSD-Sum of Squared Difference Histogram Filter)算法输出目标位置姿态信息 ^{[ 23 ]} 。在定位任务和检测任务中,特征向量分别表示为 ${\overrightarrow{L}}_{l}\text{、}{\overrightarrow{L}}_{d}$ ,其计算方法为:

(20)

$ \overrightarrow{{L}_{l}} = {\left\lbrack x, y, z,\mathrm{{cow}}\right\rbrack }^{\mathrm{T}}\text{。} $

(21)

$ \overrightarrow{{L}_{d}} = {\left\lbrack X, Y, h, w,\theta \right\rbrack }^{\mathrm{T}}。 $

式中: $x, y, z$ 为目标的直角坐标信息; cow 为激光测量航向角; ${\left\lbrack X, Y\right\rbrack }^{\mathrm{T}}$ 为监测目标相对无人车车体坐标系 ${\left\lbrack 0,0\right\rbrack }^{\mathrm{T}}$ 的位置; ${\left\lbrack h, w\right\rbrack }^{\mathrm{T}}$ 为检测框的高度和宽度; $\theta$ 为检测框内检测目标的置信度。

惯性测量单元 (IMU) 的特征向量为: $\overrightarrow{I} =$ [cow, pitch, roll, ${V}_{x},{V}_{y},{V}_{z},{a}_{x},{a}_{y},{a}_{z},{\omega }_{x},{\omega }_{y}$ , ${\left. {\omega }_{z}\right\rbrack }^{\mathrm{T}}$ ,其中,[cow, pitch, roll ${\rbrack }^{\mathrm{T}}$ 为航向角、俯仰角和横滚角三姿态角; ${\left\lbrack {V}_{x},{V}_{y},{V}_{z}\right\rbrack }^{\mathrm{T}}$ 为三轴速度; ${\left\lbrack {a}_{x},{a}_{y},{a}_{z}\right\rbrack }^{\mathrm{T}}$ 为三轴加速度; ${\left\lbrack {\omega }_{x},{\omega }_{y},{\omega }_{z}\right\rbrack }^{\mathrm{T}}$ 为三轴角速度。

GPS 特征向量 $\overrightarrow{\mathbf{G}} = {\left\lbrack x, y, z\right\rbrack }^{T},\left( {x, y, z}\right)$ 为车体的三维坐标。通过视觉感知系统采集前方目标图像, 以 RGB 形式作为目标检测系统的输入, 进行特征提取, 试验中对目标的检测结果采用向量 $\overrightarrow{\mathbf{V}} = {\left\lbrack {X}_{v},{Y}_{v}, h,\omega , p\right\rbrack }^{\mathrm{T}}$ 表示。其中, ${\left\lbrack {X}_{v},{Y}_{v}\right\rbrack }^{\mathrm{T}}$ 为目标在图像坐标系上的值; ${\left\lbrack h,\omega \right\rbrack }^{\mathrm{T}}$ 为检测框的高度和宽度; $v$ 为目标物体的类别编号; $p$ 为目标物体的置信度。

2.3.2 分析特征数据并建立相关性模型

根据各传感器感知数据特征向量, 建立不同传感器之间空间不变的互相关性和各传感器基于时间不变的自相关性模型, 用 CrossCorrelation_space ( ) 表示互相关模型函数, AutoCorrelation_space( ) 表示自相关模型函数。矩阵 ${\mathbf{S}}_{\text{constant }}$ 表示感知器之间固有的相关性关系矩阵。

2.3.3 极限振动冲击检测和定位

根据感知系统相关性模型表示, 实时计算传感器互相关性和自相关性,并与 ${\mathbf{S}}_{\text{constant }}$ 表示的感知器之间固有的相关性进行比较。若完全一致或相似度极高, 那么证明当前感知系统未出现异常现象; 若两者之间相似度较低, 则表示传感器出现异常现象, 再通过自相关矩阵对受到极限振动冲击的异常传感器进行定位。振动冲击检测与定位方式如图 6 所示。

其中, $s\left( {a, b}\right)$ 表示传感器 $a$ 和 $b$ 之间的特征相关性, 具体检测流程如下:

1)根据相关性模型,计算未受到冲击传感器之间的互相关性,得到互相关矩阵 ${\mathbf{S}}_{\text{constant }}$ 和各传感器自相关矩阵 ${C}_{1},{C}_{2},\cdots ,{C}_{n}$ ;

2)对无人车行驶过程进行极限振动冲击干扰；

3)实时采集感知信息,利用上述特征提取方法对感知数据进行处理;

4)分别采用时间、空间相关性模型对提取的特征进行相关性计算, 得到各传感器基于时间分布的自相关性矩阵 ${C}_{1}^{\prime },{C}_{2}^{\prime },\cdots ,{C}_{n}^{\prime }$ 以及传感器之间互相关性矩阵 ${\mathbf{S}}^{\prime }$ ；

5) 对自相关性矩阵 ${C}_{1}^{\prime },{C}_{2}^{\prime },\cdots ,{C}_{n}^{\prime }$ 和 ${C}_{1}$ , ${C}_{2},\cdots {C}_{n}$ 进行一致性检验;

6) 对 ${\mathbf{S}}^{\prime }$ 和 $\mathbf{S}$ 再进行一致性检验,进一步对受振动冲击传感器进行定位。

2.3.4 失真数据恢复

当检测到某个传感器出现因振动冲击导致的异常现象时, 联立各个传感器特征信息, 建立原始感知信号矩阵 $\mathbf{O}$ 。其中, $\mathbf{O}$ 中未收到振动冲击的特征信息元素称为指标集,在 $\mathbf{O}$ 中受到振动冲击影响的定为缺失元素, 利用上述 4 类矩阵分解方法对原始矩阵进行分解处理, 根据式 (12) 对预测矩阵进行 Hadamard 乘积处理, 再利用式 (13) 对分解处理过程中的损失值进行优化处理,最终将 $\arg \min \left( {{\widehat{h}}_{u}^{\left( N\right) },{\widehat{h}}_{v}^{\left( N\right) }}\right)$ 作为全局最优解,再将 ${\widehat{X}}_{ij}$ 中对应的值填充至 $\mathbf{O}$ 中缺失部分。

2.4 试验结果

在深度神经网络参数设置过程中, 对两个数据集均设置隐藏向量维数 $K = {100}$ ,学习率 $\lambda = {0.0001}$ , 由于输入参数维数较低,在试验中发现当 $N \geq 4$ 时, 极大消耗模型运行时间,且 MAE 振荡幅度较大, 模型泛化能力较差, 因此, 在试验中选取隐藏层数 $N = 3$ 。

而另外 3 类矩阵分解模型并不涉及深度神经网络中的学习率,因此,这 3 类方法仍然按照各自的迭代函数进行训练, 并在同样的 1000 轮迭代周期下进行, 图 7 为 4 类矩阵分解方法在两数据集中的 MAE趋势分布。

由图 7 可知, 在 SODA10M 数据集下, PMF 方法在经过 400 轮迭代周期后 MAE 值趋于收敛, 同时其 MAE 绝对值要低于其余 3 类, 但在经过 900 轮迭代周期后, 出现了明显的 MAE 振荡现象, 且高于 MC+DMF 方法；在 KITTI 数据集下, MC+DMF 与 PMF 均于 200 轮迭代周期后趋于收敛,且 MAE 值稳定在较低的 0.05 左右。而 MF 和 Bias-SVD 在两数据集下, 无论是收敛程度还是 MAE 绝对值均不如另外两类方法, 其原因在于, 未能通过有效方法降低矩阵的稀疏度, 从而导致了 MAE 在训练过程中的振荡现象。综合来看,试验证明了MC+DMF 方法在 MAE收敛和绝对值比较中均展现出明显的优越性。

再对数据恢复程度和运行时间进行比较, 结果见表 2 和表 3 。图 8 为无人感知系统受到极限振动冲击干扰前后以及 MC+DMF 方法与传统的数据恢复方法对比可视化结果。各比较方法在 SODA10M 数据集上的量化性能表现见表 2 。可以看出, MC+ DMF 和 PMF 在 PSNR 值上都处于领先, 但 MC+ DMF 拥有更小的 SAM 值。同时, MC+DMF 和 PMF 值非常接近, 但 MC+DMF 拥有更高的 PSNR 值。这说明MC+DMF 在提升图像空间分辨率的同时能更好地保护信息。表 3 给出了各方法在 KITTI 数据集的性能表现, 可以发现, 各方法都取得了不错的融合效果, 但提出的 MC+DMF 在各项指标上都处于绝对优势, 具有优异的融合表现。

由表 2 可知, 基于 MC+DMF 的数据恢复方法在两类数据集中均方根误差最小且模型运行耗时最短, 其 RMSE 分别在两数据集中最低可达 0.010 和 0.003 。由图 8 可知, 行驶过程中受到的振动冲击干扰严重影响了目标检测效果,而通过图8 $\mathrm{c}$ 、 $\mathrm{d}$ 的可视化结果对比可知, 相较于传统的矩阵补全算法, MC+DMF 方法在一定程度上能较好地恢复原始的目标感知信息, 从而证明了深度矩阵分解模型在无人车感知系统数据恢复中的可行性和优越性。

3 结论

收起

1)提出了一种基于信号矩阵补全与深度矩阵分解的算法模型, 建立了多传感器融合的数据重叠与交叉信号矩阵。

2)传感器在空间域中的互相关性和时间域上的自相关性, 为矩阵补全提供了输入模型, 精确定位了传感器故障部位。

3)对矩阵分解算法做进一步改进, 提出了一种基于深度神经网络的矩阵信息提取方法, 很好地利用深度神经网络中对特征向量的降维思想, 在难以缩小受干扰信号矩阵中的缺失元素数量的不利因素下, 通过降低原始信号矩阵维度, 进而降低了信号矩阵的稀疏性, 从而在迭代训练中有效避免了欠拟合现象。

在无人车实际的测试或实战场景中, 对于传感器的干扰是多样的、复杂的。例如, 通过视觉干扰技术产生虚像从而影响无人感知系统识别, 或者对传感器施加电磁干扰技术。下一步将重点针对无人战场环境中的组合干扰源进行试验论证, 进一步探究信号采集与处理技术, 提高算法执行效率与精度, 从而提升无人车的抗干扰技术。

基金

收起

国家自然科学基金项目(61671470)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

于丽莉, 何明利, 陶溢. 无人车对未来陆战的影响及对策[J]. 国防科技, 2020,41(6):33-37.

Lili

, HE

Mingli

, TAO

. Influence of Unmanned Ground Equipment on Future Land War and Counter-measures[J]. National Defense Technology, 2020,41(6):33-37. (in Chinese)

[2]

李慧云, 邵翠萍, 陈贝章, 等. 基于矩阵补全的无人车感知系统的攻击防御技术[J]. 集成技术, 2020,9(5):3-14.

Huiyun

, SHAO

Cuiping

, CHEN

Beizhang

, et al. Attack Defense Technology of Unmanned Vehicle Perception System Based on Matrix Completion[J]. Journal of Integration Technology, 2020,9(5):3-14. (in Chinese)

[3]

伍锡如, 薛其威. 基于激光雷达的无人驾驶系统三维车辆检测[J]. 光学精密工程, 2022,30(4):489-497.

Xiru

, XUE

Qiwei

. 3D Vehicle Detection for Unmanned Driving System Based on Lidar[J]. Optics and Precision Engineering, 2022,30(4):489-497. (in Chinese)

[4]

史加荣, 李金红. 融合矩阵补全与深度矩阵分解的推荐算法[J]. 计算机应用研究, 2021,38(8):2376-2380.

SHI

Jiarong

, LI

Jinhong

. Recommendation Algorithm via Fusing Matrix Completion and Deep Matrix Factorization[J]. Application Research of Computers, 2021,38(8):2376-2380. (in Chinese)

[5]

陈忱. 无人驾驶系统中智能算法及其安全性研究[D]. 南京: 南京邮电大学, 2019.

CHEN

Chen

. Research on Intelligent Algorithm and Security in Driverless System[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2019. (in Chinese)

[6]

OZBEK

, YALIN

, KARAOGLAN

, et al. Architecture Design and Performance Analysis of a Hybrid Hydrogen Fuel Cell System for Unmanned Aerial Vehicle[J]. International Journal of Hydrogen Energy, 2021,46(30):16453-16464.

[7]

CAO

Yulong

, XIAO

Chaowei

, YANG

Dawei

, et al. Adversarial Objects Against LiDAR-Based Autonomous Driving Systems[Z]. arXiv:1907.05418, 2019.

[8]

Xiongwei

, SAHOO

, HOI

. Recent Advances in Deep Learning for Object Detection[J]. Neurocomputing, 2020,396:39-64.

[9]

王金华, 严卫生, 刘旭琳, 等. 基于视景通道的透镜成像过程仿真技术研究[J]. 系统仿真学报, 2010,22(9):2131-2135.

WANG

Jinhua

, YAN

Weisheng

, LIU

Xulin

, et al. Simulation of Optical Lens System Imaging Course Based on Visual Channels[J]. Journal of System Simulation, 2010,22(9):2131-2135. (in Chinese)

[10]

SONG

, CHOI

, KIM

. Robust Vision-Based Relative Localization Approach Using an RGB-Depth Camera and Lidar Sensor Fusion[J]. IEEE Transactions on Industrial Electronics, 2016,63(6):3725-3736.

[11]

Shuo

, LU

Tao

, ZHANG

Yigong

, et al. 3-D LiDAR + Monocular Camera: An Inverse-Depth-Induced Fusion Framework for Urban Road Detection[J]. IEEE Transactions on Intelligent Vehicles, 2018,3(3):351-360.

[12]

DALLOLIO

, OVERAAS

, JOHANSEN

T A

. Gain-Scheduled Steering Control for a Wave-Propelled Unmanned Surface Vehicle[J]. Ocean Engineering, 2022,257:111618.1-111618.22.

[13]

王宇岚, 孙韶媛, 刘致驿, 等. 基于多视角融合的夜间无人车三维目标检测[J]. 应用光学, 2020,41(2):296-301.

WANG

Yulan

, SUN

Shaoyuan

, LIU

Zhiyi

, et al. Nighttime Three-Dimensional Target Detection of Driverless Vehicles Based on Multi-View Channel Fusion Network[J]. Journal of Applied Optics, 2020,41(2):296-301. (in Chinese)

[14]

张荷芳, 豆菲菲. 多传感器信息融合的无人车行驶策略[J]. 计算机与数字工程, 2015,43(3):392-395.

ZHANG

Hefang

, DOU

Feifei

. Unmanned Vehicles Driving Strategy Based on Multi-Sensor Information Fusion[J]. Computer & Digital Engineering, 2015,43(3):392-395. (in Chinese)

[15]

陈蕾, 陈松灿. 矩阵补全模型及其算法研究综述[J]. 软件学报, 2017,28(6):1547-1564.

CHEN

Lei

, CHEN

Songcan

. Survey on Matrix Completion Models and Algorithms[J]. Journal of Software, 2017,28(6):1547-1564. (in Chinese)

[16]

MIAO

Weiwei

, WU

Haiyang

, CHEN

Peng

, et al. Intelligent Auxiliary Operation and Maintenance System of Power Communication Network Based on Knowledge Graph[J]. Journal of Physics Conference Series, 2020,1684:012105.

[17]

Xiangnan

, LIAO

Lizi

, ZHANG

Hanwang

, et al. Neural Collaborative Filtering[C]// Proceedings of the 26th International Conference on World Wide Web, 2017:173-182.

[18]

HANDSCHUTTER

P D

, GILLIS

, SIEBERT

. A Survey on Deep Matrix Factorizations[J]. Computer Science Review, 2021,42:100423.1-100423.18.

[19]

HAN

Xiaolin

, YU

Jing

, XUE

Jinghao

, et al. Hyperspectral and Multispectral Image Fusion Using Optimized Twin Dictionaries[J]. IEEE Transactions on Image Processing, 2020,29:4709-4720.

[20]

HAN

Jianhua

, LIANG

Xiwen

, XU

Hang

, et al. SODA10M: A Large-Scale 2D Self/Semi-Supervised Object Detection Dataset for Autonomous Driving[Z]. arXiv:2106.11118, 2021.

[21]

SMOLYANSKIY

, KAMENEV

, BIRCHFIELD

. On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 18-22, 2018, Salt Lake City, UT, USA. Piscataway NJ: IEEE, c2018, 2018:1120-11208.

[22]

Daiwei

, ZHANG

Haiqing

, LI

Tianrui

, et al. Hybrid Missing Value Imputation Algorithms Using Fuzzy C-Means and Vaguely Quantified Rough Set[J]. IEEE Transactions on Fuzzy Systems: A Publication of the IEEE Neural Networks, 2022,30(5):1396-1408.

[23]

NGANOU

J P N

. A Multisectoral Analysis of Growth Prospects for Lesotho: SAM-Multiplier Decomposition and Computable General Equilibrium Perspectives[D]. Washington DC: The American University, 2005.

2024年第14卷第5期

PDF下载

250

102

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.2095–1469.2024.05.06

接收时间：2023-07-01
首发时间：2025-07-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-07-01
修回日期：2023-08-15

基金

国家自然科学基金项目(61671470)

作者信息

中国人民解放军32184部队北京 100071

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcxb/CN/10.3969/j.issn.2095–1469.2024.05.06

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT