汽车技术

算法	精确率	召回率	Micro-F1
文献[5]算法	98.29	58.33	78.31
文献[16]算法	98.45	61.37	75.61
PSD_L^[7]	98.44	86.96	92.34
DeepPS^[9]	98.99	99.13	99.06
DMPR-PS^[8]	99.42	99.37	99.39
PSDet^[10]	98.35	99.60	98.97
VPS-Net^[17]	99.63	99.31	99.47
文献[18]算法	99.40	92.94	96.06
SPFCN^[19]	98.01	97.31	97.66
Gcn-Parking^[11]	99.56	99.42	99.49
本文算法	99.75	99.50	99.62

算法	精确率	召回率	Micro-F1
文献[5]算法	98.29	58.33	78.31
文献[16]算法	98.45	61.37	75.61
PSD_L^[7]	98.44	86.96	92.34
DeepPS^[9]	98.99	99.13	99.06
DMPR-PS^[8]	99.42	99.37	99.39
PSDet^[10]	98.35	99.60	98.97
VPS-Net^[17]	99.63	99.31	99.47
文献[18]算法	99.40	92.94	96.06
SPFCN^[19]	98.01	97.31	97.66
Gcn-Parking^[11]	99.56	99.42	99.49
本文算法	99.75	99.50	99.62

算法	模型大小/MB	运行时间/ms
PSD_L^[7]	8.38	40
DeepPS^[9]	255	17
DMPR-PS^[8]	121.3	12
VPS-Net^[17]	226	20.05
Gcn-Parking^[11]	465.4	25.3
本文算法	77.4	10.1

算法	模型大小/MB	运行时间/ms
PSD_L^[7]	8.38	40
DeepPS^[9]	255	17
DMPR-PS^[8]	121.3	12
VPS-Net^[17]	226	20.05
Gcn-Parking^[11]	465.4	25.3
本文算法	77.4	10.1

网络名称	精确率/%	召回率/%	Mirco-F1/%	模型大小/MB	运行时间/ms
Darknet	99.50	99.48	99.49	296.7	15.6
VGG16	99.60	99.42	99.53	263.8	27.0
ResNet50	99.50	99.26	99.38	214.6	17.7
GhostNet^[20]	99.63	99.51	99.57	113.2	11.7
ShuffleNet V2^[21]	99.34	99.18	99.26	67.4	10.3
本文算法	99.75	99.50	99.62	77.4	10.1

网络名称	精确率/%	召回率/%	Mirco-F1/%	模型大小/MB	运行时间/ms
Darknet	99.50	99.48	99.49	296.7	15.6
VGG16	99.60	99.42	99.53	263.8	27.0
ResNet50	99.50	99.26	99.38	214.6	17.7
GhostNet^[20]	99.63	99.51	99.57	113.2	11.7
ShuffleNet V2^[21]	99.34	99.18	99.26	67.4	10.3
本文算法	99.75	99.50	99.62	77.4	10.1

深度可分离卷积	协作注意力	TSE注意力	精确率/%	召回率/%	Micro-F1/%	模型大小 /MB	运行时间 /ms
×	×	×	99.42	99.42	99.42	279	12.5
√	×	×	99.34	99.50	99.42	77.9	10.8
√	√	×	99.50	99.67	99.58	77.4	10.1
√	√	√	99.75	99.50	99.62	77.4	10.1

深度可分离卷积	协作注意力	TSE注意力	精确率/%	召回率/%	Micro-F1/%	模型大小 /MB	运行时间 /ms
×	×	×	99.42	99.42	99.42	279	12.5
√	×	×	99.34	99.50	99.42	77.9	10.8
√	√	×	99.50	99.67	99.58	77.4	10.1
√	√	√	99.75	99.50	99.62	77.4	10.1

α₁	α₂	精确率/%	召回率/%
1	1	98.45	99.26
50	1	97.65	98.77
100	1	99.75	99.50
150	1	99.42	99.09

α₁	α₂	精确率/%	召回率/%
1	1	98.45	99.26
50	1	97.65	98.77
100	1	99.75	99.50
150	1	99.42	99.09

基于协作注意力和图神经网络的轻量化车位检测算法^*

PDF下载

李琳辉 ¹^,² , 袁世伟 ¹ , 连静 ¹^,² , 顾汤鹏 ¹

汽车技术 | 2023,(11): 41-48

收起

汽车技术 | 2023, (11): 41-48

基于协作注意力和图神经网络的轻量化车位检测算法^*

全屏

李琳辉¹^,², 袁世伟¹, 连静¹^,², 顾汤鹏¹

作者信息

¹ 大连理工大学，汽车工程学院，大连 116024

² 大连理工大学，工业装备结构分析国家重点实验室，大连 116024

通讯作者:

连静（1980—），女，吉林公主岭人，博士，大连理工大学副教授，博士生导师，主要研究方向为智能化汽车主动安全技术、基于深度学习的智能电动汽车控制技术等，lianjing@dlut.edu.cn。

Lightweight Parking-Slot Detection Algorithm Based on Collaborative Attention and Graph Neural Network

Linhui Li¹^,², Shiwei Yuan¹, Jing Lian¹^,², Tangpeng Gu¹

Affiliations

¹ School of Automotive Engineering, Dalian University of Technology, Dalian 116024

² State Key Laboratory of Structural Analysis for Industrial Equipment, Dalian University of Technology, Dalian 116024

出版时间: 2023-11-24 doi: 10.19620/j.cnki.1000-3703.20221220

文章导航

摘要

收起

为提高自动泊车过程车位检测的实时性和准确性，提出一种基于协作注意力和图神经网络的轻量化车位检测算法。首先，采用轻量化的网络结构，以改进的MobileNetV3作为特征提取网络，通过深度可分离卷积获得车位标记点的位置信息和特征信息，并将二者结合得到标记点的融合特征，然后构建图神经网络结构以增强车位标记点之间的内在联系，并结合协作注意力机制实现对多头注意力的整合，最后，通过公共车位数据集PS2.0对所提出的算法进行测试，结果表明，该算法的检测精度优于当前主流算法，平均每帧图像推理时间可缩短至10.1 ms，具备良好的准确性和实时性。

关键词

车位检测 / 协作注意力 / 图神经网络 / 轻量化

Abstract

收起

In order to improve the real-time and accuracy of parking slot detection in automatic parking, this paper proposed a lightweight parking-slot detection algorithm based on collaborative attention and graph neural network. Firstly, This algorithm used a lightweight network structure and the improved MobileNetV3 as the feature extraction network, obtained the location information and feature information of the parking-slot marker points through depthwise separable convolution, combined them to obtain the fused features of the marker points, then constructed a graph network structure to enhance the internal relationship of the parking-slot marker points, and combined the cooperative attention mechanism to integrate multiple attention. Finally, the algorithm was tested on the public parking-slot dataset PS2.0. The results indicate that the detection accuracy is better than the current mainstream algorithm, the average reasoning speed of each frame of image can reach 10.1 ms, with good accuracy and real-time performance.

Key words

Parking-slot detection / Collaborative attention / Graph neural network / Deep learning

引用本文

李琳辉, 袁世伟, 连静, 顾汤鹏. 基于协作注意力和图神经网络的轻量化车位检测算法^*. 汽车技术, 2023 , (11) : 41 -48 . DOI: 10.19620/j.cnki.1000-3703.20221220

Linhui Li, Shiwei Yuan, Jing Lian, Tangpeng Gu. Lightweight Parking-Slot Detection Algorithm Based on Collaborative Attention and Graph Neural Network[J]. Automobile Technology, 2023 , (11) : 41 -48 . DOI: 10.19620/j.cnki.1000-3703.20221220

正文

收起

1 前言

收起

自动泊车作为自动驾驶的基础应用之一，近年来得到了越来越多学者的关注^[1-2]。自动泊车的实现离不开感知系统的配合，其中，基于车载环视（Around View Monitor，AVM）系统^[3]的停车位检测系统能够利用安装在车身周围的摄像头，通过图像处理算法检测并识别目标车位的标记线，从而提取空停车位，在自动泊车任务中起到了重要作用。

基于视觉的停车位检测算法主要可以分为传统的车位检测算法和基于深度学习的车位检测算法。传统的车位检测算法可以分为基于线的停车位检测算法^[4-5]和基于标记点的停车位检测算法^[6-7]，但对环境变化敏感、鲁棒性差，不适用于复杂的现实环境。

为提高复杂环境下车位识别的准确性，研究人员提出了多种基于深度学习的车位检测算法。Huang等^[8]在基于深度卷积神经网络的停车位检测算法（Deep convolutional neural networks based Parking-Slot detection approach，DeepPS）^[9]的基础上进行优化，使用新的卷积神经网络提取车位标记点的方向、坐标和形状，并利用设计好的几何规则过滤和匹配成对标记点；Wu等^[10]为解决车位检测中先验知识不足的问题，提出了以圆形描述符来回归停车位顶点坐标的方法，并开发了一个两阶段的模型用于检测停车位；Chen等^[11]在图神经网络的使用过程中放弃复杂且不便的后处理环节，以端到端的方式直接对车位进行推理，在公共数据集PS2.0^[9]上得到了优异的结果，然而，由于该算法模型较大，推理速度慢，导致其实时性较差。

基于以上分析，本文综合考虑车位检测实时性和有效性的任务需求，提出一种基于协作注意力与图神经网络的轻量化车位检测算法：使用改进的轻量化神经网络结构，减少模型训练过程的开销，加快模型推理速度；使用协作注意力机制和图神经网络配合的方法，整合多头注意力的冗余信息，并加强车位标记点间的内在联系；采用端到端的训练方式，不需人工设定规则的复杂后处理过程。最后，将该算法在公共数据集PS2.0上进行训练，并与当前的主流算法进行对比。

2 基于协作注意力和图神经网络的车位检测算法结构

收起

通常，车位可以由4个标记点表示，参考采用定向标记点回归的车位检测（Parking-Slot detection using Directional Marking-Point Regression，DMPR-PS）^[8]方法，本文将车位识别的问题表述为对车位入口线上标记点的检测问题。首先将给定的车位环视图像输入改进的MobileNetV3模型，提取特征图后，利用深度可分离卷积得到车位标记点的位置信息和特征编码信息，并输出标记点的回归损失。其次，利用双线性插值的方法将标记点位置信息与特征信息相结合，输出标记点特征。然后，将得到的标记点特征与经多层感知机变换后的位置信息相结合，构成图神经网络中的节点信息，即融合的标记点特征V。本文将图像中的所有车位标记点连接，形成全连通的图，标记点间的连接关系作为图边E。根据图节点V和图边E的关系构建图神经网络G=(V,E)，将其与协作注意力机制相结合，推断标记点间的内在联系。经过协作注意力与图神经网络的处理变换，由车位推理层对输出的标记点特征进行判别，判定其能否形成车位，并输出误差损失，更新算法的参数。

本文算法的总体结构如图1所示。

2.1 特征提取网络

为了减少训练以及实际算法部署的开销，轻量化神经网络的构建尤为重要。本文将协作注意力与图神经网络相结合探究车位标记点的内在关联，增加了算法计算复杂度，故使用轻量化的神经网络来获取图像特征，以提高算法的推理速度。

本文改进了MobileNetV3网络作为特征提取网络，其结构如图2所示，其中hswish表示h-swish激活函数。该网络保留MobileNetV1的深度可分离卷积、MobileNetV2的倒残差结构以及挤压和激励（Squeeze-and-Excitation，SE）注意力通道模块，并利用神经结构搜索方法来搜索网络的配置和参数。MobileNetV3^[12]的核心模块为Bneck模块，也是构成该网络的基本模块。为提高模型的表达能力，本文将Bneck模块中的SE注意力通道模块替换为平铺挤压和激励（Tiled Squeeze-and-Excite，TSE）注意力通道模块^[13]。

TSE注意力通道模块用平均池化（Average Pooling，AvgPool）层替代了SE注意力通道模块的全局平均池化（Global Average Pooling，GAP）层，将输入的张量划分成多个大小相等的非重叠块。此外，TSE注意力通道模块采用一维卷积层而非SE注意力通道模块的全连接（Fully Connected，FC）层，以缩小非重叠块的通道，再通过批归一化（Batch Normalization，BatchNorm）和激活函数线性整流函数（Rectified Linear Unit，ReLU）进行处理，然后使用一维卷积层将非重叠块的通道放大。最后，TSE注意力通道模块通过最近邻插值（Nearest Neighbor Interpolation，NNI）的方式将通过激活函数S型函数（Sigmoid Function）的所有非重叠块拼接在一起，并将其输出尺寸调整为输入张量的尺寸。SE注意力通道模块与本文使用的TSE注意力通道模块的具体结构如图3所示。

TSE注意力相比于SE注意力机制，在挤压过程中使用较小的内核进行共享，从而减小了操作所需要的内存，并在保持精度的同时为终端平台上的深度学习部署提供了优化解决方案。

2.2 标记点信息编码

将特征提取网络得到的特征图分别传递至标记点检测器和标记点编码器，以提取标记点位置信息和特征编码信息。

标记点检测器由深度可分离卷积层构成，输出特征图，用于提取车位标记点的横、纵坐标x、y以及置信度c的信息；检测器同时计算出标记点回归损失用于网络的迭代计算，从而提高模型的表达能力。标记点编码器同样由深度可分离卷积层构成，输出特征图后，通过双线性插值的方式对检测到的数量为N的车位标记点位置进行逐点卷积，得到车位标记点的特征F。为增强特征的表达能力，本文参考变换神经网络（Transformer）^[14]位置编码方式，利用多层感知机模型将车位标记点坐标信息(x,y)升维，通过相加的方式与特征F逐位结合：

（1）V_i=F_i+M_lp(x_i,y_i)

式中，M_lp为多层感知机模型；F_i为F中的第i个初始标记点特征；V_i为获得的第i个标记点的融合特征；x_i、y_i分别为第i个标记点的横、纵坐标。

将输出的融合特征V_i作为协作注意力与图神经网络的输入，并联合标记点信息和位置信息进行车位推理。

为提高网络的推理速度、减少算法训练以及部署的开销，本文使用深度可分离卷积层^[12]替代标准的二维卷积层，用于提取标记点位置信息和特征编码信息。深度可分离卷积^[12]主要由2个部分组成，即深度卷积和逐点卷积。深度可分离卷积相比普通卷积缩减了计算总量，假设输入特征图大小为D_F×D_F×M、输出特征图大小为D_F×D_F×O，卷积核尺寸为D_A×D_A，其中，D_F为特征图的宽度和高度，M为输入通道数量，O为输出通道数量。

对于标准的二维卷积，其计算量为：

（2）C₁=D_A×D_A×M×D_F×D_F×O

对于深度可分离卷积，其计算量为：

（3）C₂=D_A×D_A×M×D_F×D_F+M×D_F×D_F×O

深度可分离卷积和标准卷积计算量的比值为：

（4）

η = C 2 C 1 = 1 O + 1 D A 2

由此可见，在同等条件下，相比于标准卷积，深度可分离卷积能够大幅降低计算量，可以有效减少模型的参数数量，加快实时推理的速度。

2.3 协作注意力与图神经网络

根据前文中得到的融合特征V，本文构建全连接图神经网络G=(V,E)。该图神经网络中的节点V表示数量为N的车位特征标记点，图边E表示为每个标记点间的连接关系。

为了提高模型的表达能力，本文用协作注意力^[15]来整合不同头部之间的信息。协作注意力相比于标准的多头注意力^[14]，更关注所有注意力头捕捉的通用信息，并将这些信息作为共享权重，从而加强了多个头部间的作用与理解，并修剪了冗余的参数，实现了轻量化注意力的功能。

标准的多头注意力机制通过直接拼接的方式整合不同注意力：

（5）

Q = X W Q, K = Y W K, V = Y W V H i = A t t e n t i o n Q, K, V = s o f t m a x Q K ⊤ d k V M u l t i H e a d X, Y = c o n c a t i ∈ N h H i W O

式中，Q、K、V分别为查询向量、键向量和值向量；X、Y分别为2个不同的输入矩阵；W_Q、W_K、W_V分别为Q、K、V的权重矩阵；H⁽ⁱ⁾为第i个头的注意力表示；Attention为自注意力机制；softmax为归一化指数函数，作为激活函数；N_h为注意力头的数量；d_k为每个注意力头中键向量的列空间维度；MultiHead为多头注意力机制；concat为拼接函数，将多个注意力头部的计算结果在最后一个维度上进行拼接；W_O为输出的权重参数矩阵。

定义D_k=N_hd_k为键向量的列空间总维度。引入传统的注意力机制可以提高检测的准确性和模型的表达能力，然而这些注意力头部之间捕捉的信息存在冗余，头部与头部间的通用信息较多。

观察到注意力头部的键和查询学习冗余预测后，利用混合向量m_i∈

R D k ˜

提取每个注意力头部的独有信息，其中

D k ˜

为整合所有的注意力头后输出的映射矩阵列维度，向量m_i通过与模型共同学习后得到。将其带入传统的多头注意力计算中，可以得到协作多头注意力，定义如下：

（6）

H i = A t t e n t i o n X W - Q d i a g m i, Y W - K, Y W V i C o l l a b H e a d X, Y = c o n c a t i ∈ N h H i W O

式中，

W - Q

、

W - K

分别为查询向量、键向量的共享权重矩阵；

W V i

为第i个注意力头的值相量的权重矩阵；CollabHead为协作注意力机制。

其中，

W - Q

、

W - K

被所有注意力头部共同学习，用于捕捉所有注意力头间的通用信息，而m_i则帮助捕捉各头部的单独信息，这种注意力的整合算法作用是：增加头部注意力的自适应表达性，头部注意力可以根据注意力模式的复杂程度相应增加或减少维度；使得参数的计算更加高效，所有注意力头共享学习

W - Q

和

W - K

，所以每轮训练只需计算1次。

根据上述分析，可以推理出标准的多头注意力机制在计算注意力评分时，其混合矩阵M的每列对应不同的头部，因此本文设计了对应的混合矩阵

M ˜

用以捕捉所有头部的通用信息，并对其进行压缩。图4所示为标准多头注意力与本文使用的协作多头注意力的对比示意。

本文构建的图神经网络由3层组成，首先，协作注意力将所有节点组成的边的特征信息聚合，然后迭代更新模型，第(l+1)层的第i个节点的图节点特征可以表示为：

（7）

n i l + 1 = n i l + M l p n i l C o l l a b m E i → i l

式中，[ ||Collab ]表示由协作注意力对所有头部特征点信息进行聚合；

m E i → i l

为图节点i根据图网络中的一阶邻居节点E_i所聚合的特征信息。

根据协作注意力和图神经网络得到的节点特征，利用车位推理层判断车位标记点对是否形成完整车位。车位推理层将不同的车位标记点进行连接，并计算其形成入口线的概率，如图5所示，车位推理层由一维卷积（Conv1d）层、随机失活（Dropout）层和Sigmoid激活层组成，其中Dropout层仅在训练时使用。

最后，协作注意力图神经网络输出N×N×5的矩阵，其中N×N表示形成的车位标记点对数，5包括x₁、x₂、y₁、y₂、p，其中(x₁,y₁)和(x₂,y₂)为车位标记点位置坐标，p为车位标记点形成入口线的概率。

2.4 损失函数

参考注意力图神经网络车位检测（attentional Graph neural network for Parking-slot detection，Gcn-Parking）算法^[11]，为端到端地训练整个神经网络，本文损失函数的计算方法为：

（8）l_s=α₁l_spoint+α₂l_sline

式中，l_spoint为标记点回归损失；l_sline为入口线分类损失；α₁、α₂分别为l_spoint、l_sline的系数。

考虑到标记点检测的准确性直接影响车位的划分，本文利用图神经网络来探究标记点的内在联系，取α₁=100、α₂=1，此时检测效果最优。

标记点回归损失l_spoint是车位标记点预测与真值间的平方差之和，标记点检测器的输出层被划分为S×S大小单元的网格，故其计算过程为：

（9）

l s c = 1 S 2 ∑ i = 1 S 2 c i - c^i 2 l s x y = 1 S 2 ∑ i = 1 S 2 1 i x i - x^i 2 + y i - y^i 2 l s p o i n t = l s c + l s x y

式中，l_sc为置信度的回归损失；l_s_xy为标记点坐标的回归损失；c_i为标记点预测的置信度；(x_i,y_i)为标记点投影的坐标；

c ˙ i

、

x ˙ i, y ˙ i

分别为标记点预测的置信度和标记点投影的坐标对应的真值；

1 i

为对标记点投影坐标的判断值，当投影坐标为真值时，取值为1，否则为0。

入口线分类损失l_sline的计算公式为：

（10）

l s l i n e = 1 N 2 - ∑ i = 1 N ∑ j = 1 N l i j ̑ l o g l i j

式中，l_ij为第i个和第j个标记点形成车位入口线的预测概率；

l i j ̑

为l_ij对应的真值。

3 试验结果与分析

收起

3.1 数据集与试验环境

本文在PS2.0^[9]的公共环视图像数据集上评估所提出的停车位检测算法。PS2.0数据集由9 827帧训练图像和2 338帧测试图像组成，分别包含9 476个停车位和2 168个停车位。根据DMPR-PS^[8]方法，选择7 780帧图像构成训练集、2 290帧图像作为测试图像。PS2.0数据集中的图像采集自不同环境条件下的典型室内外场景，分辨率为600像素×600像素，对应10 m×10 m的现实地面区域。

本文在Ubuntu18.04操作系统、GeForce RTX 3060显卡，Pytorch 10.0框架环境下进行试验。训练批量大小为16，训练次数为200轮。本文训练时选用的学习率为0.003、权重衰减率为0.01、优化器为Adam_Onecycle，图6所示为PS2.0数据集下检验后的可视化图片。

3.2 试验指标设置

本文对算法进行了综合评估，包括推理效率和检测有效性。推理效率指标包括每幅图片推理时间和模型大小，检测有效性指标包括精确率、召回率和微观F1（Micro-F1），其中Micro-F1为本文引入的参数，同时兼顾了分类模型的精确率和召回率，最大值为1，最小为0。

精确率P为正确预测的正样本数量与预测为正样本的全部样本数量的比值，召回率R为正确预测的正样本数量与所有正样本数量的比值：

（11）P=T_P/（T_P+F_P）

（12）R=T_P/（T_P+F_N）

式中，T_P为预测为正的正样本数量；F_P为预测为正的负样本数量；F_N为预测为负的正样本数量。

对于本文的二分类问题，Micro-F1的计算方法为：

（13）F_M=2RP/（R+P）

3.3 试验结果

使用PS2.0中的测试集对本文的车位检测算法进行测试，并与当前车位检测的主流算法进行比较，结果如表1所示。

从表1中可以看出，本文提出的车位检测算法在召回率和Micro-F1指标上优于当前的主流算法，这表明利用协作注意力和图神经网络的结构可以在复杂环境下学习并提取图像中车位的更多特征。其中：前3种算法为利用图像特征检测车位的传统算法，其准确度和召回率均低于基于深度学习的算法；DeepPS、DMPR-PS、基于深度学习的空车位检测方法（Vacant Parking Slot detection method based on deep learning，VPS-Net）、车位检测方法（Parking Slot Detection，PSDet）为二阶段检测算法；用于实时停车位检测的选择修剪全卷积网络（Select and Prune the Fully Convolutional Networks for real-time parking slot detection，SPFCN）、文献[18]算法、Gcn-Parking和本文算法为端到端的单阶段检测算法。本文算法既保留了单阶段神经网络的优点，又省去了复杂的后处理操作，同时提升了检测的有效性。相比于传统算法中精度最高的基于学习的车位检测算法（Parking-Slot Detection based on Learning，PSD_L），本文准确率提高了1.31百分点，召回率提高了12.54百分点；相比于单阶段算法中精度最高的Gcn-Parking，本文精确率提高了0.19百分点，召回率提高了0.08百分点；相比于二阶段算法中精度最高的VPS-Net，本文精确率提高了0.12百分点，召回率提高了0.19百分点。

考虑到一些算法未提供模型大小与推理速度，选取部分算法进行比较，如表2所示，相比于目前优秀的车位检测算法VPS-Net和Gcn-Parking，本文算法的模型大小分别为前者的34.2%、后者的16.63%，每帧图像的运行时间与前者相比缩短了9.95 ms，与后者相比缩短了15.2 ms。可见本文算法相比于其他车位检测算法模型具有参数数量少、运行时间短、推理速度快的优点，在实际部署时具有一定的优势。

3.4 消融试验

为验证修改后网络的优越性，本文进行了对比试验，在本文算法的总体架构下，将特征提取网络替换为主流的特征提取网络和一些轻量化的特征提取网络模型，用于进行比较。本文试验以模型复杂度、精确率、召回率和Micro-F1作为评价指标，其测试结果如表3所示。

由表3可知，本文修改后的骨干网络不仅达到了较高的精确率和召回率，同时模型参数数量少、运行速度快，优于其他方案。

为了研究本算法的各改进部分在整体算法中发挥的作用，利用消融试验对整体算法进行研究。以MobileNetV3特征提取网络和图神经网络为基础，逐步加入深度可分离卷积、协作注意力机制，以及TSE注意力机制，对方案优化改进，并在PS2.0数据集上进行检测试验，结果如表4所示。

当损失函数选取不同的系数时，得到的检测结果如表5所示。

由表4和表5可知，本算法经过消融试验后，通过对算法的不断优化，在实时性方面，每帧图像处理时间为10.1 ms，并将模型大小缩减至77.4 MB，在有效性方面，达到了99.75%的精确率、99.50%的召回率和99.62%的Micro-F1指标，有效地平衡了算法的实时性和准确性。

4 结束语

收起

本文提出了一种基于协作注意力和图神经网络的轻量化车位检测算法，利用协作注意力和图神经网络加深了车位标记点间的内在联系，保证了车位识别的精确率和召回率，同时，针对计算繁琐、模型参数数量多的卷积神经网络算法和图神经网络算法在实车部署上的困难，使用轻量化的网络结构，并对协作注意力和图神经网络算法加以改进，最后，在PS2.0车位数据集上进行了对比试验和消融试验，验证了算法的可行性。结果表明，本文算法优于当前的大部分主流车位检测算法，满足更快、更准确的检测需要，符合时间紧迫的自动泊车任务要求。

基金

收起

* 国家自然科学基金资助项目(61976039)
国家自然科学基金资助项目(52172382)
中央高校基本科研业务费专项资金资助项目(DUT22JC09)
大连市科技创新基金资助项目(2021JJ12GX015)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

孙宏伟, 陈慧, 宋绍禹. 一种基于强化学习的小库位自动平行泊车运动规划方法(英文)[J]. 汽车技术, 2021(9): 17-26.

SUN

H W

, CHEN

, SONG

S Y

. A Motion Planning Method Based on Reinforcement Learning for Automatic Parallel Parking in Small Slot[J]. Automobile Technology, 2021(9): 17-26.

[2]

任秉韬, 王淅淅, 邓伟文, 等. 基于混合A*和可变半径RS曲线的自动泊车路径优化方法[J]. 中国公路学报, 2022, 35(7): 317-327.

REN

B T

, WANG

X X

, DENG

W W

, et al. Path Optimization Algorithm for Automatic Parking Based on Hybrid A* and Reeds-Shepp Curve with Variable Radius[J]. China Journal of Highway and Transport, 2022, 35(7): 317-327.

[3]

SUHR

J K

, JUNG

H G

. End-to-End Trainable One-Stage Parking Slot Detection Integrating Global and Local Information[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 23(5): 4570-4582.

[4]

朱旺旺, 黄宏成, 马晋兴. 基于图像识别的泊车车位检测算法研究[J]. 汽车工程, 2019, 41(7): 744-749+756.

ZHU

W W

, HUANG

H C

, MA

J X

. A Research on Parking Space Detection Algorithm Based on Image Recognition[J]. Automotive Engineering, 2019, 41(7): 744-749+756.

[5]

WANG

C X

, ZHANG

H R

, YANG

, et al. Automatic Parking Based on a Bird’s Eye View Vision System[J]. Advances in Mechanical Engineering, 2014, 6.

[6]

SUHR

J K

, JUNG

H G

. Sensor Fusion-Based Vacant Parking Slot Detection and Tracking[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(1): 21-36.

[7]

L S

, ZHANG

, LI

X Y

, et al. Vision-Based Parking-Slot Detection:A Benchmark and a Learning-Based Approach[C]// 2017 IEEE International Conference on Multimedia and Expo (ICME). Hong Kong, China: IEEE, 2017: 649-654.

[8]

HUANG

J H

, ZHANG

, SHEN

, et al. DMPR-PS:A Novel Approach for Parking-Slot Detection Using Directional Marking-Point Regression[C]// 2019 IEEE International Conference on Multimedia and Expo (ICME). Shanghai, China: IEEE, 2019: 212-217.

[9]

ZHANG

, HUANG

J H

, LI

X Y

, et al. Vision-Based Parking-Slot Detection: A DCNN-Based Approach and a Large-Scale Benchmark Dataset[J]. IEEE Transactions on Image Processing, 2018, 27(11): 5350-5364.

[10]

Z Z

, SUN

W W

, WANG

, et al. PSDet:Efficient and Universal Parking Slot Detection[C]// 2020 IEEE Intelligent Vehicles Symposium (IV). Las Vegas, NV, USA: IEEE, 2020: 290-297.

[11]

MIN

, XU

J L

, XIAO

, et al. Attentional Graph Neural Network for Parking-Slot Detection[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 3445-3450.

[12]

HOWARD

, SANDLER

, CHU

, et al. Searching for MobileNetV3[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, Korea: IEEE, 2019: 1314-1324.

[13]

VOSCO

, SHENKLER

, GROBMAN

. Tiled Squeeze-and-Excite: Channel Attention with Local Spatial Context[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal, BC, Canada: IEEE, 2021: 345-353.

[14]

VASWANI

, SHAZEER

, PARMAR

, et al. Attention Is All You Need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, California, USA: Curran Associates Inc., 2017: 118-128.

[15]

CORDONNIER

J B

, LOUKAS

, JAGGI

. Multi-Head Attention: Collaborate Instead of Concatenate[EB/OL]. (2021-05-20)[2023-03-01]. https://arxiv.org/abs/2006.16362.

[16]

HAMADA

, HU

, FAN

, et al. Surround View Based Parking Lot Detection and Tracking[C]// 2015 IEEE Intelligent Vehicles Symposium (IV). Seoul, Korea: IEEE, 2015: 1106-1111.

[17]

, CAO

L B

, YAN

L B

, et al. Vacant Parking Slot Detection in the Around View Image Based on Deep Learning[J]. Sensors, 2020, 20(7).

[18]

JIAN

D H

, LIN

C H

. Vision-Based Parking Slot Detection Based on End-to-End Semantic Segmentation Training[C]// 2020 IEEE International Conference on Consumer Electronics (ICCE). Seoul, Korea: IEEE, 2020: 1-4.

[19]

Z P

, GAO

, CHEN

H S

, et al. SPFCN:Select and Prune the Fully Convolutional Networks for Real-Time Parking Slot Detection[C]// 2020 IEEE Intelligent Vehicles Symposium (IV). Las Vegas, USA: IEEE, 2020: 445-450.

[20]

HAN

, WANG

Y H

, TIAN

, et al. GhostNet:More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE, 2020: 1577-1586.

[21]

, ZHANG

, ZHENG

H T

, et al. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design[C]// Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018: 116-131.

2023年第卷第11期

PDF下载

280

122

引用本文

BibTeX

文章信息

doi: 10.19620/j.cnki.1000-3703.20221220

首发时间：2025-12-07
出版时间：2023-11-24

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2023-03-01

基金

* 国家自然科学基金资助项目(61976039)

国家自然科学基金资助项目(52172382)

中央高校基本科研业务费专项资金资助项目(DUT22JC09)

大连市科技创新基金资助项目(2021JJ12GX015)

作者信息

¹ 大连理工大学，汽车工程学院，大连 116024

² 大连理工大学，工业装备结构分析国家重点实验室，大连 116024

通讯作者:

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcjs/CN/10.19620/j.cnki.1000-3703.20221220

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法	精确率	召回率	Micro-F1
文献[5]算法	98.29	58.33	78.31
文献[16]算法	98.45	61.37	75.61
PSD_L^[7]	98.44	86.96	92.34
DeepPS^[9]	98.99	99.13	99.06
DMPR-PS^[8]	99.42	99.37	99.39
PSDet^[10]	98.35	99.60	98.97
VPS-Net^[17]	99.63	99.31	99.47
文献[18]算法	99.40	92.94	96.06
SPFCN^[19]	98.01	97.31	97.66
Gcn-Parking^[11]	99.56	99.42	99.49
本文算法	99.75	99.50	99.62

算法

精确率

召回率

Micro-F1

文献[5]算法

98.29

58.33

78.31

文献[16]算法

98.45

61.37

75.61

PSD_L^[7]

98.44

86.96

92.34

DeepPS^[9]

98.99

99.13

99.06

DMPR-PS^[8]

99.42

99.37

99.39

PSDet^[10]

98.35

99.60

98.97

VPS-Net^[17]

99.63

99.31

99.47

文献[18]算法

99.40

92.94

96.06

SPFCN^[19]

98.01

97.31

97.66

Gcn-Parking^[11]

99.56

99.42

99.49

本文算法

99.75

99.50

99.62

算法	模型大小/MB	运行时间/ms
PSD_L^[7]	8.38	40
DeepPS^[9]	255	17
DMPR-PS^[8]	121.3	12
VPS-Net^[17]	226	20.05
Gcn-Parking^[11]	465.4	25.3
本文算法	77.4	10.1

算法

模型大小/MB

运行时间/ms

PSD_L^[7]

8.38

DeepPS^[9]

255

DMPR-PS^[8]

121.3

VPS-Net^[17]

226

20.05

Gcn-Parking^[11]

465.4

25.3

本文算法

77.4

10.1

网络名称	精确率/%	召回率/%	Mirco-F1/%	模型大小/MB	运行时间/ms
Darknet	99.50	99.48	99.49	296.7	15.6
VGG16	99.60	99.42	99.53	263.8	27.0
ResNet50	99.50	99.26	99.38	214.6	17.7
GhostNet^[20]	99.63	99.51	99.57	113.2	11.7
ShuffleNet V2^[21]	99.34	99.18	99.26	67.4	10.3
本文算法	99.75	99.50	99.62	77.4	10.1

网络名称

精确率/%

召回率/%

Mirco-F1/%

模型大小/MB

运行时间/ms

Darknet

99.50

99.48

99.49

296.7

15.6

VGG16

99.60

99.42

99.53

263.8

27.0

ResNet50

99.50

99.26

99.38

214.6

17.7

GhostNet^[20]

99.63

99.51

99.57

113.2

11.7

ShuffleNet V2^[21]

99.34

99.18

99.26

67.4

10.3

本文算法

99.75

99.50

99.62

77.4

10.1

深度可分离卷积	协作注意力	TSE注意力	精确率/%	召回率/%	Micro-F1/%	模型大小 /MB	运行时间 /ms
×	×	×	99.42	99.42	99.42	279	12.5
√	×	×	99.34	99.50	99.42	77.9	10.8
√	√	×	99.50	99.67	99.58	77.4	10.1
√	√	√	99.75	99.50	99.62	77.4	10.1

深度可分离卷积

协作注意力

TSE注意力

精确率/%

召回率/%

Micro-F1/%

模型大小
/MB

运行时间
/ms

99.42

279

12.5

√

99.34

99.50

99.42

77.9

10.8

√

99.50

99.67

99.58

77.4

10.1

√

99.75

99.50

99.62

77.4

10.1

α₁	α₂	精确率/%	召回率/%
1	1	98.45	99.26
50	1	97.65	98.77
100	1	99.75	99.50
150	1	99.42	99.09

α₁

α₂

精确率/%

召回率/%

98.45

99.26

97.65

98.77

100

99.75

99.50

150

99.42

99.09