汽车工程师

类别	样本数量/个
单轮平衡车	65
两轮平衡车	106
摩托车	169
三轮车	270
自行车	756
行人	3 237
汽车	2 636

类别	样本数量/个
单轮平衡车	65
两轮平衡车	106
摩托车	169
三轮车	270
自行车	756
行人	3 237
汽车	2 636

感受野	默认锚框参数	重新计算的锚框参数
大	(116,90)(156,198) (373,326)	(98,103)(121,245) (289,300)
中	(30,61)(62,45)(59,119)	(33,105)(53,52)(62,186)
小	(10,13)(16,30)(33,23)	(9,27)(18,61)(24,25)

感受野	默认锚框参数	重新计算的锚框参数
大	(116,90)(156,198) (373,326)	(98,103)(121,245) (289,300)
中	(30,61)(62,45)(59,119)	(33,105)(53,52)(62,186)
小	(10,13)(16,30)(33,23)	(9,27)(18,61)(24,25)

类别	平均精度
单轮平衡车	0.78	0.76	0.82	0.91
两轮平衡车	0.85	0.88	0.89	0.93
摩托车	0.89	0.91	0.93	0.94
三轮车	0.80	0.95	0.96	0.96
自行车	0.94	0.95	0.95	0.95
行人	0.91	0.93	0.93	0.94
汽车	0.90	0.88	0.89	0.89

类别	平均精度
单轮平衡车	0.78	0.76	0.82	0.91
两轮平衡车	0.85	0.88	0.89	0.93
摩托车	0.89	0.91	0.93	0.94
三轮车	0.80	0.95	0.96	0.96
自行车	0.94	0.95	0.95	0.95
行人	0.91	0.93	0.93	0.94
汽车	0.90	0.88	0.89	0.89

类别	YOLOv4	YOLOv4-b	YOLOv4-c	YOLOv4-d
精确率	82.67	90.22	90.79	93.39
召回率	81.38	82.07	81.97	82.02
mAP	87.05	91.27	91.31	93.26

类别	YOLOv4	YOLOv4-b	YOLOv4-c	YOLOv4-d
精确率	82.67	90.22	90.79	93.39
召回率	81.38	82.07	81.97	82.02
mAP	87.05	91.27	91.31	93.26

基于YOLO算法的非机动车辆检测模型^*

PDF下载

王树凤 ¹ , 梁庆伟 ¹ , 王宇航 ¹ , 周倩 ²

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024,(8): 8-14

收起

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024, (8): 8-14

基于YOLO算法的非机动车辆检测模型^*

全屏

王树凤¹, 梁庆伟¹, 王宇航¹, 周倩²

作者信息

¹ 山东科技大学，青岛 266590

² 比亚迪汽车有限公司，西安 710119

Non-Motor Vehicle Detection Model Based on YOLO Algorithm

Shufeng Wang¹, Qingwei Liang¹, Yuhang Wang¹, Qian Zhou²

Affiliations

¹ Shandong University of Science and Technology, Qingdao 266590

² BYD Auto Co., Ltd., Xi’an 710119

出版时间: 2024-08-15 doi: 10.20104/j.cnki.1674-6546.20240223

文章导航

摘要

收起

针对自动驾驶车辆目标检测过程中非机动车因体积小、易被遮挡而导致误检和漏检的问题，为提高非机动车的检测精度，对YOLOv4基础算法进行改进，利用跨阶段连接优化特征提取融合网络，在减少计算量的同时提高检测性能，并嵌入卷积块注意力模块（CBAM），通过通道和空间注意力权值分配来增大有效特征权重、提高检测精度，同时，利用自建的非机动车数据集，在锚框（Anchor）自适应匹配的基础上建立非机动车检测模型。最后，为验证模型的有效性，通过消融实验对比模型性能，结果表明，所提出的检测模型能够有效提高非机动车的检测和识别效果，较好地解决误检和漏检问题。

关键词

非机动车检测 / YOLOv4算法 / 卷积块注意力模块 / 跨阶段连接 / 消融实验

Abstract

收起

To address the issue of false and missed detection of non-motorized vehicles due to the small size and obstructed vision in autonomous vehicle target detection, this research refines YOLOv4 basic algorithm to bolster the accuracy of non-motorized vehicle detection. The optimized algorithm streamlines the feature extraction process through a cross-stage connection, concurrently diminishing computational overhead and bolstering detection efficiency. Additionally, Convolutional Block Attention Module (CBAM) is embedded to increase effective feature weights and improve detection accuracy through channel and spatial attention weights. A non-motorized vehicle detection model is established based on anchor adaptive matching using a self-built non-motorized vehicle dataset. To verify the effectiveness of the model, the performance of the model is compared through ablation experiments. The results show that the proposed detection model substantially improves the detection and recognition performance of non-motor vehicles, effectively solve the problems of missed and false detections.

Key words

Non-motor vehicle detection / YOLOv4 algorithm / Convolutional Block Attention Module (CBAM) / Cross-stage connection / Ablation experiment

引用本文

王树凤, 梁庆伟, 王宇航, 周倩. 基于YOLO算法的非机动车辆检测模型^*. 汽车工程师, 2024 , (8) : 8 -14 . DOI: 10.20104/j.cnki.1674-6546.20240223

Shufeng Wang, Qingwei Liang, Yuhang Wang, Qian Zhou. Non-Motor Vehicle Detection Model Based on YOLO Algorithm[J]. Automotive Engineer, 2024 , (8) : 8 -14 . DOI: 10.20104/j.cnki.1674-6546.20240223

正文

收起

1 前言

收起

环境感知是自动驾驶汽车安全行驶的关键技术之一^[1]，机动车辆、非机动车、行人是各类场景中的主要交通参与者，实时、准确识别各类目标是实现自动驾驶的前提。受交通场景的复杂性和可变性影响，非机动车辆易被遮挡，从而导致目标检测算法易出现误检、漏检、鲁棒性较差等问题。

随着深度学习技术的发展，基于深度学习的目标检测算法逐渐代替传统检测方法。基于深度学习的目标检测方法主要分为一步法和两步法。两步法先提取候选区域的图像特征，再对目标进行分类，此类算法精度较高，但速度较慢，其发展经历了区域卷积神经网络（Region-based Convolutional Neural Network，R-CNN）、快速区域卷积神经网络（Fast R-CNN）、更快速区域卷积神经网络（Faster R-CNN）等阶段^[2]。一步法不需要预先生成候选框，直接在特征图上预测目标位置及其所属类别，检测速度大幅提升。其中，YOLO（You Only Look Once）算法^[3]在检测精度和速度方面较为均衡，成为目前目标检测领域中应用最广泛的模型之一。但是，单阶段算法不能很好地考虑不同层的特征，难以实现对小目标的实时准确检测。为解决这些问题，YOLO改进版本如YOLOv3和YOLOv4等相继提出，不断提升目标检测的性能和精度。袁小平等^[4]使用ResNeXt残差模块替换原有的残差模块，以提升网络特征提取能力，提出了改进YOLOv3算法；Seo等^[5]从重构损失函数的角度对算法进行改进，提高了对低分辨率目标图像的检测效果，降低了漏检率，但鲁棒性不足；Fu等^[6]将注意力机制嵌入目标检测模型，在舰船数据集中的小目标和多目标等的检测方面取得了较好的效果。

随着YOLO算法版本不断升级，在网络架构和性能上进一步优化改进，可提供更加快速和准确的目标检测效果，但结构愈发复杂，对设备的运算能力等要求逐步提高。本文以对设备要求不高的YOLOv4算法为基础，为解决非机动车实时检测时出现误检和漏检的问题，提出一种非机动车检测方法。采用跨阶段连接优化网络进行特征提取融合，提升网络学习能力，减轻计算压力；在特征融合部分嵌入卷积块注意力模块（Convolutional Block Attention Module，CBAM），降低误检率、提高特征识别效率；通过构造非机动车检测数据集，使用K-均值（K-Means）算法计算合适的锚框（Anchor）参数，对模型进行训练，建立非机动车检测模型，最后利用消融实验验证模型的有效性。

2 YOLOv4基础算法及改进

收起

为提高非机动车检测的精度，本文对YOLOv4算法进行优化，主要流程如图1所示。

2.1 YOLOv4基础算法

YOLOv4采用基于卷积神经网络的端到端的架构，在YOLOv3基础上引入路径聚合网络（Path Aggregation Network，PANet）、空间金字塔池化（Spatial Pyramid Pooling，SPP）、马赛克数据增强（Mosaic Data Augmentation）等多种技术，其特点是检测模型高效、泛化能力强，可在普通图形处理单元（Graphics Processing Unit，GPU）上进行快速准确的训练。整体架构可以分为3个主要组件，即主干网络（Backbone）、颈部（Neck）和预测头（Head），如图2所示。

主干网络使用CSPDarknet-53进行图像的特征提取，CSPDarknet-53是在Darknet-53的基础上，通过堆叠和组织卷积块模块（Convolutional Block Module，CBM），增加跨阶段局部网络（Cross Stage Partial Network，CSPNet）结构，实现图像特征提取。CSPNet可有效缓解梯度消失或爆炸的问题，减少计算量，同时增强网络学习能力，保证准确率^[7]。

颈部使用结合SPP的PANet结构进行特征融合，提取多尺度的特征。PANet通过上采样（UpSample）卷积块（CBL）的结合使用，可以在多个尺度上提取和融合特征，有助于网络捕获不同大小目标的细节，增强网络对小目标的检测能力，其中CBL是卷积神经网络中的基础模块，由卷积层、批归一化和Leaky ReLU激活函数3个部分组成。SPP则通过在不同大小的池化窗口上应用池化操作来生成多尺度的特征图。两者结合更好地实现了浅层信息与更高层次语义特征的融合，缓解了小目标特征丢失问题，提高了检测的准确性。

预测头用于预测目标的位置和类别。该结构部分遵循YOLOv3的检测机制，根据颈部输出的特征图进行预测，通常包括多个卷积层，用于在不同尺度的特征图上生成边界框的预测，使用锚框来预测目标的位置，以及类别概率。

YOLOv4的整体架构通过主干网络提取特征，利用SPP网络提取多尺度的特征，并使用预测头进行目标的位置和类别预测。端到端的设计使得YOLOv4在目标检测任务中具有较高的准确性和实时性能。

2.2 跨阶段连接优化网络

在网络推理过程中，特征的反复提取和融合涉及大量计算，为有效减少计算量，提高网络学习能力和检测性能，对YOLOv4的PANet前端进行拆分，复制特征层并采用跨阶段连接策略（Cross-Stage Connection Strategy）进行融合处理。与CSPNet类似，首先对主干网络特征提取部分的输出特征映射进行复制和拆分，本文的输入图像大小为416×416×3，因此该部分的输出特征图为13×13×1 024，该特征图分为用于跨阶段连接的13×13×512短边卷积特征图和用于维护原始特征融合路径的13×13×512主卷积特征图。然后，将主干特征图经过3×3和1×1卷积运算后输入SPP模块，经池化运算，将主干特征图进行1×1和3×3卷积处理，最后将输出特征图与短边卷积特征图融合，输出综合特征图。跨阶段连接的整体结构如图3所示。原始网络在更新不同层的权值时，有大量的梯度信息复用，而跨阶段连接优化网络通过分离梯度流，既保留原网络中特征重用的优势，又通过截断梯度流防止过多重复的梯度信息，减轻计算压力。

2.3 嵌入卷积块注意力模块

CBAM在通道和空间维度上对特征图进行加权，以增强网络对关键信息的捕捉能力，是一个轻量化、通用的模块，可即插即用。CBAM由通道注意力模块和空间注意力模块串联组成，如图4所示。其中，通道注意力模块通过全局平均池化和全局最大池化操作，对输入特征层的每个通道生成权重，权重反映了通道的重要性。空间注意力模块在通道维度上进行操作，生成空间上的权重矩阵，用于强调或抑制特征图中的不同区域。CBAM的核心是先后应用通道和空间注意力模块，集中提取这两个维度上的关键特征，然后进行两者的融合，可有效提升模型的性能和泛化能力^[8]。

为了提高非机动车等交通参与者的检测精度，在颈部与预测头之间嵌入CBAM，如图5所示。针对不同尺度的特征层，通过计算并分配通道和空间注意力权值来增强有效特征的权重，抑制无效信息，从而提高检测性能。

3 非机动车检测模型有效性验证

收起

为了验证改进的模型对非机动车的检测效果，首先在已有图像数据集的基础上，通过摄像头拍摄非机动车图像，建立相应的数据集，然后根据非机动车的特点，使用K-Means聚类算法对锚框参数进行匹配，根据评价指标，对改进模型进行消融实验，对比分析不同算法模型的效果。算法模型运行全部在配置英特尔至强E5-2609处理器、英伟达Quadro M2000和64位Windows 10操作系统的环境下，基于TensorFlow框架使用Python语言完成了模型训练与测试，除前文提到的图像大小等参数外，其他模型参数采用默认配置。

3.1 数据集的制作

为实现对非机动车辆的有效检测，本文利用摄像头等设备结合基于网络的图像资源，构建了一个以非机动车辆为主的新数据集，重点采集了交叉口、人行道等复杂的交通场景，该数据集共有1 600张图像，包含7 000余个检测对象。考虑到现有交通工具的多样性，本文将平衡车添加到测试目标中。与公共交通数据集相比，自行车、摩托车、平衡车、三轮车等数量较多，形态差异大，对应骑行者姿态也有所不同，因此本文对数据集进行归类，如表1所示，采集的图像如图6所示。此外，非机动车驾驶员暴露在环境中时与行人危险性相似，均为弱势道路交通参与者，因此，本文将非机动驾驶员和行人标记为同一类别。然后使用LabelImg标注工具对各种类型的样本进行标注。

3.2 基于K-Means聚类的锚框参数匹配

YOLO模型针对目标检测的初始锚框参数由对包含80个类别的公共数据集聚类获得，而本文主要以非机动车为目标，其类别特征与公共数据集中目标的大小、形状和位置不同，其默认锚框参数无法很好地适应非机动车数据集。为提升检测精度，本文利用K-Means聚类算法对目标进行自适应锚框参数计算，结果如表2所示。

从表2可以看出，重新计算的锚框参数与默认锚框参数差异较大，本文在新锚框参数的基础上，随机选取90%的图像作为训练集，其余10%作为测试集，用于训练和测试改进方案的检测效果。

3.3 评价指标

模型评价指标常用精确率（Precision）、召回率（Recall）、平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）来评估检测模型的性能。

精确率P和召回率R的计算公式分别为：

（1）P=N_TP/(N_TP+N_FP)

（2）R=N_TP/(N_TP+N_FN)

式中：N_TP、N_FP、N_FN分别为真正例、假正例、假负例的数量。

mAP是评价模型整体性能的重要指标，其表示检测模型中所有类别的AP的平均值，数值越大，表示识别准确率越高，计算公式为：

（3）${P}_{mA}=\frac{1}{m}{\sum }_{q\in m}{P}_{A}\left(q\right)$

式中：m为类别数量，q为类别序号。

3.4 消融实验对比分析

使用数据集训练目标检测模型，并在测试集上进行验证，采用消融实验对比模型性能。首先以YOLOv4原始模型为基线，在原始模型基础上增加跨阶段连接优化网络的模型记为YOLOv4-b，在原始模型基础上增加CBAM的模型记为YOLOv4-c，在原始模型基础上同时增加CBAM和跨阶段连接优化网络的模型记为YOLOv4-d。通过对比分析，考察跨阶段连接优化网络和CBAM对模型性能的影响。图7所示为目标检测效果对比，不同模型检测时平均精度及各类别平均的精确率、召回率、mAP的对比结果分别如表3、表4所示。

由表3数据分析可知，跨阶段连接优化网络、CBAM均减少了模型对非机动的误检和漏检，提高了检测的精度，其中，CBAM的效果更好。具体来说，对于非机动车，平衡车、摩托车、三轮车的检测精度有较大幅度提升，但是对汽车的检测精度不及行人和自行车的检测精度，而且在改进模型中，其检测精度反而略有下降，主要原因在于自制的数据集中图片以交叉口、人行道等角度拍摄为主，汽车图像样本效果较差导致其检测精度不高（见图6）。另外，针对非机动车设置的锚框参数也不利于汽车的检测。由表4可知，跨阶段连接优化网络模型、CBAM模型以及组合模型均有效提高了模型检测的精确率和召回率，mAP分别提高了4.22百分点、4.26百分点和6.21百分点，改进模型的mAP可达93.26%。

跨阶段连接优化网络可以帮助模型更好地融合特征，既保留了骨干网中特征图的语义信息，又融合了更深层次的特征信息，提高了检测的召回率；而CBAM可以更好地关注目标信息，提高了目标检测的精度；组合后的改进模型融合了以上两种模型的优势，能更准确地检测到目标。

4 结束语

收起

本文以YOLOv4算法为基础，针对非机动车检测，增加跨阶段连接优化网络和CBAM对算法进行了改进，并建立自制的非机动车数据集，使用K-Means聚类算法获得合适的锚框参数，在此基础上建立非机动车识别模型，最后利用消融实验验证改进模型的有效性，结果表明，加入跨阶段连接优化网络和CBAM的非机动车检测模型的精确率和召回率均相应提升，mAP可达93.26%，验证了改进模型的有效性。

基金

收起

*山东省研究生优质专业学位教学案例库建设项目(SDYAL2023051)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

ZHU

, LI

H Y ZHANG T

. Camera, LiDAR, and IMU Based Multi-Sensor Fusion SLAM: A Survey[J]. Tsinghua Science and Technology, 2024, 29(2): 415-429.

[2]

金沙沙, 龙伟, 胡灵犀, 等. 多目标检测与跟踪算法在智能交通监控系统中的研究进展[J]. 控制与决策, 2023, 38(4): 890-901.

JIN

S S

, LONG

, HU

L X

, et al. Research Progress of Detection and MultiObject Tracking Algorithm in Intelligent Traffic Monitoring System[J]. Control and Decision, 2023, 38(4): 890-901.

[3]

邵延华, 张铎, 楚红雨, 等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报, 2022, 44(10): 3697-3708.

SHAO

Y H

, ZHANG

, CHU

H Y

, et al. YOLO Object Detection Based on Deep Learning[J]. Journal of Electronics and Information Technology, 2022, 44(10): 3697-3708.

[4]

袁小平, 马绪起, 刘赛. 改进YOLOv3的行人车辆目标检测算法[J]. 科学技术与工程, 2021, 21(8): 3192-3198.

YUAN

X P

, MA

X Q

, LIN

. An Improved Algorithm of Pedestrian and Vehicle Detection Based on YOLOv3[J]. Science Technology and Engineering, 2021, 21(8): 3192-3198.

[5]

SEO

, PARK

. Object Recognition in Very Low Resolution Images Using Deep Collaborative Learning[J]. IEEE Access, 2019, 7: 134071-134082.

[6]

H X

, SONG

G Q

, WANG

Y C

. Improved YOLOv4 Marine Target Detection Combined with CBAM[J]. Symmetry, 2021, 13(4): 623.

[7]

WANG

C E

, LIAO

H Y M

, WU

Y H

, et al. CSPNet:A New Backbone that Can Enhance Learning Capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle, WA, USA: IEEE, 2020.

[8]

WANG

Y M

, ZHANG

, FENG

L W

, et al. A New Attention-Based CNN Approach for Crop Mapping Using Time Series Sentinel-2 Images[J]. Computers and Electronics in Agriculture, 2021, 184.

2024年第卷第8期

PDF下载

203

引用本文

BibTeX

文章信息

doi: 10.20104/j.cnki.1674-6546.20240223

首发时间：2025-11-25
出版时间：2024-08-15

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2024-07-11

基金

*山东省研究生优质专业学位教学案例库建设项目(SDYAL2023051)

作者信息

¹ 山东科技大学，青岛 266590

² 比亚迪汽车有限公司，西安 710119

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcs/CN/10.20104/j.cnki.1674-6546.20240223

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

类别	样本数量/个
单轮平衡车	65
两轮平衡车	106
摩托车	169
三轮车	270
自行车	756
行人	3 237
汽车	2 636

类别

样本数量/个

单轮平衡车

两轮平衡车

106

摩托车

169

三轮车

270

自行车

756

行人

3 237

汽车

2 636

感受野	默认锚框参数	重新计算的锚框参数
大	(116,90)(156,198) (373,326)	(98,103)(121,245) (289,300)
中	(30,61)(62,45)(59,119)	(33,105)(53,52)(62,186)
小	(10,13)(16,30)(33,23)	(9,27)(18,61)(24,25)

感受野

默认锚框参数

重新计算的锚框参数

大

(116,90)(156,198)
(373,326)

(98,103)(121,245)
(289,300)

中

(30,61)(62,45)(59,119)

(33,105)(53,52)(62,186)

小

(10,13)(16,30)(33,23)

(9,27)(18,61)(24,25)

类别	平均精度
单轮平衡车	0.78	0.76	0.82	0.91
两轮平衡车	0.85	0.88	0.89	0.93
摩托车	0.89	0.91	0.93	0.94
三轮车	0.80	0.95	0.96	0.96
自行车	0.94	0.95	0.95	0.95
行人	0.91	0.93	0.93	0.94
汽车	0.90	0.88	0.89	0.89

类别

平均精度

YOLOv4

YOLOv4-b

YOLOv4-c

YOLOv4-d

单轮
平衡车

0.78

0.76

0.82

0.91

两轮
平衡车

0.85

0.88

0.89

0.93

摩托车

0.89

0.91

0.93

0.94

三轮车

0.80

0.95

0.96

自行车

0.94

0.95

行人

0.91

0.93

0.94

汽车

0.90

0.88

0.89

类别	YOLOv4	YOLOv4-b	YOLOv4-c	YOLOv4-d
精确率	82.67	90.22	90.79	93.39
召回率	81.38	82.07	81.97	82.02
mAP	87.05	91.27	91.31	93.26

类别

YOLOv4

YOLOv4-b

YOLOv4-c

YOLOv4-d

精确率

82.67

90.22

90.79

93.39

召回率

81.38

82.07

81.97

82.02

mAP

87.05

91.27

91.31

93.26