汽车技术

网络模型	FPS/帧·s^-1	FLOPs/×10⁹ 次	模型参数量/MB
Mobilent v1-CA	36.33	10.540	51.13
Mobilent v2-CA	32.56	8.153	46.57
Mobilent v3-CA	32.48	9.599	53.78
Ghost-CA	39.90	7.066	42.52

网络模型	FPS/帧·s^-1	FLOPs/×10⁹ 次	模型参数量/MB
Mobilent v1-CA	36.33	10.540	51.13
Mobilent v2-CA	32.56	8.153	46.57
Mobilent v3-CA	32.48	9.599	53.78
Ghost-CA	39.90	7.066	42.52

参数	不包含预警激活区域	包含预警激活区域
准确度/%	76	91.25
精确度/%	60	90
召回率/%	71	90
运行时间/ms	59	30

参数	不包含预警激活区域	包含预警激活区域
准确度/%	76	91.25
精确度/%	60	90
召回率/%	71	90
运行时间/ms	59	30

基于改进YOLOv5及危险区域判断的碰撞预警系统研究^*

PDF下载

衣振兴 ¹ , 詹振飞 ¹^,² , 毛青 ¹ , 孙博文 ¹ , 王菊 ²

汽车技术 | 2023 国际汽车交通安全学术会议优秀论文专题 2024,(4): 1-6

收起

汽车技术 | 2023 国际汽车交通安全学术会议优秀论文专题 2024, (4): 1-6

基于改进YOLOv5及危险区域判断的碰撞预警系统研究^*

全屏

衣振兴¹, 詹振飞¹^,², 毛青¹, 孙博文¹, 王菊²

作者信息

¹ 重庆交通大学，重庆 400074

² 汽车噪声振动和安全技术国家重点实验室，重庆 401120

Research on Collision Warning System Based on Improved YOLOv5 & Hazardous Zone Judgment

Zhenxing Yi¹, Zhenfei Zhan¹^,², Qing Mao¹, Bowen Sun¹, Ju Wang²

Affiliations

¹ Chongqing Jiaotong University, Chongqing 400074

² State Key Laboratory of Automotive Noise, Vibration and Safety Technology, Chongqing 401120

出版时间: 2024-04-24 doi: 10.19620/j.cnki.1000-3703.20240026

文章导航

摘要

收起

为提升碰撞预警系统对周围环境的感知能力，提出一种基于YOLOv5及危险区域判断的碰撞预警系统。首先，通过通道注意力模块提高模型的判别能力和准确性，然后，使用路径聚合网络与空间金字塔池化提高模型对多尺度特征的提取能力，最后，通过引入预警激活区域过滤相对安全的目标，提高了预警系统的预警精确度。结果表明，引入预警激活区域后，与无预警激活区域相比，预警系统的准确度、精度和召回率分别提高20%、50%和26.7%，运行速度提升49.1%，进一步证明了方法的有效性。

关键词

YOLOv5 / 通道注意力模块 / 路径聚合网络 / 空间金字塔池化 / 预警激活区域 / 碰撞预警系统

Abstract

收起

In order to improve the ability of the collision warning system to perceive the surrounding environment, this paper proposed a collision warning system based on YOLOv5 and hazardous area judgment. Firstly, the discriminative ability and accuracy of the model were improved by the channel attention module, then, the extraction ability of the model for multi-size features was improved by using path aggregation network and spatial pyramid pooling, and finally, the warning accuracy of the warning system was improved by filtering relatively safe targets through the introduction of warning activation regions. The results show that the introduction of warning activation regions improves the accuracy, precision and recall of the warning system by 20%, 50% and 26.7%, respectively, the running speed is increased by 49.1%, which further proves the effectiveness of the method.

Key words

YOLOv5 / Channel attention module / Path aggregation network / Spatial pyramid pooling / Warning activation area / Collision warning system

引用本文

衣振兴, 詹振飞, 毛青, 孙博文, 王菊. 基于改进YOLOv5及危险区域判断的碰撞预警系统研究^*. 汽车技术, 2024 , (4) : 1 -6 . DOI: 10.19620/j.cnki.1000-3703.20240026

Zhenxing Yi, Zhenfei Zhan, Qing Mao, Bowen Sun, Ju Wang. Research on Collision Warning System Based on Improved YOLOv5 & Hazardous Zone Judgment[J]. Automobile Technology, 2024 , (4) : 1 -6 . DOI: 10.19620/j.cnki.1000-3703.20240026

正文

收起

1 前言

收起

车辆碰撞预警系统通过实时监测分析车辆周围的环境信息，及时发出警示，从而避免碰撞事故发生。

近年来，随着计算机视觉、传感器技术和机器学习的快速发展，基于目标检测的碰撞预警系统一般通过改进目标检测方法与改进预警策略提高系统性能。在改进目标检测方法方面：谈文蓉^[1]通过改进YOLOv4算法提高碰撞预警系统的准确性和实时性，但是无法检测出其他交通参与者，如行人、非机动车等；夏聪^[2]采用基于单目视觉的车辆前向碰撞预警系统，实现了车辆前向行人与非机动车碰撞预警，但在检测小目标或密集目标时，该方法检测性能较差；胡超超^[3]基于YOLOv2网络引入残差网络，提高了模型检测群簇小目标的准确率，但目标与背景相近或被严重遮挡时，极易出现漏检现象。

在改进预警策略方面：李林伟^[4]提出基于同车道判断的碰撞预警系统，通过对车道线的识别，过滤相对安全的目标，降低了运算复杂度，但在转弯或车道线标识模糊路况中，算法效果不理想；刘军^[5]提出了分级识别碰撞预警的方法，但在车辆密集或多车换道情况下，模型准确率较低；唐兵^[6]依据制动距离将危险区域划分为多个等级，从而提高预警系统的性能，但在恶劣天气环境下模型的鲁棒性较低。

为提升碰撞预警系统的环境感知能力，本文基于YOLOv5的目标检测模型，使用空间金字塔池化^[7]（Spatial Pyramid Pooling，SPP）和路径聚合网络^[8]（Path-Aggregation Network，PANet）结构提取特征信息，利用通道注意力^[9]（Channel Attention，CA）模块融合特征信息，并通过深度可分离卷积降低模型参数数量，从而提高检测模型性能，同时，引入危险区域判断与预警激活区域，过滤相对安全目标，减少运算量，保证检测的实时性和准确性。

2 目标检测模型及改进

收起

2.1 YOLOv5模型改进

本文以YOLOv5网络为基础，改进获得的目标检测模型整体结构如图1所示。为了便于移动端应用，以MobileNet系列轻量级特征提取网络^[10-12]和GhostNet网络^[13]为骨干网络，其中，主干网络采用多种特征提取网络，out3、out4、out5分别表示在第3次、第4次和第5次下采样后获取的有效特征层。

颈部（Neck）部分使用SPP和PANet结构处理特征层信息，处理并应用浅层位置纹理信息与深层语义信息，检测头（Head）部分采用3组YOLO检测结构增强多尺度目标检测能力。

在进行特征信息融合前连接注意力模块以提升检测性能，利用替换深度可分离卷积减少模型参数量，提升前向推理的速度，降低目标检测模块计算开销，更快速地为预警系统提供目标信息。

2.2 YOLOv5模型改进结果

本文模型训练采用部分ImageNet数据集，其中，训练集与测试集的比例为8∶2。模型训练环境为NVIDIA GeForce RTX 3060 12 G，选用PyTorch作为深度学习框架，使用Python作为编程语言。

采用平均精度^[3]（mean Average Precision，mAP）、每秒处理帧数^[14]（Frames Per Second，FPS）、模型参数量及浮点运算数^[15]（Floating Point Operations，FLOPs）作为模型性能评价指标。平均精度是对检测精度（Precision）和召回率（Recall）的综合评价指标，mAP越大，证明模型的精度和准确性越好；每秒处理帧数即模型实时处理图片的数量；浮点运算数表示计算的复杂度，FLOPs越小，模型计算效率越高。

模型改进前、后在测试集上的P-R曲线比较结果如图2所示。召回率R为检测结果中正例的数量与样本集中标注的目标总数的比值，检测精度P为检测结果中正例的数量与检测结果总数的比值，二者负相关，曲线所包围的面积则为mAP。因此，改进后模型的P-R曲线明显优于原始模型，模型性能得到提高。

不同网络模型的性能如表2所示，改进后以GhostNet作为主干网络的Ghost-CA网络模型FPS最大，比MobileNet系列网络模型能更好地满足实时性要求。Ghost-CA网络模型的FLOPs最小，即计算复杂度最低，计算时对硬件的要求更低。同时，由于系统应用场景为车载端设备，网络模型越小，适用性越强，Ghost-CA的模型参数量少于MobileNet，证明Ghost-CA的性能明显更具优势。因此，本文选取以GhostNet为特征提取网络的Ghost-CA模型进行目标检测。

对不同尺寸图片的目标检测结果进行可视化分析，如图3所示。检测框信息包括目标类别和置信度信息，图中目标检测框紧密地拟合了目标的轮廓，没有显著的空隙或超出目标边缘的部分，证明目标检测框在空间上准确地标记出目标的位置。

因此，本文模型的检测精度及定位精度较高，对不同尺寸特征的目标检测效果良好。

3 基于危险区域判断的预警策略

收起

目标检测提供了预警系统所需的实时、准确的目标识别和定位数据。预警系统基于检测结果，对危险、异常或重要事件进行实时监控和响应。为了进一步提高预警系统的性能，基于上述改进目标检测算法，引入危险区域判断概念，设定预警激活区域为危险区域，过滤预警激活区域以外的相对安全目标，从而减少算力浪费，进一步提高预警系统的准确性和运算速度。

3.1 预警激活区域设定

将预警激活区域的形状设定为梯形，如图4所示。该区域中，d_fmin、d_fmax分别为车辆与目标的最近、最远纵向距离，d_smin、d_smax分别为最小、最大横向边界距离，X=g(Y)、X=f(Y)分别为预警激活区域的左腰线、右腰线方程，X、Y分别为预警激活区域腰线上任意一点到自车的纵向、横向距离。

车辆与目标最近及最远纵向距离的计算公式为^[16]：

（1）

d f m i n = s + t r m i n u d f m a x = (t r m a x + t T T C c) u

式中：s为制动距离，t_rmin、t_rmax分别为驾驶员反应时间的最小值与最大值，t_TTCc为临界碰撞时间（Time to Collision，TTC），u为车速。

设t_rmin=0.3 s、t_rmax=1 s^[17]、t_TTCc=3 s^[18]，当自车与前方目标的碰撞时间小于临界值时，自车与目标存在碰撞危险。而车速、目标的速度对预警激活区域的横向边界均会产生较大影响，其计算公式为：

（2）

d s m i n = v m i n (t (d f m i n)) d s m a x = v m a x (t (d f m a x))

式中：v_min、v_max分别为目标的最小速度与最大速度，本文设v_min=1 m/s、v_max=6 m/s^[19]；t(d_fmin)、t(d_fmax)分别为自车行驶与目标的最近、最远纵向距离所需的时间。

假设自车做匀速运动，t(d_fmin)、t(d_fmax)分别为：

（3）

t (d f m i n) = d f m i n u t (d f m a x) = t r m a x + t T T C c

车辆的速度u通过安装在车上的GPS模块获取，代入式（1）、式（3）中，求解激活区域的边界，同时满足：

（4）

X ≥ f (Y) X ≥ g (Y) d f m i n ≤ X ≤ d f m a x

式中：X、Y分别为目标与自车的纵向、横向距离。

3.2 基于预警激活区域的目标过滤

单目视觉目标检测方法需识别视野范围内所有目标，但前向碰撞预警方法中仅需关注预警区域内的目标，因此，可通过设定预警区域对目标进行过滤。从目标检测网络中获取预警区域的拟合参数（a_m、b_m、c_m），假定预警区域左、右腰线的拟合方程为：

（5）

x l m i d = a m y l m i d 2 + b m y l m i d + c m

车辆检测边框坐标为(x₀,y₀,x₁,y₁)，其中，(x₀,y₀)和(x₁,y₁)分别为目标检测框的左上角、右下角坐标，检测框底边中点坐标为((x₀,y₀)/2,y₁)，其横坐标为x_cmid。根据检测框底边中点可得对应腰线中点横坐标为：

（6）

x l m i d = a m y 12 + b m y 1 + c m

同理，通过左、右腰线的拟合方程获取目标检测框底边对应的腰线横坐标x_ll、x_lr：

（7）

x l l = a l y l l 2 + b l y l l + c l x l r = a r y l r 2 + b r y l r + c r

若目标位于自车前方预警激活区域，则阈值为：

（8）

x l m i d - x c m i d ≤ x l l - x l r / 2

3.3 碰撞预警模型设计

本文预警算法中，预警系统数据采集模块使用车载单目相机，数据处理模块连接上位机计算平台。其中，输入为车载单目相机采集的图像序列信息，输出为目标距离、速度和预警的图像显示的判定结果，系统预警逻辑流程如图5所示。

车辆前向碰撞预警算法流程为：

a. 使用单目相机获取环境视觉信息；

b. 基于计算平台通过改进目标检测模型对目标进行初步检测定位；

c. 通过图像处理方法对检测区域图像数据进行二次处理，实现目标精确定位；

d. 利用目标检测结果获取目标在图像中的位置、尺寸信息，根据小孔成像原理对图像中的目标进行测距操作，实现对图像中目标的距离估计；

e. 利用多目标跟踪算法跟踪弱势道路使用者目标，并结合各目标的距离估计结果计算不同目标的相对速度；

f. 通过预警激活区域判断所属区域；

g. 将目标的距离信息导入预警算法模型，得到预警判定结果，同时，将结果以图像形式输出。

4 多场景测试与结果分析

收起

本文试验场景包含行车环境为城市道路的中低速跟车工况，根据车载视频进行前向碰撞预警系统测试。通过安全距离预警模型计算前车碰撞预警的安全距离阈值，当自车与前方目标距离小于预警阈值时，输出图像包含原图信息、目标检测结果及车距信息，目标检测框和目标跟踪轨迹实时跟随目标，显示结果如图6所示。

对预警策略进行验证，连续4帧图像构成一个交通场景，选取不同组别交通场景的数据集进行测试。为了计算预警指标，重点保存摄像头标定信息，结果如表3所示。

引入预警激活区域后，准确度、精确度及召回率分别提高20%、50%和26.7%，预警系统的性能大幅提升。预警激活区域筛除预警激活区域外的安全目标，相较于无预警激活区域，运算时间降低，运行速度提升49.1%。

5 结束语

收起

本文基于YOLOv5目标检测算法，通过引入空间金字塔池化和路径聚合网络结构处理特征层信息，并在进行特征信息融合前连接通道注意力模块，验证结果表明，本文改进的网络模型的检测精度、实时性等性能均有所提高。

在预警策略中引入危险区域判断，通过设置预警激活区域，滤除相对安全的目标，从而提高预警系统的预警精确度及运算速度，将前向碰撞预警系统应用于多种场景进行测试，验证了预警系统的有效性。

未来，在保证实时性的条件下，应进一步提高检测预警精度，并增强模型对遮挡和背景移动的抗干扰能力。

基金

收起

*智能车辆安全技术国家重点实验室开放基金项目(IVSTSKL-202305)
重庆交通大学-长三角先进材料研究所省级研究生联合培养基地基金项目(JDLHPYJD2021008)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

谈文蓉, 薛余坤, 陈秋实, 等. 改进YOLOv4算法的高速公路碰撞预警系统[J]. 西南民族大学学报(自然科学版), 2022, 48(1): 64-74.

TAN

W R

, XUE

Y K

, CHEN

Q S

, et al. Improved YOLOv4 Algorithm for Highway Collision Warning System[J]. Journal of Southwest Minzu University (Natural Science Edition), 2022, 48(1): 64-74.

[2]

夏聪. 基于单目视觉的车辆前向碰撞预警系统研究[D]. 重庆: 重庆大学, 2022.

XIA

. Research on Vehicle Forward Collision Warning System Based on Monocular Vision[D]. Chongqing: Chongqing University, 2022.

[3]

胡超超, 刘军, 张凯, 等. 基于深度学习的行人和骑行者目标检测及跟踪算法研究[J]. 汽车技术, 2019(7): 19-23.

C C

, LIU

, ZHANG

, et al. Research on Pedestrian and Cyclist Object Detection and Tracking Algorithm Based on Deep Learning[J]. Automotive Technology, 2019(7): 19-23.

[4]

李林伟. 面向前向碰撞预警的单目视觉感知方法研究[D]. 重庆: 重庆大学, 2022.

L W

. Research on Monocular Vision Perception Method for Forward Collision Warning[D]. Chongqing: Chongqing University, 2022.

[5]

唐兵. 基于机器视觉的车辆前向碰撞预警系统研究与实现[D]. 成都: 西华大学, 2021.

TANG

. Research and Implementation of Vehicle Forward Collision Warning System Based on Machine Vision[D]. Chengdu: Xihua University, 2021.

[6]

刘军, 高雪婷, 王利明, 等. 基于OpenCV的前方车辆检测和前撞预警算法研究[J]. 汽车技术, 2017(6): 11-16.

LIU

, GAO

X T

, WANG

L M

, et al. Research on Forward Vehicle Detection and Forward Collision Warning Algorithm Based on OpenCV[J]. Automobile Technology, 2017(6): 11-16.

[7]

张博, 张苗辉, 陈运忠. 基于空间金字塔池化和深度卷积神经网络的作物害虫识别[J]. 农业工程学报, 2019, 35(19): 209-215.

ZHANG

, ZHANG

M H

, CHEN

Y Z

. Crop Pest Recognition Based on Spatial Pyramid Pooling and Deep Convolutional Neural Network[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(19): 209-215.

[8]

杨真真, 郑艺欣, 邵静, 等. 基于改进路径聚合和池化YOLOv4的目标检测[J]. 南京邮电大学学报(自然科学版), 2022, 42(5): 1-7.

YANG

Z Z

, ZHENG

Y X

, SHAO

, et al. Object Detection Based on Improved Path Aggregation and Pooling YOLOv4[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science), 2022, 42(5): 1-7.

[9]

徐诚极, 王晓峰, 杨亚东. Attention-YOLO: 引入注意力机制的YOLO检测算法[J]. 计算机工程与应用, 2019, 55(6): 13-23+125.

C J

, WANG

X F

, YANG

Y D

. Attention-YOLO: YOLO Detection Algorithm with Introduction of Attention Mechanism[J]. Computer Engineering and Applications, 2019, 55(6): 13-23+125.

[10]

HOWARD

A G

, ZHU

, CHEN

, et al. MobileNets: Efficient Convolutional Neural Networks for mobile Vision Applications[EB/OL]. ( 2017-04-17)[2024-01-10]. https://arxiv.org/abs/1704.04861.

[11]

SANDLER

, HOWARD

, ZHU

, et al. MobileNetV2: Inverted Residuals and linear Bottlenecks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 4510-4520.

[12]

HOWARD

, SANDLER

, CHEN

, et al. Searching for MobileNetV3[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019: 1314-1324.

[13]

HAN

, WANG

, TIAN

, et al. GhostNet:More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE, 2020: 1580-1589.

[14]

高健宸, 张家洪, 李英娜, 等. 基于YOLOv4的绝缘子爆裂故障识别研究[J]. 激光与光电子学进展, 2022, 59(2): 130-137.

GAO

J C

, ZHANG

J H

, LI

Y N

, et al. Research on Insulator Burst Fault Identification Based on YOLOv4[J]. Laser & Optoelectronics Progress, 2022, 59(2): 130-137.

[15]

毛国君, 翁伟栋, 朱晋德, 等. 基于改进YOLO-V4网络的浅海生物检测模型[J]. 农业工程学报, 2021, 37(12): 152-158.

MAO

G J

, WENG

W D

, ZHU

J D

, et al. Shallow-Sea BioloGical Detection Model Based on Improved YOLO-V4 Network[J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(12): 152-158.

[16]

ZADEH

R B

, GHATEE

, EFTCKHARI

H R

, et al. Three-Phases Smartphone-Based Warning System to Protect Vulnerable Road Users Under Fuzzy Conditions[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(7): 1-13.

[17]

YAN

, ZHANG

, MA

. The Influence of In-Vehicle Speech Warning Timing on Drivers’ Collision Avoidance Performance at Signalized Intersections[J]. Transportation Research Part C, 2015, 51: 231-242.

[18]

LUBBE

, ROSEEN

. Pedestrian Crossing Situations: Quantification of Comfort Boundaries to Guide Intervention Timing[J]. Accident Analysis & Prevention, 2014, 71(2): 261-266.

[19]

HUANG

, YANG

, EKLUND

. Evaluation of Remote Pedestrian Sensor System Based on The Analysis of Car-Pedestrian Accident Scenarios[J]. Safety Science, 2008, 46(9): 1345-1355.

2024年第卷第4期

PDF下载

297

122

引用本文

BibTeX

文章信息

doi: 10.19620/j.cnki.1000-3703.20240026

首发时间：2025-12-23
出版时间：2024-04-24

补充材料

相关文章

文章信息

作者

出版历史

基金

*智能车辆安全技术国家重点实验室开放基金项目(IVSTSKL-202305)

重庆交通大学-长三角先进材料研究所省级研究生联合培养基地基金项目(JDLHPYJD2021008)

作者信息

¹ 重庆交通大学，重庆 400074

² 汽车噪声振动和安全技术国家重点实验室，重庆 401120

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcjs/CN/10.19620/j.cnki.1000-3703.20240026

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT