汽车工程学报

天气	城市道路图片数量/张	高速公路图片数量/张	总计/张
小雨	200	200	1 200
中雨	200	200
大雨	200	200

天气

城市道路图片数量/张

高速公路图片数量/张

总计/张

小雨

200

1 200

中雨

200

大雨

200

天气	城市道路图片数量/张	高速公路图片数量/张	总计/张
小雨	200	200	1 200
中雨	200	200
大雨	200	200

天气

城市道路图片数量/张

高速公路图片数量/张

总计/张

小雨

200

1 200

中雨

200

大雨

200

优化器种类	mAP0.5/%	召回率/%	训练时间/h	帧率/fps
SGD	0.859	0.807	1.934	35.50
Adam	0.874	0.823	1.878	35.04
AdamW	0.872	0.809	2.053	34.50

优化器种类

mAP0.5/%

召回率/%

训练时间/h

帧率/fps

SGD

0.859

0.807

1.934

35.50

Adam

0.874

0.823

1.878

35.04

AdamW

0.872

0.809

2.053

34.50

优化器种类	mAP0.5/%	召回率/%	训练时间/h	帧率/fps
SGD	0.859	0.807	1.934	35.50
Adam	0.874	0.823	1.878	35.04
AdamW	0.872	0.809	2.053	34.50

优化器种类

mAP0.5/%

召回率/%

训练时间/h

帧率/fps

SGD

0.859

0.807

1.934

35.50

Adam

0.874

0.823

1.878

35.04

AdamW

0.872

0.809

2.053

34.50

模型	参数量/M	mAP0.5/%	计算量	模型大小/MB	FPS/%
YOLOv5s	7.00	0.859	15.9	14.4	35.5
YOLOv5-R	5.29	0.867	15.1	11.3	29.7
YOLOv5-RG	3.60	0.859	10.3	8.0	31.3
YOLOv5-RGA	3.60	0.867	10.3	8.0	33.3

模型

参数量/M

mAP0.5/%

计算量

模型大小/MB

FPS/%

YOLOv5s

7.00

0.859

15.9

14.4

35.5

YOLOv5-R

5.29

0.867

15.1

11.3

29.7

YOLOv5-RG

3.60

0.859

10.3

8.0

31.3

YOLOv5-RGA

3.60

0.867

10.3

8.0

33.3

模型	参数量/M	mAP0.5/%	计算量	模型大小/MB	FPS/%
YOLOv5s	7.00	0.859	15.9	14.4	35.5
YOLOv5-R	5.29	0.867	15.1	11.3	29.7
YOLOv5-RG	3.60	0.859	10.3	8.0	31.3
YOLOv5-RGA	3.60	0.867	10.3	8.0	33.3

模型

参数量/M

mAP0.5/%

计算量

模型大小/MB

FPS/%

YOLOv5s

7.00

0.859

15.9

14.4

35.5

YOLOv5-R

5.29

0.867

15.1

11.3

29.7

YOLOv5-RG

3.60

0.859

10.3

8.0

31.3

YOLOv5-RGA

3.60

0.867

10.3

8.0

33.3

模块	mAP0.5/%	召回率/%	计算量	参数量/M
RepVGG (ReLU)	0.865	0.812	15.1	5.29
RepVGG (SiLU)	0.867	0.821	15.1	5.29

模块

mAP0.5/%

召回率/%

计算量

参数量/M

RepVGG (ReLU)

0.865

0.812

15.1

5.29

RepVGG (SiLU)

0.867

0.821

15.1

5.29

模块	mAP0.5/%	召回率/%	计算量	参数量/M
RepVGG (ReLU)	0.865	0.812	15.1	5.29
RepVGG (SiLU)	0.867	0.821	15.1	5.29

模块

mAP0.5/%

召回率/%

计算量

参数量/M

RepVGG (ReLU)

0.865

0.812

15.1

5.29

RepVGG (SiLU)

0.867

0.821

15.1

5.29

模型	mAP0.5/%	参数量/ M	模型大小/MB	帧率/ fps
GhostNet-YOLOv5s	0.805	4.74	10.0	26.7
ShuffleNetv2-YOLOv5s	0.808	3.78	8.0	29.2
YOLOv3	0.858	61.49	123.5	27.6
YOLOv3-tiny	0.568	8.66	17.4	76.7
YOLOv5s	0.859	7.00	14.4	35.5
本文改进模型	0.867	3.60	8.0	33.3

模型

mAP0.5/%

参数量/ M

模型大小/MB

帧率/ fps

GhostNet-YOLOv5s

0.805

4.74

10.0

26.7

ShuffleNetv2-YOLOv5s

0.808

3.78

8.0

29.2

YOLOv3

0.858

61.49

123.5

27.6

YOLOv3-tiny

0.568

8.66

17.4

76.7

YOLOv5s

0.859

7.00

14.4

35.5

本文改进模型

0.867

3.60

8.0

33.3

模型	mAP0.5/%	参数量/ M	模型大小/MB	帧率/ fps
GhostNet-YOLOv5s	0.805	4.74	10.0	26.7
ShuffleNetv2-YOLOv5s	0.808	3.78	8.0	29.2
YOLOv3	0.858	61.49	123.5	27.6
YOLOv3-tiny	0.568	8.66	17.4	76.7
YOLOv5s	0.859	7.00	14.4	35.5
本文改进模型	0.867	3.60	8.0	33.3

模型

mAP0.5/%

参数量/ M

模型大小/MB

帧率/ fps

GhostNet-YOLOv5s

0.805

4.74

10.0

26.7

ShuffleNetv2-YOLOv5s

0.808

3.78

8.0

29.2

YOLOv3

0.858

61.49

123.5

27.6

YOLOv3-tiny

0.568

8.66

17.4

76.7

YOLOv5s

0.859

7.00

14.4

35.5

本文改进模型

0.867

3.60

8.0

33.3

基于改进YOLOv5的轻量级汽车挡风玻璃雨滴目标检测模型

PDF下载

江炜 , 张广冬 , 陈锦华 , 宋树权

汽车工程学报 | 智能网联技术专栏/主编:高镇海 2024,14(5): 821-828

收起

汽车工程学报 | 智能网联技术专栏/主编:高镇海 2024, 14(5): 821-828

基于改进YOLOv5的轻量级汽车挡风玻璃雨滴目标检测模型

全屏

江炜, 张广冬, 陈锦华, 宋树权

作者信息

盐城工学院机械工程学院盐城 224051

江炜(1999-),男,江西上饶人,硕士研究生,主要研究方向为汽车智能化设计理论与图像处理技术。Tel: 15876146096 E-mail：2395683971@qq.com

通讯作者:

张广冬(1983-),男,江苏盐都人,副教授,主要研究方向为数字化设计和计算机辅助工程。Tel: 13951558783 E-mail：gdzhang@ycit.edu.cn

Improved Lightweight YOLOv5-Based Model for Raindrop Target Detection on Automotive Windshields

Wei JIANG, Guangdong ZHANG, Jinhua CHEN, Shuquan SONG

Affiliations

School of Mechanical Engineering Yancheng Institute of Technology Yancheng 224051 China

doi: 10.3969/j.issn.2095–1469.2024.05.08

文章导航

摘要

收起

在现有的基于视觉的智能雨刮系统中,雨滴目标检测模型的参数量多,计算规模大,不利于部署到车载嵌入式设备中。针对上述问题,提出一种改进的轻量级雨滴目标检测模型 YOLOv5RGA。使用轻量化网络RepVGG模块和GhostBottleneck模块替代主干网络的卷积模块和C3模块,改善网络的特征提取能力,降低网络的参数量和计算量。使用Adam优化器代替SGD优化器,加快收敛速度,提高网络模型的平均精度。通过试验验证,与YOLOv5s模型相比,基于YOLOv5RGA的雨滴目标检测模型的平均精度提高了0.8%,同时模型参数量降低了48.5%,计算量降低了35.2%,模型大小降低了44.4%。轻量级雨滴目标检测模型的应用能大大降低硬件开销,同时也有利于模型的部署。

关键词

轻量化 / 改进YOLOv5 / 雨滴目标检测 / RepVGG模块

Abstract

收起

In existing visionbased intelligent wiper systems, the raindrop target detection model has a large number of parameters and excessive computational complexity, making it challenging to deploy in vehicle embedded devices. To address these issues, the paper proposes a lightweight raindrop target detection model, YOLOV5RGA. By integrating the RepVGG and GhostBottleneck modules to replace the convolution and C3 modules of the backbone network, we enhance the network's feature extraction capabilities while significantly reducing the parameters and computational load. Furthermore, adopting the Adam optimizer results in faster convergence and improves the average accuracy of the network model. Through experimental validation, compared with the YOLOv5s model, the YOLOv5RGA model achieves a 0.8% increase in average accuracy. Additionally, the number of model parameters is reduced by 48.5%, computation demand decreases by 35.2%, and the model size shrinks by 44.4%. The adoption of the lightweight raindrop target detection model effectively reduces hardware overhead and also facilitates model deployment.

Key words

lightweight / improved YOLOv5 / raindrop target detection / RepVGG module

引用本文

江炜, 张广冬, 陈锦华, 宋树权. 基于改进YOLOv5的轻量级汽车挡风玻璃雨滴目标检测模型. 汽车工程学报, 2024 , 14 (5) : 821 -828 . DOI: 10.3969/j.issn.2095–1469.2024.05.08

Wei JIANG, Guangdong ZHANG, Jinhua CHEN, Shuquan SONG. Improved Lightweight YOLOv5-Based Model for Raindrop Target Detection on Automotive Windshields[J]. Chinese Journal of Automotive Engineering, 2024 , 14 (5) : 821 -828 . DOI: 10.3969/j.issn.2095–1469.2024.05.08

正文

收起

在雨天行驶时, 汽车驾驶员需要根据雨量大小, 手动调节雨刮器挡位。这一过程会对驾驶员产生干扰, 增加交通事故的发生率。作为高级驾驶辅助系统(Advanced Driver Assistance System, ADAS)的重要装置之一, 智能雨刮系统能及时检测并刮去雨滴, 保障驾驶员前方视野的清晰, 其关键技术为雨滴检测方法。目前, 常用的智能雨刮系统主要基于雨量传感器或视觉传感器来感知雨滴。基于雨量传感器的雨刮系统借助各类光学传感器采集降雨信息,间接判断雨量大小,进而控制雨刮系统工作 ^{[ 1 ]} 。但雨量传感器的检测范围小,无法检测感应范围之外的雨滴 ^{[ 2 ]} 。基于视觉传感器的雨刮系统主要通过车载摄像头将拍摄到的图像传给图形处理器 (Graphics Processing Unit, GPU), GPU 对图像进行处理来检测雨滴, 并根据雨刮控制算法来判断是否驱动雨刮模块工作。视觉传感器可以获得更大的感应范围, 不易受环境干扰, 解决了雨量传感器存在的不足。同时, 视觉传感器也可与其他系统共用, 大大降低了硬件成本。不过基于视觉传感器的雨滴检测仍存在一些挑战:道路场景复杂多变, 挡风玻璃图像中雨滴较小且密集, 导致雨滴检测精度较低；雨滴检测模型参数量和计算量较大, 模型的轻量化部署困难。

随着人工智能和计算机视觉技术的发展, 图像处理技术得到突破性的进展, 汽车挡风玻璃的雨滴视觉检测已具备了可行性, 并得到国内外学者的广泛关注。WU Qi 等 ^{[ 3 ]} 提出一种基于机器学习的雨滴检测方法,精度为 79%, 召回率为 76%。该方法可以检测小雨和中雨条件下的圆形雨滴, 但无法检测完全被雨水覆盖的图像, 同时对天空区域的雨滴也无法检测。GUO Tiancheng 等 ^{[ 4 ]} 讨论 3 种不同的区域提取法对雨滴检测与分类的影响, 包括滑动窗口法、超像素法和选择性搜索法。结果表明, 区域提取法对检测雨滴效果提升明显,但实时性差,不利于检测汽车挡风玻璃上的雨滴。MARIN等 ^{[ 5 ]} 提出一种基于多幅图像的深度学习实时雨滴检测模型, 通过自主学习并对比多张连续的雨滴图像, 使用运动检测将运动区域和静止不动区域分离, 从而实现雨滴和背景图像分离, 并输出雨滴区域所占百分比分数, 当分数超过阈值时, 输出雨刮控制信号。这种方法需要同时处理、分析多张图像, 帧率小于 10 fps,无法满足实时性要求。HUANG Yutang 等 ^{[ 6 ]} 提出一种基于高斯提取的深度学习降雨检测和雨刷控制方法, 对输入图像进行图像处理。将高斯提取的图像传入 ResNet18 神经网络模型进行训练, 试验结果与原始数据集相比, 准确率提高 8%, 召回率提高 15%,精度略有下降。由于图像转化为灰度图像缺失了雨滴颜色信息, 所以这种方法存在一定的安全隐患。QIAN Rui 等 ^{[ 7 ]} 提出去除雨滴的生成对抗网络(Generative Adversarial Network, GAN)。通过将注意力机制引入生成网络中, 可以检测多数情况下的密集雨滴, 但 GAN 网络也没有满足雨滴目标检测的轻量化和实时性的要求。

LAI 等 ^{[ 8 ]} 提出一种基于 ResNet18 神经网络的雨滴二分类方法和基于时间序列的雨刮器控制算法。雨刮器的启动并不是基于单张图像检测结果, 而是在该时间点之前一系列连续图像的检测结果。该系统侧重于提升检测效果,但实时性不够。 ZHENG Mengjie 等 ^{[ 9 - 10 ]} 提出一种基于 ResNet50 的神经网络模型对车辆挡风玻璃雨滴进行检测和分类, 使用 Google Coral 开发板自带的摄像头模块, 并将摄像头拍摄到的图像分为 3 类:无雨、小雨和大雨。用分类的输出结果来控制雨刮挡位, 从而实现雨刮的自动控制。测试图片分辨率最高为 ${480} \times$ 270 ppi,试验结果显示准确率达到 95%,帧率为 ${20}\mathrm{{fps}}$ 。该系统对计算资源的需求较大,轻量化方面存在不足。LAI 等 ^{[ 8 ]} 在原有基础上提出了改进的雨量检测和雨刷控制方法 ^{[ 11 ]} 。采用对整张图像进行特征提取的方法检测雨滴, 可以检测到多种形状的雨滴。采用 ResNet18 网络构建一个有雨/无雨的分类器, 根据驾驶员主观判断有雨/无雨并输出雨刮控制信号。为了验证网络模型的泛化能力, 将网络模型部署到不同的嵌入式设备中并进行测试对比,测试图片分辨率为 ${640} \times {480}\mathrm{{ppi}}$ ,发现同时使用微型计算机树莓派 4 和英特尔神经计算棒二代 NCS2 的性能最好, 测试结果精度达 92%, 召回率达 76%,帧率为 20 fps。该方法无法满足雨滴目标检测的实时性要求,且召回率不够。

上述雨滴检测模型在雨滴感知上均有不错的表现。然而, 对于雨滴的目标检测, 所需的模型参数量相对较多,对计算资源的需求量也更大,难以达到雨滴目标检测的实时性要求。为了解决上述问题, 需要建立一个轻量级汽车挡风玻璃雨滴目标检测模型。本文在 YOLOv5 模型的基础上,提出一种轻量级的雨滴目标检测模型YOLOv5-RGA。在保证检测精度和帧率的同时, 实现目标检测模型的轻量化。

1 雨滴目标检测模型及其改进

收起

1.1 雨滴目标检测和雨刮控制流程

汽车挡风玻璃上雨滴目标检测流程, 如图 1 所示。前期做好雨滴检测准备工作, 采集雨滴图像数据集并完成雨滴图像标注工作,选择 YOLOv5 模型作为深度学习卷积神经网络模型。对网络模型进行轻量化设计, 得到 YOLOv5-RGA 网络模型, 并使用训练集对模型进行训练。当汽车启动后,通过车载摄像头获取前挡风玻璃区域影像信息, 图像经过自适应缩放到 ${640} \times {640}$ 像素大小和Mosaic数据增强后一起传入目标检测模型YOLOv5-RGA中, 以提取雨滴特征。如果检测到的雨滴数量超过阈值 (N), 则启动雨刮控制模块刮去雨滴, 雨滴数量未超过阈值则不启动雨刮模块。

1.2 雨滴数据集

雨滴数据集使用的是台北科技大学 Chih-Hung G. Li 提供的开源数据集, 共 16 万张图片, 分辨率为 ${1280} \times {720}\mathrm{{ppi}}$ ,均为真实场景下车载摄像头拍摄前挡风玻璃上的雨滴图像, 包含一天中不同时段、天气和路面的图像。在精选图像数据集的过程中, 为平衡标注所花时间和数据集多样性, 选择部分样本进行标注。将数据集的雨滴图像分为两大类六小类:高速公路场景下小雨、中雨和大雨；城市道路场景下小雨、中雨和大雨。每一小类各挑选 200 张图片, 总计 1 200 张图像作为训练所需的数据集。图像数据集划分见表 1 , 数据集部分样本如图 2 所示。

利用图像标注工具 LabelImg 对图像中雨滴目标进行手动标注 ( 图 3 ),标注完成之后生成 $\mathrm{{xml}}$ 格式的标注文本。使用数据转换脚本将 xml 格式标注文件转为 YOLOv5 训练所需要的 txt 格式, 训练集和验证集分别占 80% 和 20%。

1.3 YOLOv5-RGA 网络模型

基于 YOLOv5s 模型提出一种改进的汽车前挡风玻璃雨滴目标检测模型, 其改进后的网络模型 YOLOv5-RGA 如图 4 所示。首先在骨干网络引入 RepVGG模块和 GhostBottleneck 模块, 替代主干网络的卷积模块和 $\mathrm{C}3$ 模块,减少模型参数量和计算量, 提高网络在移动端的性能, 为后续大规模低成本部署奠定基础。使用 Adam 优化器代替 SGD 优化器,加快收敛速度, 提高网络模型的平均精度。

1)RepVGG 模块: RepVGG 网络结构是由 DING Xianhan 等 ^{[ 12 ]} 提出的,对 VGG 网络 $3 \times 3$ 卷积进行重构,额外添加一条 $1 \times 1$ 卷积和残差分支,并通过重参数化方法实现训练结构和推理结构解耦。本文将 YOLOv5 主干网络的 CBS 卷积模块替换为 RepVGG 模块, 并将 RepVGG 初始的激活函数 ReLU 改为激活函数 SiLU。RepVGG 模块同时具备 ResNet 结构特征提取能力强和 VGG 内存占用少的优点, 并且减少模型参数量和计算量有利于后续模型的部署。

RepVGG模块通过结构重参数技术可实现两种不同架构的解耦,其训练和推理模型如图 5 a 和图5 $\mathrm{\;b}$ 所示。在推理时,是一种类似 $\mathrm{{VGG}}$ 的前馈式网络结构,仅有 $3 \times 3$ 卷积和 $\mathrm{{SiLU}}$ 激活函数,结构简单高效,内存利用率得到显著提升。在训练时使用更加复杂的多分支拓扑结构, 在推理结构的基础上添加 $1 \times 1$ 卷积和 identity 分支,可以更好地提取目标特征,提高检测精度。

更换 RepVGG 模块后,模型参数量为 ${5.29}\mathrm{M}$ , 计算量为15.1 GFLOPs。最初YOLOv5s模型参数量 ${7.0}\mathrm{M}$ ,计算量 ${15.8}\mathrm{{GFLOPs}}$ ,对比引入 $\mathrm{{RepVGG}}$ 模块后, 参数量减少 24.44%, 计算量减少 4.43%, 初步达到YOLOv5模型轻量化的要求。

2)GhostBottleeck 模块: GhostNet ^{[ 13 ]} 网络是由华为诺亚方舟实验室提出的新型轻量化网络模型, 通过 Ghost 卷积堆叠成 GhostBottleneck 模块, 再由 GhostBottleneck 模块构建而成。标准卷积使用多个不同卷积核的同时对三通道进行卷积, 导致输出的特征图存在许多冗余的图像信息, 参数量和计算量较大。而 Ghost 卷积结构如图 6 a 所示, 先进行标准卷积生成一部分特征图, 再通过代价较小的线性变换和组合操作生成更多 Ghost 特征图, 减少了冗余特征图的产生 ^{[ 14 ]} 。使用 Ghost 卷积与 DW 卷积构建 GhostBottleneck 模块,其结构如图 6 b 所示,减少了标准卷积的使用。

使用 GhostBottleneck 模块代替原骨干网络的 $\mathrm{C}3$ 模块,保证较高的平均精度条件下,可以进一步减少模型计算量和参数量, 降低模型体积, 提高推理速度。

3)Adam 优化器: YOLOv5 6.1 版本内设了 3 种优化器: SGD、Adam 和 AdamW。优化器在不同的数据结构和模型上的性能表现也不同, 因此, 本文在 YOLOv5 源码上使用同一数据集对 3 种不同的优化器进行测试, 迭代次数 (epochs) 设为 300 次, 其他参数默认。采用全类平均精度 (mean Average Precision, mAP)、召回率、训练时间和 FPS 作为评价指标, 雨滴检测模型对比结果见表 2 。

与默认的 SGD 优化器相比, Adam 优化器的 mAP0.5 提高 1.5%,召回率提高 1.6%,训练时间最短, 帧率降低 0.46%。综合考虑, Adam 优化器具有更好的泛化性和鲁棒性。

2 模型训练和结果分析

收起

2.1 试验环境和评价指标

本次试验训练和测试均在 Ubuntu18.04 系统上完成, 开发框架为 PyTorch 1.9.0, 显卡为 RTX3060 ${12}\mathrm{G}$ ,内存为 ${14}\mathrm{G}$ , Cuda 11.1, Python 3.8。训练过程中所使用的优化器为 SGD, 输入图片分辨率为 ${1280} \times {720}\mathrm{{ppi}}$ ,初始学习率为 0.01,训练批次 (batch size) 为 16 , 最大迭代次数 (epoch) 设为 400。

对改进后的 YOLOv5 模型性能进行评价, 选取召回率(Recall)、全类平均精度(mAP0.5)、模型参数量(Parameters)、模型计算力(GFLOPs)和模型大小作为客观指标。mAP0.5 是指阈值设为 0.5 时,每个类别所有目标的平均精度(Average Precision, AP) 的平均值, AP是指 0-1 区间 P (Precision,精度) 对 $\mathrm{R}$ (Recall,召回率) 的积分。其中, $\mathrm{R}$ 和 $\mathrm{{mAP}}$ 的计算如式 (1) $\sim \left( 2\right)$ 所示。

(1)

$ \mathrm{R} = \frac{{T}_{\mathrm{P}}}{{T}_{\mathrm{P}} + {F}_{\mathrm{N}}} \circ $

(2)

$ \mathrm{{mAP}} = \frac{1}{N}\mathop{\sum }\limits_{{i = 1}}^{N}{A}_{\mathrm{p}i} \circ $

式中: ${T}_{\mathrm{P}}$ 为测试样本中正确识别出雨滴的数量; ${F}_{\mathrm{N}}$ 为未识别出雨滴目标的数量; $N$ 为检测的总类别数; ${A}_{\mathrm{P}i}$ 为第 $i$ 个类别的 $\mathrm{{AP}}$ 值,如果只有一个类别数,则 $N$ 为 $1,\mathrm{{mAP}} = \mathrm{{AP}}$ 。

模型参数量描述模型包含的参数量, 模型计算力的浮点运算数 (Floating Point Operations, FLOPs) 用于衡量 $\mathrm{{YOLOv}}5$ 模型的复杂度, $\mathrm{{GFLOPs}}$ 为 10 亿次的浮点运算次数。参数量和计算力越低, 模型所需的资源越少,有助于后续 $\mathrm{{YOLOv}}5$ 模型部署到嵌入式计算机中。

FPS 是衡量雨滴目标检测速度的评价指标, 统计每秒检测的雨滴图像数量。其计算式为:

(3)

$ \text{ FPS } = \frac{1000}{{T}_{\text{pre_process }} + {T}_{\text{inference }} + {T}_{\text{NMS }}} \circ $

式中: ${T}_{\text{pre_process }}$ 为图像预处理时间; ${T}_{\text{inference }}$ 为推理时间; ${T}_{\mathrm{{NMS}}}$ 为非极大值抑制处理时间。

2.2 改进过程的对比试验及结果分析

由表 3 可知, YOLOv5s 的原始模型大小为 14.4 $\mathrm{{MB}}$ ,计算量为 ${15.8} \times {10}^{9}$ ,参数量为 $7\mathrm{M},\mathrm{{mAP}}{0.5}$ 为 0.859%,帧率为 35.5 fps。骨干网络引入 RepVGG模块之后( 表 3 模型 YOLOv5-R),参数量下降到 ${5.29}\mathrm{M}$ ,模型大小下降到 ${11.3}\mathrm{{MB}}$ , FPS下降到 29.7, mAP 0.5 还有小幅度提高。后续使用 GhostBottleneck 代替 C3 模块( 表 3 模型 YOLOv5- RG),参数量下降至 ${3.6}\mathrm{M}$ ,计算量下降至 ${10.3} \times$ ${10}^{9}$ ,模型大小下降至 ${8.0}\mathrm{{MB}},\mathrm{{mAP}}{0.5}$ 下降至 0.859%,帧率上升至 31.3 fps。使用 Adam 优化器后, mAP 0.5 提升至 0.867%,帧率上升至 33.3 fps。最终改进的 YOLOv5 模型命名为 YOLOv5-RGA, 参数量为 ${3.6}\mathrm{M},\mathrm{{mAP}}{0.5}$ 为0.867,计算量为 ${10.3} \times$ ${10}^{9}$ ,模型大小为 ${8.0}\mathrm{{MB}}$ ,帧率为 ${33.3}\mathrm{{fps}}$ 。与原始 YOLOv5s 模型相比, YOLOv5-RGA 模型检测精度提升了 0.8%,参数量降低了 48.5%,计算量降低了 35.2%,模型大小降低了 44.4%, FPS 下降了 6.2%。

此外, 通过对 RepVGG 模块激活函数的更改, 将激活函数由 $\mathrm{{ReLU}}$ 改为激活函数 $\mathrm{{SiLU}}$ ,也能使检测性能有所提升, 其结果见表 4 。更改为激活函数 SiLU之后, mAP0.5 和召回率都有一定程度的提升, 而计算量和参数量都没有发生改变。这证明更换激活函数 SiLU对 YOLOv5-RGA 网络模型的检测效果更好。

本次对比试验使用相同的雨滴数据集和训练参数, 分别对 YOLOv5 源码和改进后的模型进行训练, 并将两者曲线绘制在同一坐标系上。如图 7 所示, mAP0.5 越高, 模型的性能越好, 检测平均精度好。YOLOv5s 源码在迭代 300 轮之后, mAP0.5 曲线趋于平稳,最高达到 0.859%。改进后的 YOLOv5模型, 在迭代 250 轮后曲线已经和源码重合, 300 轮之后改进模型的 mAP0.5 已经超越了源码, mAP0.5 最高可达到 0.867%。

在训练过程中, 损失函数可以衡量真实值和预测值的接近程度, 同时也反映出不断迭代过程中模型收敛情况, 为模型提供更加准确的检测效果。本文 YOLOv5 源码与改进后模型的损失函数曲线, 如图 8 ~9 所示。对比试验表明,改进后的模型具有接近源码的收敛速度, 损失值 (无量纲) 最低在 0.038, 接近零点, 且没有过拟合现象。

为了证明改进后的模型能对雨滴图像进行准确检测, 选取密集目标和侧方有车辆遮挡视线的图像进行图像对比检测,结果如图 10 ~11 所示,图片左上角为雨滴数量。在密集小雨滴场景下, YOLOv5-RGA 检测到 620 颗雨滴, YOLOv5s 检测到 488 颗雨滴; 而在侧方有车辆遮挡的场景下 YOLOv5-RGA 检测到 241 颗雨滴, YOLOv5s 检测到 225 颗雨滴。

通过对比试验, 证明 YOLOv5-RGA 模型在检测雨滴数量方面超越源码。因此, YOLOv5-RGA 模型在大幅度减少计算量、参数量, 以及缩小模型大小的情况下,对密集小雨滴和车辆遮挡视线场景下的雨滴具有较好的检测效果。

2.3 对比试验

将 YOLOv5-RGA 与其他主流模型比较, 进一步证明 YOLOv5-RGA 模型的优越性和可靠性, 试验结果见表 5 。

通过试验可知, 相较于表格中的轻量级网络模型和同系列的 YOLO 网络模型, YOLOv5-RGA 模型具有更高的平均精度, 更小的参数量和模型体积。在帧率方面,常规的实时检测帧率需要达到 30 fps 以上, YOLOv5-RGA模型优于其他轻量级网络和YOLOv3模型,略微逊色于YOLOv3-tiny模型和 YOLOv5 源码。YOLOv3-tiny 模型的帧率虽高, 但 mAP0.5 太低, 不满足实际的雨滴检测要求。改进后的模型略低于源码, 原因是更换骨干网络 RepVGG模块, 但仍然满足常规的实时检测要求。

通过对比试验, YOLOv5-RGA 网络模型相较于主流轻量化模型和 $\mathrm{{YOLO}}$ 系列模型,具有很好的性能, 在减少参数量、计算量和模型体积的同时, 也能保持较高的检测精度和帧率。

3 结论

收起

针对雨滴目标检测时密集雨滴检测效果不佳, 参数量和计算量较大, 不利于在嵌入式设备上部署等问题, 本文提出了一种基于改进的 YOLOv5 模型的实时雨滴目标检测模型。该模型在 $\mathrm{{YOLOv5}}$ 模型的骨干网络使用RepVGG模块和GhostBottleneck模块代替传统卷积层和 $\mathrm{C}3$ 层,并引入 $\mathrm{{Adam}}$ 优化器。通过试验证实, 改进后的 YOLOv5-RGA 模型相较于原始 YOLOv5 模型, 平均精度提高 0.8%, 参数量减少了 ${3.4}\mathrm{M}$ ,模型体积减少了 ${6.4}\mathrm{{MB}}$ ,计算量减少了 ${5.6} \times {10}^{9}$ ,实现了模型轻量化的同时小幅度提高了模型的平均检测精度。与 YOLOv5 源码相比, YOLOv5-RGA 的实时性略有下降, 但帧率仍大于 ${30}\mathrm{{fps}}$ ,满足在汽车嵌入式设备上进行模型部署的要求。后续将收集更多复杂场景下的雨滴图像, 如白天城市场景、夜间道路场景, 以增加模型对挡风玻璃上雨滴的检测精度, 提高模型的泛化能力。

基金

收起

江苏省产学研合作项目(BY2020356)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

陈锦华 , 张广冬 , 宋树权. 汽车智能雨刮系统雨滴检测方法研究进展[J]. 汽车工程学报, 2023,13(1):8-21.

[2]

肖滢. 基于图像的智能雨刮控制方法研究[D]. 长沙: 湖南大学, 2013.

XIAO

Ying

. Research on Image Based Intelligent Wiper Control Method[D]. Changsha: Hunan University, 2013. (in Chinese)

[3]

, ZAHNG

Wende

, KUMAR

B VK V

. Raindrop Detection and Removal Using Salient Visual Features[C]// Proceedings of the 2012 19th IEEE International Conference on Image Processing, Sept. 30-Oct. 3, 2012, Orlando, FL, USA. Piscataway NJ: IEEE, c2012, 2012:941-944.

[4]

GUO

Tiancheng

, AKCAY

, ADEY

P A

, et al. On the Impact of Varying Region Proposal Strategies for Raindrop Detection and Classification Using Convolutional Neural Networks[C]// 2018 25th IEEE International Conference on Image Processing (ICIP), Oct. 7-10, 2018, Athens, Greece.Piscataway NJ: IEEE, c2018, 2018:3413-3417.

[5]

MARIN

, MARIN

. Real-Time Raindrop Detection Based on Deep Learning Algorithm[J]. The Annals of "Dunarea de Jos" University of Galati Fascicle IX Metallurgy and Materials Science, 2020,43(4):47-50.

[6]

HUANG

Yutang

, LICH

, LAI

Chicheng

. Deep-Learning Rain Detection and Wiper Control Featuring Gaussian Extraction[C]// 2020 International Conference on Technologies and Applications of Artificial Intelligence (TAAI), Dec. 3-5, 2020, Chinese Taipei. Piscataway NJ: IEEE, c2020, 2020:153-158.

[7]

QIAN

Rui

, TAN

, YANG

Wenhan

. Attentive Generative Adversarial Network for Raindrop Removal from a Single Image[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA.Piscataway NJ: IEEE, c2018, 2018:2482-2491.

[8]

LAI

Chicheng

, LICH

. Video-Based Windshield Rain Detection and Wiper Control Using Holistic-View Deep Learning[C]// 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE), Aug. 22-26, 2019, Vancouver, BC, Canada. Piscataway NJ: IEEE, c2019, 2019:1060-1065.

[9]

ZHENG

Mengjie

, HSIA

, WANG

. Raining Detection with Deep Learning Method for Vehicle System[C]// 2021 IEEE International Conference on Consumer Electronics (ICCE), Jan. 10-12, 2021, Las Vegas, NV, USA.Piscataway NJ: IEEE, c2021, 2021:1-4.

[10]

WANG

, HSIA

, ZHENG

Mengjie

. Deep Learning-Based Raindrop Quantity Detection for Real-Time Vehicle-Safety Application[J]. IEEE Transactions on Consumer Electronics, 2021,67(4):266-274.

[11]

LICHG

, CHEN

, LAI

Chicheng

, et al. Real-Time Rain Detection and Wiper Control Employing Embedded Deep Learning[J]. IEEE Transactions on Vehicular Tech-nology, 2021,70(4):3256-3266.

[12]

DING

Xianhan

, ZHANG

Xianyu

, MA

Ningning

, et al. RepVGG: Making VGG-style ConvNets Great Again[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 20-25, 2021, Nashville, TN, USA.Piscataway NJ: IEEE, c2021, 2021:13728-13737.

[13]

HAN

Kai

, WANG

Yunhe

, TIAN

, et al. GhostNet: More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recog-nition (CVPR), June 13-19, 2020, Seattle, WA, USA. Piscataway NJ: IEEE, c2020, 2020:1577-1586.

[14]

李宇翔, 王帅, 陈伟, 等. 基于Ghost 模块的改进YOLOv5目标检测算法[J]. 现代电子技术, 2023,46(3):29-34.

Yuxiang

, WANG

Shuai

, CHEN

Wei

, et al. Improved YOLOv5 Target Detection Algorithm Based on Ghost Module[J]. Modern Electronics Technique, 2023,46(3):29-34. (in Chinese)

2024年第14卷第5期

PDF下载

181

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.2095–1469.2024.05.08

接收时间：2023-06-14
首发时间：2025-07-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-06-14
修回日期：2023-07-25

基金

江苏省产学研合作项目(BY2020356)

作者信息

盐城工学院机械工程学院盐城 224051

通讯作者:

张广冬(1983-),男,江苏盐都人,副教授,主要研究方向为数字化设计和计算机辅助工程。Tel: 13951558783 E-mail：gdzhang@ycit.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcxb/CN/10.3969/j.issn.2095–1469.2024.05.08

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

天气	城市道路图片数量/张	高速公路图片数量/张	总计/张
小雨	200	200	1 200
中雨	200	200
大雨	200	200

天气

城市道路图片数量/张

高速公路图片数量/张

总计/张

小雨

200

1 200

中雨

200

大雨

200

优化器种类	mAP0.5/%	召回率/%	训练时间/h	帧率/fps
SGD	0.859	0.807	1.934	35.50
Adam	0.874	0.823	1.878	35.04
AdamW	0.872	0.809	2.053	34.50

优化器种类

mAP0.5/%

召回率/%

训练时间/h

帧率/fps

SGD

0.859

0.807

1.934

35.50

Adam

0.874

0.823

1.878

35.04

AdamW

0.872

0.809

2.053

34.50

模型	参数量/M	mAP0.5/%	计算量	模型大小/MB	FPS/%
YOLOv5s	7.00	0.859	15.9	14.4	35.5
YOLOv5-R	5.29	0.867	15.1	11.3	29.7
YOLOv5-RG	3.60	0.859	10.3	8.0	31.3
YOLOv5-RGA	3.60	0.867	10.3	8.0	33.3

模型

参数量/M

mAP0.5/%

计算量

模型大小/MB

FPS/%

YOLOv5s

7.00

0.859

15.9

14.4

35.5

YOLOv5-R

5.29

0.867

15.1

11.3

29.7

YOLOv5-RG

3.60

0.859

10.3

8.0

31.3

YOLOv5-RGA

3.60

0.867

10.3

8.0

33.3

模块	mAP0.5/%	召回率/%	计算量	参数量/M
RepVGG (ReLU)	0.865	0.812	15.1	5.29
RepVGG (SiLU)	0.867	0.821	15.1	5.29

模块

mAP0.5/%

召回率/%

计算量

参数量/M

RepVGG (ReLU)

0.865

0.812

15.1

5.29

RepVGG (SiLU)

0.867

0.821

15.1

5.29

模型	mAP0.5/%	参数量/ M	模型大小/MB	帧率/ fps
GhostNet-YOLOv5s	0.805	4.74	10.0	26.7
ShuffleNetv2-YOLOv5s	0.808	3.78	8.0	29.2
YOLOv3	0.858	61.49	123.5	27.6
YOLOv3-tiny	0.568	8.66	17.4	76.7
YOLOv5s	0.859	7.00	14.4	35.5
本文改进模型	0.867	3.60	8.0	33.3

模型

mAP0.5/%

参数量/ M

模型大小/MB

帧率/ fps

GhostNet-YOLOv5s

0.805

4.74

10.0

26.7

ShuffleNetv2-YOLOv5s

0.808

3.78

8.0

29.2

YOLOv3

0.858

61.49

123.5

27.6

YOLOv3-tiny

0.568

8.66

17.4

76.7

YOLOv5s

0.859

7.00

14.4

35.5

本文改进模型

0.867

3.60

8.0

33.3