科学技术与工程

模块	SE	CBAM	ECA	SimAM
参数	2C²/r	2C²/r	2C²/r+2k²	0

模块

CBAM

ECA

SimAM

参数

2C²/r

2C²/r+2k²

模块	SE	CBAM	ECA	SimAM
参数	2C²/r	2C²/r	2C²/r+2k²	0

模块

CBAM

ECA

SimAM

参数

2C²/r

2C²/r+2k²

基础模型	主干网络	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹	规模/MB
YOLOv8s	CSPDarknet	0.901	0.916	0.835	11.15	28.8	21.5
YOLOv8s	Shufflenetv2	0.869	0.907	0.788	5.94	15.9	11.6
YOLOv8s	Mobilenetv3_L	0.884	0.920	0.805	7.89	19.0	15.4
YOLOv8s	GhostNetv2	0.882	0.908	0.811	8.24	19.1	16.3
YOLOv8s	FasterNet_t1	0.894	0.915	0.825	7.45	19.5	14.5

基础模型

主干网络

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

规模/MB

YOLOv8s

CSPDarknet

0.901

0.916

0.835

11.15

28.8

21.5

YOLOv8s

Shufflenetv2

0.869

0.907

0.788

5.94

15.9

11.6

YOLOv8s

Mobilenetv3_L

0.884

0.920

0.805

7.89

19.0

15.4

YOLOv8s

GhostNetv2

0.882

0.908

0.811

8.24

19.1

16.3

YOLOv8s

FasterNet_t1

0.894

0.915

0.825

7.45

19.5

14.5

基础模型	主干网络	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹	规模/MB
YOLOv8s	CSPDarknet	0.901	0.916	0.835	11.15	28.8	21.5
YOLOv8s	Shufflenetv2	0.869	0.907	0.788	5.94	15.9	11.6
YOLOv8s	Mobilenetv3_L	0.884	0.920	0.805	7.89	19.0	15.4
YOLOv8s	GhostNetv2	0.882	0.908	0.811	8.24	19.1	16.3
YOLOv8s	FasterNet_t1	0.894	0.915	0.825	7.45	19.5	14.5

基础模型

主干网络

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

规模/MB

YOLOv8s

CSPDarknet

0.901

0.916

0.835

11.15

28.8

21.5

YOLOv8s

Shufflenetv2

0.869

0.907

0.788

5.94

15.9

11.6

YOLOv8s

Mobilenetv3_L

0.884

0.920

0.805

7.89

19.0

15.4

YOLOv8s

GhostNetv2

0.882

0.908

0.811

8.24

19.1

16.3

YOLOv8s

FasterNet_t1

0.894

0.915

0.825

7.45

19.5

14.5

损失函数	检测精度	精确率	召回率
CIoU	0.901	0.916	0.835
DIoU	0.900	0.927	0.831
SIoU	0.903	0.934	0.833
GIoU	0.895	0.914	0.826
EIoU	0.898	0.921	0.826
IPIoU	0.907	0.928	0.838

损失函数

检测精度

精确率

召回率

CIoU

0.901

0.916

0.835

DIoU

0.900

0.927

0.831

SIoU

0.903

0.934

0.833

GIoU

0.895

0.914

0.826

EIoU

0.898

0.921

0.826

IPIoU

0.907

0.928

0.838

损失函数	检测精度	精确率	召回率
CIoU	0.901	0.916	0.835
DIoU	0.900	0.927	0.831
SIoU	0.903	0.934	0.833
GIoU	0.895	0.914	0.826
EIoU	0.898	0.921	0.826
IPIoU	0.907	0.928	0.838

损失函数

检测精度

精确率

召回率

CIoU

0.901

0.916

0.835

DIoU

0.900

0.927

0.831

SIoU

0.903

0.934

0.833

GIoU

0.895

0.914

0.826

EIoU

0.898

0.921

0.826

IPIoU

0.907

0.928

0.838

实验	FasterNet_t1	SPD-Conv	IP-IoU	SimAM	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹
1					0.901	0.926	0.837	11.15	28.8
2	√				0.894	0.915	0.825	7.45	19.5
3	√	√			0.900	0.925	0.833	7.94	22.3
4	√	√	√		0.906	0.934	0.834	7.94	22.4
5	√	√	√	√	0.913	0.942	0.838	7.91	22.9

实验

FasterNet_t1

SPD-Conv

IP-IoU

SimAM

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

0.901

0.926

0.837

11.15

28.8

√

0.894

0.915

0.825

7.45

19.5

√

0.900

0.925

0.833

7.94

22.3

√

0.906

0.934

0.834

7.94

22.4

√

0.913

0.942

0.838

7.91

22.9

实验	FasterNet_t1	SPD-Conv	IP-IoU	SimAM	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹
1					0.901	0.926	0.837	11.15	28.8
2	√				0.894	0.915	0.825	7.45	19.5
3	√	√			0.900	0.925	0.833	7.94	22.3
4	√	√	√		0.906	0.934	0.834	7.94	22.4
5	√	√	√	√	0.913	0.942	0.838	7.91	22.9

实验

FasterNet_t1

SPD-Conv

IP-IoU

SimAM

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

0.901

0.926

0.837

11.15

28.8

√

0.894

0.915

0.825

7.45

19.5

√

0.900

0.925

0.833

7.94

22.3

√

0.906

0.934

0.834

7.94

22.4

√

0.913

0.942

0.838

7.91

22.9

模型	检测精度	参数量/10⁶	计算量/10⁹	规模/MB
v6s	0.889	16.45	44.9	31.3
v3-tiny	0.803	12.17	19.1	23.3
v5s	0.898	9.15	24.2	17.7
v7-tiny	0.861	6.02	13.0	12.3
v5 m	0.915	25.11	64.6	48.2
v8s	0.901	11.15	28.8	21.5
本文模型	0.913	7.91	22.9	15.3

模型

检测精度

参数量/10⁶

计算量/10⁹

规模/MB

v6s

0.889

16.45

44.9

31.3

v3-tiny

0.803

12.17

19.1

23.3

v5s

0.898

9.15

24.2

17.7

v7-tiny

0.861

6.02

13.0

12.3

v5 m

0.915

25.11

64.6

48.2

v8s

0.901

11.15

28.8

21.5

本文模型

0.913

7.91

22.9

15.3

模型	检测精度	参数量/10⁶	计算量/10⁹	规模/MB
v6s	0.889	16.45	44.9	31.3
v3-tiny	0.803	12.17	19.1	23.3
v5s	0.898	9.15	24.2	17.7
v7-tiny	0.861	6.02	13.0	12.3
v5 m	0.915	25.11	64.6	48.2
v8s	0.901	11.15	28.8	21.5
本文模型	0.913	7.91	22.9	15.3

模型

检测精度

参数量/10⁶

计算量/10⁹

规模/MB

v6s

0.889

16.45

44.9

31.3

v3-tiny

0.803

12.17

19.1

23.3

v5s

0.898

9.15

24.2

17.7

v7-tiny

0.861

6.02

13.0

12.3

v5 m

0.915

25.11

64.6

48.2

v8s

0.901

11.15

28.8

21.5

本文模型

0.913

7.91

22.9

15.3

基于YOLOv8s改进的车辆前方障碍物轻量化检测算法

PDF下载

余军军 , 严运兵 ^* , 田茂帅

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(14): 5957-5966

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(14): 5957-5966

基于YOLOv8s改进的车辆前方障碍物轻量化检测算法

全屏

余军军, 严运兵^*, 田茂帅

作者信息

武汉科技大学汽车与交通工程学院, 武汉 430065

余军军(1999—),男,汉族,四川达州人,硕士研究生。研究方向:无人驾驶环境感知。E-mail:1986546788@qq.com。

通讯作者:

*严运兵(1968—),男,汉族,湖北武汉人,博士,教授。研究方向:汽车动力学及其控制,无人驾驶感知及规划。E-mail:yyb@wust.edu.cn。

Lightweight Front Vehicle Obstacle Detection Algorithm Based on Improved YOLOv8s

Jun-jun YU, Yun-bing YAN^*, Mao-shuai TIAN

Affiliations

School ofAutomobile and Traffic Engineering, Wuhan University of Science and Technology, Wuhan 430065, China

出版时间: 2025-05-18 doi: 10.12404/j.issn.1671-1815.2405217

文章导航

摘要

收起

为解决自动驾驶感知域控制器中障碍物检测模型对高内存和高计算资源需求的问题,提出了一种基于YOLOv8改进的轻量化障碍物检测方法,使用内存访问和计算量更少的FasterNet重构YOLOv8主干网络。为弥补模型轻量化导致的精度下降以及对小目标检测能力的不足,主要在3个方面对YOLOv8进行改进:用SPD-Conv(space-to-depth convolution)替换颈部网络的传统跨步卷积,增强小目标特征提取能力;结合IIoU(inner IoU)和PIoU(powerful IoU)的思想,提出IPIoU(inner powerful IoU)作为边框回归损失,加快损失函数收敛并提高小目标检测性能;引入注意力机制SimAM(simple attention module),进一步提高模型检测精度。实验结果表明,改进模型相比原模型在参数量、计算量和模型大小分别降低29.1%、20.5%和28.8%的情况下,检测精度提升了1.2%。模型部署至自动驾驶车载控制器后,能够有效检测道路前方障碍物。

关键词

障碍物检测 / YOLOv8 / 网络轻量化 / FasterNet

Abstract

收起

To solve the problem of high memory and computational resource demands in obstacle detection models within autonomous driving perception domain controllers, a lightweight obstacle detection method based on improved YOLOv8 was proposed. This method reconstructs the YOLOv8 backbone network using FasterNet, which utilizes less memory access and computational resources. To mitigate the accuracy decline and the insufficient detection capabilities for small objects caused by model lightweighting, three main improvements were made to YOLOv8: SPD-Conv (space-to-depth convolution) was used to replace traditional stride convolution in the neck network to enhance small object feature extraction. IPIoU(inner powerful IoU), combining the concepts of IIoU(inner IoU) and PIoU(powerful IoU), is introduced as the bounding box regression loss to accelerate loss convergence and improve small object detection performance. SimAM (simple attention module) was incorporated to further enhance model detection accuracy. Experimental results demonstrate that, compared to the original model, the improved model achieves a reduction of 29.1% in parameters, 20.5% in computational load, and 28.8% in model size, while increasing mAP@0.5 by 1.2%. Once deployed in autonomous driving vehicle controllers, the model effectively detects obstacles on the road ahead.

Key words

obstacle detection / YOLOv8 / network lightweighting / FasterNet

引用本文

余军军, 严运兵, 田茂帅. 基于YOLOv8s改进的车辆前方障碍物轻量化检测算法. 科学技术与工程, 2025 , 25 (14) : 5957 -5966 . DOI: 10.12404/j.issn.1671-1815.2405217

Jun-jun YU, Yun-bing YAN, Mao-shuai TIAN. Lightweight Front Vehicle Obstacle Detection Algorithm Based on Improved YOLOv8s[J]. Science Technology and Engineering, 2025 , 25 (14) : 5957 -5966 . DOI: 10.12404/j.issn.1671-1815.2405217

正文

收起

基于深度学习的障碍物检测是实现自动驾驶技术的研究热点^[1]。目前,自动驾驶车辆常利用相机和雷达进行障碍物检测。基于雷达数据的深度学习目标检测已取得极大进展,但是雷达分辨率较低且语义表达能力偏弱,这可能导致对障碍物的误判或漏判。相较之下,视觉传感器在分辨率、检测范围及语义信息表达方面表现更优;此外,雷达价格偏高,不利于其在自动驾驶中的产业化应用。

深度学习方法主要分为二阶段和单阶段检测算法。二阶段检测算法检测精度较高,但检测速率无法满足实时环境感知的要求^[2]。单阶段检测算法直接进行目标定位和识别,检测速率更高,平衡了效率与精度。常见单阶段检测算法有SSD(single shot multiBox detector)、YOLO(you only look once)系列^[3-4]、Centernet等。其中,YOLO系列算法已广泛应用于无人驾驶领域。郭克友等^[5]提出Dim env-YOLO车辆检测算法,通过用MobileNetv3替换YOLOv4主干网络实现轻量化,并用图像暗光增强技术提高低光照环境下的检测性能;Zaghari等^[6]在YOLOv3基础上提出模糊逻辑非极大值算法,缓解了重叠障碍物检测准确性较低的问题;Mahaur等^[7]引入不同扩张率的空洞卷积到SPP(spatial pyramid pooling)模块,并在特征金字塔网络中添加越层连接,提高了YOLOv5对小目标的检测精度和速度。

截至目前,在中外研究者的共同努力下,基于视觉的交通目标检测已经达到了较高的精度。但是,针对复杂交通应用场景下的道路障碍物检测仍存在以下不足。

(1)在复杂交通环境中,自动驾驶域控制器的计算资源和存储空间有限,高精度障碍物检测网络因结构复杂和参数过多而需要高性能的芯片和足够大的存储空间;而小规模网络存储和计算需求低但精度不足,难以确保行车安全。因此,兼顾精度和模型大小的障碍物检测网络具有重要的研究意义。

(2)现有网络对小目标障碍物易漏检和误检,而自动驾驶车辆需提前准确识别远处小目标以提升交通效率和行车安全性。故提升模型对小目标的检测能力至关重要。

YOLOv8是YOLO系列中较为先进的模型,做到了检测精度和速度的进一步平衡,官方数据显示,YOLOv8在各公开数据集上的检测精度相较于前作YOLOv5有不小提升。考虑到YOLOv5已广泛应用于自动驾驶2D目标检测^[8],YOLOv8作为其改进版本,精度和速度有显著提升,对车辆前方障碍物的判断更为准确。为此,现选择YOLOv8作为基础道路障碍物检测模型。一方面,以模型轻量化、降低计算资源消耗为研究目标;另一方面,着重解决模型轻量化改进后精度下降以及对小目标障碍物检测精度不高的问题。

1 YOLOv8网络结构

收起

YOLOv8是YOLO系列中较为先进的模型,由主干网络(Backbone)、颈部(Neck)和检测头(Head)组成,其结构如图1所示。YOLOv8的主干网络为CSPDarknet,由CBS模块、C2f模块和SPPF(spatial pyramid pooling fast,SPPF)层构成,负责提取目标的特征信息,CBS模块包含3×3的卷积、批归一化和SiLU激活函数;C2f模块在C3模块基础上增加了Split操作和越层连接,以获得更为丰富的梯度流信息;SPPF模块通过不同尺度的池化融合特征图,提升特征提取能力。颈部采用PAN(path aggregation network)+FPN(feature pyramid network)特征融合方式,是自顶向下和自下向上越层连接。检测头部分采用解耦头和无锚框策略,解耦头将检测和分类分离,减少了参数和计算复杂度;无锚框策略直接预测目标位置,提高了检测器的速度和灵活性^[9]。

为平衡精度和速度,现选择YOLOv8s作为基础模型,但应用过程中发现如下问题需要解决:首先,主干网络存在冗余卷积层,结构复杂,参数量和计算量过多,不适用于资源受限的自动驾驶控制器;其次,颈部的跨步卷积可能丢失小目标障碍物的细节信息,降低模型对小目标的检测能力;最后,YOLOv8s使用的CIoU(complete IoU)泛化能力较低,并且忽略了真实框和预测框之间的形状差异,从而导致损失函数收敛缓慢,模型检测精度不佳。基于此,提出了对YOLOv8s进行改进。

2 对YOLOv8s的改进

收起

2.1 重构主干特征提取网络

YOLOv8s原始主干特征提取网络虽然通过局部跨阶段连接减少了模型计算量,但仍存在冗余卷积和网络结构过于复杂的缺点,不能适用于计算资源有限的自动驾驶域控制器。目前,研究人员往往采用MobileNet、ShuffleNet^[10]、EfficientNet等轻量化网络替换原YOLOv8s主干网络。这些网络通常采用群混洗卷积(grouped spatial convolution,GSConv)、幻影卷积(ghost convolution,GC)、深度可分离卷积(depthwise separable convolution,DSC)、分组卷积(group convolution,GrC)等来提取目标特征,以此降低模型计算量。然而,这些轻量化卷积会产生频繁的内存访问,致使模型实时性变差。与此同时,在连接、池化、混洗的过程中会引起额外的数据处理操作, 增加了模型推理时间,使模型延迟增大。

鉴于此,本文研究引入一种全新的轻量级网络FasterNet^[11],该网络在GPU、ARM和CPU等设备上对比其他轻量级网络推理延迟更低、检测精度更高,图2为重构主干特征提取网络之后的YOLOv8s结构。

FasterNet主要由嵌入层(embedding layer)、融合层(merging layer)和FasterNet Block模块组成。嵌入层和融合层分别由4×4和3×3的卷积组成,其作用是下采样和扩充通道数。如图3所示,FasterNet Block模块由一个部分卷积(partial convolution,PConv)和两个逐点卷积(point-wise convolution,PWConv)组成,并由这三部分组成一个倒置残差块,FasterNet Block是负责特征提取的主要模块。

图4为部分卷积原理图,部分卷积通过对输入特征图的最前段或最后段连续c_p个通道应用常规卷积来进行空间特征提取,而其余通道保持不变。

PConv内存访问量M为

(1)

M = h c w c 2 c p + k 2 c p 2

式(1)中:h_c和w_c为特征通道的高和宽;c_p为参与常规卷积运算的通道数;k为卷积核的大小。

若c_p为输入特征通道数的1/4,则部分卷积的内存访问量约为常规卷积的1/4。

PConv的计算量F为

(2)

F = h c w c k 2 c p 2

若c_p为输入特征通道数的1/4,则部分卷积的计算量仅为常规卷积的1/16。因此,采用FasterNet作为特征提取主干网络,可以大幅削减模型的参数和计算量,同时降低了模型的推理延迟。FasterNet 有多个不同版本,FasterNet_t1在大幅减少模型参数和计算量的同时,保证了模型的表达能力,检测精度下降的幅度较小,因此本文研究选择 FasterNet_t1作为YOLOv8的主干网络。

2.2 用于小目标及低分辨率的SPD-Conv

小目标易被漏检或误检,威胁行车安全;其低分辨率限制了模型学习小目标上下文信息的能力。为提升模型对数据集中远处小目标的检测性能,在YOLOv8s的颈部网络引入了SPD-Conv (space-to-depth convolution)^[12]。

SPD-Conv模块由空间到深度(space-to-depth,SPD)层和非跨步卷积(non-strided convolution,NSConv)层构成,原始输入图片在经过一系列特征提取后,得到特征图X,特征图X经过SPD层,转换为中间特征图X',最后由NSConv进行滤波得到最终的特征图X″,其原理如图5所示。

图5(a)和图5(b)表示在下采样因子scale=2的情形下,SPD层将大小为(S,S,C)的输入特征图X按照一定规律沿x轴和y轴切割,得到图5(b)中4个大小为(S/2,S/2,C)的子特征图,这个过程相当于一次下采样操作。然后将这4个子特征图沿着通道维度拼接得到中间特征图X',X'相较于原始特征图X,空间维度减少为原来的一半,而通道维度增加至原来的4倍,因此SPD层可以将原始输入大小为(S,S,C)的特征图转换为具有特征信息且大小为(S/2,S/2,4C)的特征图。图5(c)和图5(d)为NSConv层操作,即用一个步长为1的卷积层将X'转换为最终特征图X″,其大小为(S/2,S/2,C₁)。

在YOLOv8s颈部网络中, 位于C2f模块和Concat层之间的CBS模块(卷积核步长为2)也可以实现特征图X到X″的转变,但不会生成中间特征图X',进而导致特征信息丢失。SPD-Conv可以在减小特征图尺寸的同时保留细粒度信息,适用于低分辨率图像和小目标检测,并避免了传统跨步卷积下采样丢失关键信息。因此,将上述 CBS模块中的传统卷积替换为 SPD-Conv(scale=2,卷积核大小为3,步长为1)模块,改进后的 CBS 模块被命名为 SPD-CBS。

2.3 损失函数改进

YOLOv8s损失函数由边框回归损失和分类损失组成,边框回归的目的是利用检测器输出的预测框b进行细微调整而逐步逼近真实框b^gt,真实框与预测框的关系如图6所示。

交并比(intersection over union,IoU)为真实框和预测框之间的交集与并集之比,现已成为目标检测领域边框回归损失的主流评价标准,IoU计算公式为

(3)

I o U = b ⋂ b g t b ⋃ b g t

现今大多数边框回归损失函数都是在传统IoU的基础上添加新的损失项来加速边框回归以提升检测精度,如DIoU(distance IoU)、SIoU(soft IoU)、CIoU、GIoU(generalized IoU)和EIoU(efficient IoU)等,YOLOv8s采用的便是CIoU,CIoU计算公式为

(4)

L C I o U = 1 - I o U + ρ 2 (b, b g t) c 2 + α v

式(4)中:

(5)

v = 4 π 2 a r c t a n w g t h g t - a r c t a n w h 2

(6)

α = v v + (1 - I o U)

式中:ρ²(b,b^gt)为预测框b和真实框b^gt中心点之间的欧式距离的平方;c为能够同时覆盖预测框和真实框的最小矩形的对角线距离;v为两个矩形框的宽高比相似度;α为v的影响因子;w和h分别为预测框的宽度和高度;w^gt和h^gt分别为真实框的宽度和高度。

CIoU在IoU的基础上引入归一化的中心点距离来衡量真实框和预测框中心点的相对位置,并通过宽高比的一致性来考虑形状差异,检测效果得到有效提升。然而,CIoU仍是在传统IoU的基础上通过添加新的损失项来加速收敛,忽略了传统IoU本身在不同数据集和检测任务中泛化能力较低的问题。IIoU(inner IoU)^[13]使用辅助边框来计算IoU,针对不同的数据集调整缩放因子r,以提高模型的泛化能力。IIoU的计算公式为

(7)

b l g t = x c g t - w g t r 2 b r g t = x c g t - w g t r 2

(8)

b t g t = y c g t - h g t r 2 b b g t = y c g t - h g t r 2

(9)

b l = x c - w r 2 b r = x c - w r 2

(10)

b t = y c - h r 2 b b = y c - h r 2

(11)

i n t e r = [m i n (b r g t, b r) - m a x (b l g t, b l)] × [m i n (b b g t, b b) - m a x (b t g t, b t)]

(12)

u n i o n = (w g t h g t) r 2 + (w h) r 2 - i n t e r

(13)

I o U i n n e r = i n t e r u n i o n

式中:r∈[0.5,1.5],是一个缩放因子,用于控制辅助边框相对于真实边界框的尺寸;x_c和y_c分别为预测框的中心点坐标;

x c g t

和

y c g t

分别为真实框中心点的坐标。

从式(7)~式(13)可知,IIoU先利用真实框和预测框的中心点坐标以及长宽计算出辅助边框角顶点坐标,再分别计算出辅助边框的交集和并集,进而得出IoU^inner。

CIoU新添的损失项未直接考虑两框之间形状差异对收敛速度的影响,且未使用真实框尺寸作为损失计算,导致预测框对自身尺寸调整不敏感,影响小目标检测精度。Liu等^[14]提出PIoU(powerful IoU),利用与真实框相适应的惩罚因子P控制预测框大小,引导其快速有效地回归,提高对小目标及重叠目标的检测性能。PIoU计算公式为

(14)

L P I o U = 1 - I o U + (1 - e - P 2)

式(14)中:

(15)

P = d w 1 + d w 2 4 w g t + d h 1 + d h 2 4 h g t

为解决不同质量预测框对边框回归速度的影响,PIoU引入一个非单调注意力层,加强对中等质量预测框的梯度关注,减少对低质量预测框的梯度关注,从而加快损失函数收敛。引入注意力函数的PIoU_v2公式,即

(16)

L P I o U_v 2 = u (λ q) L P I o U

式(16)中:

(17)

u (λ q) = 3 λ q e - (λ q) 2

(18)

q = e - P, q ∈ (0,1]

式中:u(λq)为注意力函数;q为以P为变量的惩罚因子,用于衡量预测框的质量;λ为控制注意力函数行为的超参数。

因此,将IIoU的思想结合PIoU_v2,提出IPIoU(inner powerful IoU), (r=0.78,λ=1.33)并替换原YOLOv8s中的CIoU,IPIoU的表达式为

(19)

L I P - I o U = L P I o U_v 2 + I o U - I o U i n n e r

2.4 引入SimAM注意力机制

现有的注意力模块如SE、CBAM、ECA^[15]等主要沿通道或空间维度优化,生成的权重对所有通道或位置同等对待。通道注意力区分通道但同一通道内权重相同;空间注意力关注位置但对所有通道权重统一,这可能限制特征区分能力。SimAM^[16]采用三维注意力机制,为每个神经元分配唯一权重,增强对特征图的感知,能更好捕捉复杂特征的交互。SimAM注意力模块结构如图7所示。

在SimAM中,为评估各神经元的重要性,每个神经元被定义了能量函数e_t,如式(20)所示,其解析式如式(21)和式(22)所示。

(20)

e t (w t, b t, y, x i) = (y t - t^) 2 + ∑ i = 1 M - 1 (y 0 - x^i) 2 + λ w t 2 M - 1

(21)

w t = - 2 (t - μ t) (t - μ t) 2 + 2 σ t 2 + 2 λ

(22)

b t = - 12 (t + μ t) w t

(23)

σ t 2 = 1 M - 1 ∑ i = 1 M - 1 (x i - μ t) 2

(24)

μ t = 1 M - 1 ∑ i = 1 M - 1 x i

式中:w_t和b_t为权重和偏置项;y为目标神经元期望输出;x_i为输入神经元;y_t和y₀为目标神经元的期望输出和其他神经元的期望输出;

t^

和

x^i

为目标神经元和第i个其他神经元在相同通道上的输入特征t和x_i关于w_t和b_t的线性变换;M为在该通道中的神经元总数;μ_t和

σ t 2

分别为目标神经元所在通道上除了目标神经元外所有神经元的平均值和方差;λ为正则化系数。

SimAM注意力模块的另一个优点是直接利用输入特征的内在特性计算注意力权重,无需学习额外参数,简化了模型复杂性,提高了效率和通用性。表1展示了不同注意力模块的参数量对比。

综上,改进后的网络结构如图8所示。

3 实验验证及分析

收起

3.1 实验数据集与实验环境

实验使用KITTI数据集,将Car、Van、Truck和Tram合并为Vehicle类,Pedestrian和Pedestrian(sitting)合并为Pedestrian类,忽略DontCare类。由于KITTI数据集中Cyclist和Pedestrian较少,实验中对这两类进行扩充,减少漏检和误检风险。同时,添加cone-shaped-barrel类应对特殊场景如校园和小区的交通锥需求。数据集共9 651张图片,分为训练集、验证集和测试集,按8∶1∶1比例划分,Vehicle、Pedestrian、Cyclist和cone-shaped-barrel类实例个数分别为27 842、2 998、4 821和2 943。

本文实验硬件环境为Ubuntu20.4,CPU采用12th Gen Intel(R)Core(TM)i7-12700H,GPU采用NVIDIA GeForce RTX 3090;软件环境为Python3.9,CUDA11.2,Pytorch2.0.1。

实验超参数batch size为32,epochs为150,学习率为0.001,图片大小为640,动量为0.937。

3.2 评价指标

本文研究以召回率(recall,R)、精确率(precision,P)、平均检测精度值(mean average precision,mAP)、浮点计算量(floating point operations,FLOPs)、模型参数量(parameters,Params)以及模型规模(Size)作为模型评价指标,部分指标计算公式为

(25)

R = T P T P + F N

(26)

P = T P T P + F P

(27)

m A P = 1 N ∑ i = 1 N ∫ 01 P (R) d R

式中:FN为漏检的正类样本数量;TP为正确预测的正类样本数量;FP为错误预测为正类的负类别样本数量。

mAP是对N个类别的R和P综合考虑,反映整个模型检测的准确率,mAP@0.50表示当IoU为0.5时平均检测精度值,是目标检测常用的评价指标之一,本文研究选取IoU=0.5时的平均检测精度。

3.3 主流轻量化主干网络对比实验

为选取一款既能保证检测精度,又不过多占用自动驾驶域控制器内存和计算资源的主干网络,本文研究在YOLOv8s的基础上,选取部分主流轻量化主干网络进行替换,各主干网络实验对比结果如表2所示。从表2可知,FasterNet_t1在参数量、计算量以及模型大小分别降低33.2%、32.3%和32.6%的情况下,检测精度、精确率和召回率都保持较高水平,在做到模型轻量化的同时兼顾了检测精度。Shufflenetv2虽然轻量化程度更高,但检测精度降低了3.2%,道路障碍物检测精度太低,危及行车安全。Mobilenetv3_L和GhostNetv2在模型规模及计算量方面与FasterNet_t1表现相近,但检测精度都远低于FasterNet_t1。因此,选用FasterNet_t1替换YOLOv8s原主干网络,在保证检测精度的同时可以大幅减少模型参数和计算量。

3.4 不同损失函数对比实验

为提高模型检测精度,验证本文所提出IP-IoU的有效性,在YOLOv8s的基础上采用不同边框回归损失计算方式,即将原有CIoU分别替换为DIoU、SIoU、GIoU、EIoU以及本文所提出的IPIoU,其余部分保持不变。实验结果如表3所示。从表3可知,将CIoU替换为DIoU、GIoU以及EIoU之后,各项指标(检测精度、精确率和召回率)都呈不同程度下降。SIoU和本文改进的IPIoU在检测精度上分别提高了0.2%和0.6%,而IP-IoU的精确率和召回率分别提高了1.2%和0.3%。

图9为CIoU和IP-IoU的边框损失曲线对比图,可以看出优化后的边框损失更低,预测效果更好,因此可以验证本文所提出IP-IoU的有效性。

3.5 消融实验

为验证各改进策略的有效性,设计5组消融实验。在表4中,实验1为原模型;实验2将YOLOv8s主干网络重构为FasterNet_t1;实验3在实验2基础上在Neck部分引入SPD-Conv;实验4在实验3基础上将原模型的CIoU替换为IPIoU,实验5在实验4基础上添加注意力模块SimAM。

实验2采用FasterNet_t1作为主干网络,模型参数量和计算量分别降低了33.2%和32.3%,大大削减了模型规模和计算量,但这也带来检测精度、精确率和召回率下降的弊端;实验3在实验2基础上引入SPD-Conv,改善了FasterNet_t1作为主干网络检测精度较低的问题,SPD-Conv增加了空间信息到深度信息的转换,致使模型参数量和计算量稍有增加,但仍低于原模型28.8%和22.6%,与实验2相比,检测精度、精确率和召回率分别提高了0.6%、1%和0.7%;实验4在实验3基础上采用IPIoU作为模型的边框回归损失函数,提高了边框回归速度及小目标检测能力,与实验3相比,检测精度、精确率和召回率分别提高了0.6%、0.9%和0.2%;最后,实验5融合了所有改进策略,即在实验4的基础上添加了SimAM注意力机制,与原YOLOv8s模型相比,改进后的模型参数量减少了3.24×10⁶,计算量降低了5.9×10⁹,同时检测精度、精确率和召回率分别提高了1.2%、1.6%和0.1%;实验5相较于实验2,弥补了轻量化改进带来的精度损失,实现了精度从下降0.7%到上升1.2%的转变。消融实验验证了各改进策略的有效性,FasterNet_t1对模型进行轻量化,SPD-Conv、IPIoU和SimAM则弥补了轻量化带来的检测精度下降,同时提高了小目标的检测能力。

3.6 不同模型对比实验

在完成轻量化及检测精度改进后,得到最终基于YOLOv8s的轻量化改进模型。为进一步验证本文方法在道路障碍物检测应用场景的优势,将本文方法与相关主流单阶段算法进行对比。

根据表5显示,本文模型明显优于其他模型。与同级别精度的模型相比,本文模型的参数量和计算量都远低于其他模型;与同量级模型相比,检测精度远远高于其他模型。因此证明了本文所提出改进策略在道路障碍物检测应用场景的优势。

图10为模型改进前后的检测效果对比图。从图10(a)和图10(b)可以看出,改进后的模型对被遮挡和重叠的目标有了更为精确的识别,类别的置信度和检测框的位置更接近真实值;在远处小目标检测方面,原模型相较于改进后的模型漏检了两处,小目标检测能力偏弱。

4 实车部署

收起

为验证改进模型具有工程应用价值,将模型部署至无人驾驶车辆域控制器内,型号为MIC-7700,车载相机型号为索尼U2291,操作系统为Ubuntu,并利用GPU加速运算,图11为实验所用车辆,车载相机位于车辆正前方支架上。实验所用无人车是以ROS(robot operating system)为开发平台,通过发布/订阅消息模式实现数据共享和通信。如图12所示,建立/usb_cam节点获取车载相机实时画面,并发布图像话题,节点/image_veiw实时显示原始图像,节点/detect实时显示改进模型检测效果。同时,也可以利用ROS的收发机制将前方道路障碍物检测信息发送至自动驾驶规划与控制模块,指导自动驾驶车辆安全行驶。

5 结论

收起

针对已有道路碍物检测网络对自动驾驶域控制器内存和计算资源占用较大的问题,提出了一种基于YOLOv8s改进的轻量化识别方法,兼顾了模型的大小和检测精度。通过重构主干特征提取网络有效降低了模型参数量和计算量;通过在颈部引入SPD-Conv,并在颈部与主干网络之间加入SimAM注意力机制,以及将原有的CIoU替换为本文提出的IPIoU,这些方法有效弥补了轻量化改进带来的精度损失,使精度从下降0.7%转变为上升1.2%。在实车验证中,通过ROS的通信机制, 检测信息可发送至自动驾驶规划控制模块,指导车辆安全行驶。

基金

收起

国家自然科学基金(51975428)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

邓亚平, 李迎江. YOLO算法及其在自动驾驶场景中目标检测综述[J]. 计算机应用, 2024, 44(6): 1949-1958.

Deng

Yaping

, Li

Yingjiang

. Review of YOLO algorithm and its applications to object detection in autonomous driving scenes[J]. Computer Applications, 2024, 44(6): 1949-1958.

[2]

张小俊, 奚敬哲, 史延雷, 等. 面向路侧视角目标检测的轻量级YOLOv7-R算法[J]. 汽车工程, 2023, 45(10): 1833-1844.

Zhang

Xiaojun

, Xi

Jingzhe

, Shi

Yanlei

, et al. Lightweight YOLOv7-R algorithm for road-side view target detection[J]. Automotive Engineering, 2023, 45(10): 1833-1844.

[3]

, Li

, Jiang

, et al. YOLOv6: a single-stage object detection framework for industrial applications[J]. arXiv preprint arXiv: 2209.02976, 2022.

[4]

Wang

C Y

, Bochkovskiy

, Liao

H Y M

. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv eprints arXiv: 2207.02696, 2022.

[5]

郭克友, 王苏东, 李雪, 等. 基于Dim env-YOLO 算法的昏暗场景车辆多目标检测[J]. 计算机工程, 2023, 49(3): 312-320.

Guo

Keyou

, Wang

Sudong

, Li

Xue

, et al. Multi-target detection of vehicles in Dim scenes based on DIM env-YOLO algorithm[J]. Computer Engineering, 2023, 49(3): 312-320.

[6]

Zaghari

, Fathy

, Jameii

S M

, et al. The improvement in obstacle detection in autonomous vehicles using YOLO non-maximum suppression fuzzy algorithm[J]. The Journal of Supercomputing, 2021, 77(11): 13421-13446.

[7]

Mahaur

, Mishra

K K

. Small-object detection based on YOLOv5 in autonomous driving systems[J]. Pattern Recognition Letters, 2023, 168: 115-122.

[8]

高昕, 甄国涌, 储成群, 等. 基于改进YOLOv5的自动驾驶目标检测方法[J]. 科学技术与工程, 2024, 24(16): 6757-6765.

Gao

Xin

, Zhen

Guoyong

, Chu

Chengqun

, et al. Autonomous driving target detection method based on improved YOLOv5[J]. Science Technology and Engineering, 2024, 24(16): 6757-6765.

[9]

张利丰, 田莹. 改进YOLOv8的多尺度轻量型车辆目标检测算法[J]. 计算机工程与应用, 2024, 60(3): 129-137.

Zhang

Lifeng

, Tian

Ying

. Multi-scale lightweight vehicle detection algorithm YOLOv8[J]. Computer Engineering and Applications, 2024, 60(3): 129-137.

[10]

Zhang

, Zhou

, Lin

, et al. ShuffleNet: an extremely efficient convolutional neural network for mobile devices[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 6848-6856.

[11]

Chen

, Kao

, He

, et al. Run, don’t walk: chasing higher FLOPS for faster neural networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 12021-12031.

[12]

Sunkara

, Luo

. No more strided convolutions or pooling: a new CNN building block for low-resolution images and small objects[J]. arXiv preprint arXiv: 2208.03641, 2022.

[13]

Zhang

, Xu

, Zhang

. Inner-IoU: more effective intersection over union loss with auxiliary bounding box[J]. arXiv preprint arXiv: 2311.02877, 2023.

[14]

Liu

, Wang

, Li

, et al. Powerful-IoU: more straight forward and faster bounding box regression loss with a nonmonotonic focusing mechanism[J]. Neural Networks, 2024, 170: 276-284.

[15]

张猛, 尹丽菊, 周辉, 等. 基于SimAM-Ada YOLOv5的太阳能电池表面缺陷检测[J]. 电子测量技术, 2023, 46(22): 17-25.

ZhangMeng, Yin

Liju

, Zhou

Hui

, et al. Surface defect detection of solar cells based on SimAM-Ada YOLOv5[J]. Electronic Mea-surement Technology, 2023, 46(22): 17-25.

[16]

Yang

, Hang

R Y

, Li

, et al. Simam:a simple, parameter-free attention module for convolutional neural networks[C]// International Conference on Machine Learning. Cambridge: PMLR, 2021: 11863-11874.

2025年第25卷第14期

PDF下载

300

103

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2405217

接收时间：2024-07-11
首发时间：2025-07-09
出版时间：2025-05-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-07-11
修回日期：2025-02-27

基金

国家自然科学基金(51975428)

作者信息

武汉科技大学汽车与交通工程学院, 武汉 430065

通讯作者:

*严运兵(1968—),男,汉族,湖北武汉人,博士,教授。研究方向:汽车动力学及其控制,无人驾驶感知及规划。E-mail:yyb@wust.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2405217

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模块	SE	CBAM	ECA	SimAM
参数	2C²/r	2C²/r	2C²/r+2k²	0

模块

CBAM

ECA

SimAM

参数

2C²/r

2C²/r+2k²

基础模型	主干网络	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹	规模/MB
YOLOv8s	CSPDarknet	0.901	0.916	0.835	11.15	28.8	21.5
YOLOv8s	Shufflenetv2	0.869	0.907	0.788	5.94	15.9	11.6
YOLOv8s	Mobilenetv3_L	0.884	0.920	0.805	7.89	19.0	15.4
YOLOv8s	GhostNetv2	0.882	0.908	0.811	8.24	19.1	16.3
YOLOv8s	FasterNet_t1	0.894	0.915	0.825	7.45	19.5	14.5

基础模型

主干网络

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

规模/MB

YOLOv8s

CSPDarknet

0.901

0.916

0.835

11.15

28.8

21.5

YOLOv8s

Shufflenetv2

0.869

0.907

0.788

5.94

15.9

11.6

YOLOv8s

Mobilenetv3_L

0.884

0.920

0.805

7.89

19.0

15.4

YOLOv8s

GhostNetv2

0.882

0.908

0.811

8.24

19.1

16.3

YOLOv8s

FasterNet_t1

0.894

0.915

0.825

7.45

19.5

14.5

损失函数	检测精度	精确率	召回率
CIoU	0.901	0.916	0.835
DIoU	0.900	0.927	0.831
SIoU	0.903	0.934	0.833
GIoU	0.895	0.914	0.826
EIoU	0.898	0.921	0.826
IPIoU	0.907	0.928	0.838

损失函数

检测精度

精确率

召回率

CIoU

0.901

0.916

0.835

DIoU

0.900

0.927

0.831

SIoU

0.903

0.934

0.833

GIoU

0.895

0.914

0.826

EIoU

0.898

0.921

0.826

IPIoU

0.907

0.928

0.838

实验	FasterNet_t1	SPD-Conv	IP-IoU	SimAM	检测精度	精确率	召回率	参数量/10⁶	计算量/10⁹
1					0.901	0.926	0.837	11.15	28.8
2	√				0.894	0.915	0.825	7.45	19.5
3	√	√			0.900	0.925	0.833	7.94	22.3
4	√	√	√		0.906	0.934	0.834	7.94	22.4
5	√	√	√	√	0.913	0.942	0.838	7.91	22.9

实验

FasterNet_t1

SPD-Conv

IP-IoU

SimAM

检测精度

精确率

召回率

参数量/10⁶

计算量/10⁹

0.901

0.926

0.837

11.15

28.8

√

0.894

0.915

0.825

7.45

19.5

√

0.900

0.925

0.833

7.94

22.3

√

0.906

0.934

0.834

7.94

22.4

√

0.913

0.942

0.838

7.91

22.9

模型	检测精度	参数量/10⁶	计算量/10⁹	规模/MB
v6s	0.889	16.45	44.9	31.3
v3-tiny	0.803	12.17	19.1	23.3
v5s	0.898	9.15	24.2	17.7
v7-tiny	0.861	6.02	13.0	12.3
v5 m	0.915	25.11	64.6	48.2
v8s	0.901	11.15	28.8	21.5
本文模型	0.913	7.91	22.9	15.3

模型

检测精度

参数量/10⁶

计算量/10⁹

规模/MB

v6s

0.889

16.45

44.9

31.3

v3-tiny

0.803

12.17

19.1

23.3

v5s

0.898

9.15

24.2

17.7

v7-tiny

0.861

6.02

13.0

12.3

v5 m

0.915

25.11

64.6

48.2

v8s

0.901

11.15

28.8

21.5

本文模型

0.913

7.91

22.9

15.3