科学技术与工程

ratio	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
0.5	55.4	42.3	44.9	27.2
0.7	54.2	42.4	44.1	26.8
1	56.2	42.2	45.0	27.4
1.25	54.4	43.7	45.2	27.6
1.5	54.3	43.1	44.7	27.3

ratio	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
0.5	55.4	42.3	44.9	27.2
0.7	54.2	42.4	44.1	26.8
1	56.2	42.2	45.0	27.4
1.25	54.4	43.7	45.2	27.6
1.5	54.3	43.1	44.7	27.3

项目设置	设置策略
数据增强	Mosaic
更新学习率	余弦退火算法
优化器	Auto
Epoch	300
Batch-size	16
Patience	100
Pretrained	False

项目设置	设置策略
数据增强	Mosaic
更新学习率	余弦退火算法
优化器	Auto
Epoch	300
Batch-size	16
Patience	100
Pretrained	False

模型	RepNCSPELAN4- AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
Yolov9-c	×	×	×	×	236.6	100.0	49.01	50.52	44.40	23.01
方案1	√	×	×	√	251.2	108.5	35.90	59.30	38.60	21.70
方案2	×	√	×	√	236.6	102.7	63.10	48.90	55.00	26.50
方案3	×	×	√	√	236.7	102.8	51.60	57.90	54.80	27.90
方案4	√	√	×	√	251.2	108.5	67.90	56.80	57.40	21.60
方案5	√	×	√	√	251.2	108.5	13.60	28.20	16.00	9.160
方案6	×	√	√	√	236.7	102.8	54.70	56.80	53.20	25.50
方案7	√	√	√	√	251.2	108.5	64.60	57.90	53.70	19.20

模型	RepNCSPELAN4- AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
Yolov9-c	×	×	×	×	236.6	100.0	49.01	50.52	44.40	23.01
方案1	√	×	×	√	251.2	108.5	35.90	59.30	38.60	21.70
方案2	×	√	×	√	236.6	102.7	63.10	48.90	55.00	26.50
方案3	×	×	√	√	236.7	102.8	51.60	57.90	54.80	27.90
方案4	√	√	×	√	251.2	108.5	67.90	56.80	57.40	21.60
方案5	√	×	√	√	251.2	108.5	13.60	28.20	16.00	9.160
方案6	×	√	√	√	236.7	102.8	54.70	56.80	53.20	25.50
方案7	√	√	√	√	251.2	108.5	64.60	57.90	53.70	19.20

模型	RepNCSPELAN4-AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
方案8	√	√	×	√	251.2	102.8	68.9	58.4	53.2	24.6
方案9	√	√	√	√	251.2	108.5	68.7	58.6	53.7	22.3

模型	RepNCSPELAN4-AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
方案8	√	√	×	√	251.2	102.8	68.9	58.4	53.2	24.6
方案9	√	√	√	√	251.2	108.5	68.7	58.6	53.7	22.3

模型	参数量/MB	GFLOPs	P/%	R/%	mAP@0.5
Faster-RCNN	136.52	370.2	47.90	42.60	49.10
YOLOv3	207.80	282.3	58.00	43.80	45.30
YOLOv5	5.30	7.2	44.60	32.60	33.10
YOLOX	8.94	13.4	50.20	49.70	52.60
YOLOv7	6.03	13.2	51.80	44.30	53.50
YOLOv8n	3.01	8.2	57.20	50.40	56.50
TMDet	4.83	8.1	54.80	58.20	56.20
PPYOLOE	7.93	17.4	55.30	57.50	56.90
YOLOv9c	100.00	236.6	49.01	50.52	44.40
Ours-v9	108.50	251.2	68.70	58.60	53.70

模型	参数量/MB	GFLOPs	P/%	R/%	mAP@0.5
Faster-RCNN	136.52	370.2	47.90	42.60	49.10
YOLOv3	207.80	282.3	58.00	43.80	45.30
YOLOv5	5.30	7.2	44.60	32.60	33.10
YOLOX	8.94	13.4	50.20	49.70	52.60
YOLOv7	6.03	13.2	51.80	44.30	53.50
YOLOv8n	3.01	8.2	57.20	50.40	56.50
TMDet	4.83	8.1	54.80	58.20	56.20
PPYOLOE	7.93	17.4	55.30	57.50	56.90
YOLOv9c	100.00	236.6	49.01	50.52	44.40
Ours-v9	108.50	251.2	68.70	58.60	53.70

基于改进YOLOv9-c的路面混合病害算法

PDF下载

张颖 ¹^,² , 王纪旭 ¹ , 曹迎康 ¹ , 李罡 ¹ , 方有亮 ²^,^*

科学技术与工程 | 论文·交通运输 2025,25(18): 7793-7802

收起

科学技术与工程 | 论文·交通运输 2025, 25(18): 7793-7802

基于改进YOLOv9-c的路面混合病害算法

全屏

张颖¹^,², 王纪旭¹, 曹迎康¹, 李罡¹, 方有亮²^,^*

作者信息

¹ 河北大学建筑工程学院, 保定 071002

² 河北大学零碳能源建筑与计量技术教育部工程研究中心, 保定 071002

张颖(1981—),女,汉族,河北石家庄人,博士,副教授。研究方向:深度学习、工程结构健康监测方法。E-mail:hbuzy@163.com。

通讯作者:

^* 方有亮(1967—),男,汉族,河北张家口人,博士后,教授,博士研究生导师。研究方向:结构健康监测与检测。E-mail:fang_youliang@163.com。

Pavement Mixed Disease Algorithm Based on Improved YOLOv9-c

Ying ZHANG¹^,², Ji-xu WANG¹, Ying-kang CAO¹, Gang LI¹, You-liang FANG²^,^*

Affiliations

¹ Department of Civil Engineering and Architecture, Hebei University, Baoding 071002, China

² Engineering Research Center of Zero-Carbon Energy Buildings and Measurement Techniques, Ministry of Education, Hebei University, Baoding 071002, China

出版时间: 2025-06-28 doi: 10.12404/j.issn.1671-1815.2407398

文章导航

摘要

收起

针对坑槽和裂缝两种路面病害检测实时性差、准确率低、易误检漏检等问题,提出了一种改进YOLOv9的路面混合病害算法,实现路面裂缝的自动化检测和识别。首先,在骨干网络中引入AKConv(alterable kernel convolution)替换RepNCSPELAN4中的卷积模块,提高网络对不同病害的特征提取能力,有效解决路面病害与背景环境特征难以区分的问题;其次,在检测头中引入了SimAM注意力机制(selective image attention mechanism)和DySample上采样模块,提高网络聚焦特性并增强提取关键特征信息的能力;最后,采用inner-IoU函数优化模型的权重参数,提升对混合样本的学习能力。实验结果表明,改进后的模型与YOLOv9-c相比较,性能有了显著提升,平均精度提升40.17%、召回率提高了15.99%、mAP模型精度提高了20.95%,该优化算法能够更加精准高效的对路面混合病害进行检测,提高了路面病害检测的准确率和泛用性。

关键词

YOLOv9-c / 路面混合病害 / 注意力 / 特征提取 / 损失函数

Abstract

收起

Aiming at the problems of poor real-time detection, low accuracy, and false detection and omission of pavement disease detection including hole and crack, an improved algorithm based on YOLOv9 was proposed to resolve the problem. Firstly, AKConv (alterable kernel convolution) was introduced into the backbone network to replace the convolution module in RepNCSPELAN4, which improves the feature extraction ability of the network for different diseases and effectively solve the problem that road disease is difficult to distinguish from background environment features. Secondly, selective image attention mechanism (SimAM) and DySample sampling modules were introduced to focus on the key information in the detection head, and the capability to extract information features was enhanced more efficiently. Finally, the inner-IOU function was used to optimize the weight parameters of the model to improve the learning ability of mixed samples. The experimental comparison between YOLOv9-c and our model showed that the accuracy, recall rate and MAP of the improved model are increased by 40.17%, 15.99% and 20.95% respectively. The performance has been significantly improved, and the detection effect is more accurately and efficiently, and the accuracy and generalization ability of pavement disease detection algorithm are improved.

Key words

YOLOv9-c / pavement mixed disease / attention mechanism / feature extraction / loss function

引用本文

张颖, 王纪旭, 曹迎康, 李罡, 方有亮. 基于改进YOLOv9-c的路面混合病害算法. 科学技术与工程, 2025 , 25 (18) : 7793 -7802 . DOI: 10.12404/j.issn.1671-1815.2407398

Ying ZHANG, Ji-xu WANG, Ying-kang CAO, Gang LI, You-liang FANG. Pavement Mixed Disease Algorithm Based on Improved YOLOv9-c[J]. Science Technology and Engineering, 2025 , 25 (18) : 7793 -7802 . DOI: 10.12404/j.issn.1671-1815.2407398

正文

收起

交通建设是国家建设的重要组成部分,而高速公路是国民出行的主要方式,因此对于路面的养护有重要的意义。公路养护的对象包括路面裂缝、车辙、坑槽等路面病害,其中路面裂缝会在雨雪等自然因素与车辆负荷的综合作用下持续破坏路面结构,导致公路使用寿命的减少并带来行车安全隐患,是公路路面损坏的主要形式与养护的重点对象^[1]。针对道路缺陷的检测方法分为有损检测和无损检测两类。有损检测主要采用钻芯取样法,以获取路面结构层的质量参数^[2]。在实际养护中,一般都是每隔一段时间,通过巡检车或者无人机采集路面的照片进行人工绘图的方式进行裂缝提取,识别效率较低,而且容易受到人为主观识别误差和工程经验的影响^[3],这样就会耗费较大的资源,因此,开发一种高效、精准、便捷的道路病害检测方法有至关重要的作用,随着深度学习在目标检测领域的应用,产生了许多基于深度学习的目标检测方法,逐渐实现了高效且精准的病害检测。基于深度学习的目标检测算法主要分为三类:单阶段算法、双阶段算法和轻量化网络。单阶段方法直接通过端到端的方式从输入图像中输出目标框和分类结果,可简化流程并减少运算量,常用模型有SSD(single shot multibox detector)算法与YOLO(you only look once)系列算法等^[4]。双阶目标检测算法分为目标定位和目标分类两步骤,先生成候选区域,再对候选区域进行分类识别。典型的双阶段检测算法有快速区域卷积神经网络(faster region-CNN, faster R-CNN)、基于区域的全卷积网络 (region-based fully convolutional networks, R-FCN)、Mask R-CNN 等^[5]。轻量化网络主要应用于无人机算法,精度和准确率要低于单阶算法,因此,单阶算更加适用于路面病害检测。

目前关于路面病害单阶段检测的研究关注点大多聚焦于YOLO系列,如Pan等^[6]结合了YOLOv3-tiny检测器和传统的KLT跟踪算法提出了更为先进的YOLOv3-tiny-KLT进行实时结构振动测量。 Zhang等^[7] 改进了YOLOv4算法,提出了CR-YOLO,并基于CR-YOLO、PSPNet、服务器和边缘设备,构建了人机交互桥裂纹检测分割系统。廖祥灿等^[8]基于 YOLOV5目标检测模型,提出引用C3-B注意力机制模块,选取最新的 SIOU-Loss作为边框回归的损失函数,提高训练速度和推理精度。杜磊等^[9]针对目前沥青路面裂缝目标检测技术在面对复杂路面情况(强光、积水、杂物等干扰因素)时识别精度较低的问题, 通过构建沥青路面裂缝数据集,提出了一种基于改进YOLOv5s的沥青路面裂缝检测算法。贾晓芬等^[10]融合普通卷积、深度可分离卷积和ECA注意力机制设计轻量化卷积模块ECAConv,再引入跳跃链接构建特征综合提取单元E-C3并设计特征融合模块ECACSP,利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck,出轻量化检测模型E-YOLOv5s。夏翔等^[11]提出了改进后的 YOLOv7 模型, mAP 指标在 VisDrone2019 数据集上提高到了 50.1%, 在自制视频监控数据集上高于现有方法 1.6 个百分点, 有效提高了小目标检测的能力。王海群等^[12]在YOLOv8主干网络引入CN X2f模块的同时引入RepConv和 DBB重参数化模块增强多尺度特征融合能力,改进头部采用共享参数结构,并引入RBB重参数模块和SPPF_Avg模块,解决路面病害特征丢失问题,丰富多尺度特征表达。

尽管上述方法对路面裂缝的检测有较好的效果,但实际交通场景复杂多变且存在多种病害,同时实际检测所采集的含有裂纹和坑槽的图片中往往会出现混淆一些类似裂缝或坑槽的干扰项,由于裂缝和坑槽的面积在实际图片中的占比较小,卷积过程中很容易造成信息丢失,因此寻找一种特征提取能力强的网络显得尤为重要。针对坑槽和裂缝两种主要的路面混合病害识别过程的复杂性,现采用Yolov9-c作为基本网络模型,进行优化改进该模型。首先,在RepNCSPELAN4模块中融入AKConv^[13]卷积模块,建立新的RepNCSPELAN4-AKConv模块加强网络的特征提取能力;其次引入SimAM^[14]注意力机制和 DySample^[15]上采样算子让网络能够更好地对关键信息进行定位和采集,最后,采用inner-IoU^[16]函数替代CIoU函数改善检测边框回归效果。

1 Yolov9算法

收起

YOLOv9^[17]是YOLO系列的算法之一,主要应用对于图像进行目标检测和分类,输出每个目标框的位置和类别概率。首次引入了可编程梯度信息PGI (programmable gradient information)和广义高效层聚合网络GELAN (generalized efficient layer aggregation network) 等开创性技术,PGI是建立在辅助分支上可以自由选择适合目标任务损失函数的可逆架构,GELAN则是结合了CSPNet网络和ELAN网络,通过整合PGI和多功能GELAN 架构,YOLOv9 不仅增强了模型的学习能力,确保在整个检测过程中保留关键信息,从而实现卓越的性能。v9和v7、v5构架相同两部分组成:Backbone(骨干网络)和Head(检测头)。Backbone 部分由Conv,RepNCSPELAN4,CBFuse,CBLinear等模块组成,主要进行特征提取。Head部分包含Conv、RepNCSPELAN4、SPPELAN、Upsample模块,主要功能是输出之后,与真实数据标注相比较,计算出损失函数然后根据需要对数据格式进行重塑,同时对原始格点坐标做相应的激活。YOLOv9将模型分为t、s、m、c、e 5种,可供下载的是c和e两个模型,上述两个模型主要差异是params和FLOPs 这两项评价指标,c模型所需的运算要小于e模型,两者的精度和召回率仅相差不超过3%,因此,本文研究采用YOLOv9-c模型作为基础模型。

2 改进YOLOv9网络结构

收起

针对路面病害中常出现的坑槽和裂缝问题进行算法研究,将原始YOLOv9架构存在漏检误检问题进行算法改进。首先,将骨干网络中的RepNCSPELAN4模块与AKConv模块相结合,增强了网络的特征提取能力,让算法能够更好地感知特征图的空间信息;其次,在检测头中引入了SimAM注意力机制,让模型能够更好地聚焦于图像关键区域的同时,增强了convnets模块的表达能力,让网络能够更快地提取不同病害的特征;接着将检测头部分的nn.Upsample模块替换为DySample模块,加快了模型对样本上样速度的同时,为下采样模块输入更加清晰的特征图;最后采用inner-IoU函数替代回归损失中的CIoU函数,让网络能够更好地衡量模型性能、指导参数优化,提升对差异不明显病害的学习能力。改进的YOLOv9网络构架图如图1所示。

2.1 RepNCSPELAN4-AKConv模块

可变核卷积(AKConv)是一种具有任意数量的参数和任意采样形状的卷积机制,对不规则特征有更好的提取效果。RepNCSPELAN4是YOLOv9中的特征提取模块,类似YOLOv5和v8中的C2f与C3模块。RepNCSPELAN4-AKConv的主要思想是使用AKConv替换RepNCSPELAN4中的Conv模块,该方法突破了传统卷积局限于固定局部窗口和固定采样形状的限制,从而使得卷积操作能够更加精准地适用不同数据集和不同位置的目标,增强YOLOv9网络特征提取能力的同时,拥具有更高的泛用性。

传统的卷积通常具有固定的尺寸和形状,是 2×2或3×3的方形卷积。本文提出 RepNCSPELAN4-AKConv模块结构图,如图2所示。

RepNCSPELAN4-AKConv的核心原理是允许卷积核具有任意数量的参数,卷积核不再局限于标准的方形网格,根据图像特征和任务需求,采用更多样化和灵活的形状。在处理不同的图像和目标时,AKConv的卷积核能够自动调整其采样形状,通过引入坐标生产算法,为不同大小和形状的卷积核生成符合图像特征的动态初始采样坐标,这就使得卷积核可以根据图像内容的不同,而改变其采样策略,从而更有效地提取特征,同时通过学习偏移量来不断修改初始采样坐标。对于不同的目标采取相对应的采样位置,增加了RepNCSPELAN4模块的灵活性。

2.2 改进注意力模块

现有的注意力模块大多是根据特征 X 生成一维或二维权重,然后将生成的权重扩展为通道注意力和空间注意力,而SimAM注意力机制模块则直接估算三维权重。卷积神经网络注意力模块分为两种类型:通道注意力(1-D)和空间注意力(2-D)。注意力模块通常被集成到每个模块中以细化前一层的输出,而这些步骤通常会沿通道维度或空间维度进行操作。这类方法产生的一维或二维权重可能会限制它们学习更具辨别力的线索的能力,因此完整的3-D 权重优于传统的 1-D 和 2-D 注意力。

采用基于3-D 权重的SimAM注意力机制替代2-D的空间注意力机制,如图3所示。空间注意力Spatial-wise将C×H×W的特征X通过Generation机制生成9个2-D制,结构对比如图3所示,接着通过Fusion和Expansion机制,将其扩展融合为9个与原始特征X相同的空间特征,但在生成和扩展特征图时,会产生信息梯度流失以及扩展错误等现象;而采用如图3(b)的3-D权重注意力时,SimAM注意力机制将特征X通过Generation机制生成9个3-D权重的平面特征图,接着通过Fusion和Expansion机制,将其塑为完全3-D的平面特征图。由于全过程生成的都是平面特征图,在Expansion环节扩展特征图时,就能够很好地减少融入错误的信息,同时能够一定程度弥补Generation机制信息提取不完全的缺点。

2.3 DySample动态上采样算子

在卷积神经网络中,由于输入图像通过卷积神经网络(CNN)提取特征后,输出的尺寸往往会变小,需要将图片恢复到原来的尺寸,以便进行进一步的计算(如图像的语义分割),需要上采样操作帮助放大图像。采用DySample上采用模块代替YOLOv9中head部分的nn.Upsample模块。DySample上采用算子能够绕过动态卷积并从点采样的角度制定上采样,并且使用PyTorch中的标准内置函数实现,与以前基于内核的动态上采样器相比,DySample不需要定制CUDA包,并且具有更少的参数、FLOPs、GPU内存和延迟。除了轻量级的特点,DySample在5个密集预测任务上优于其他上采样器,包括语义分割、目标检测、实例分割、全视分割和单目深度估计。

nn.Upsample模块如图4(a)所示,给定一个大小为C×H₁×W₁的特征图X,以及一个大小为2g×sH×sW的采样集δ,sampling point generator为采样点生成器,sampling set为采样集,grid sample为网格采样操作再通过grid sample函数,使用δ中的位置对假设的双线性插值X进行重新采样,生成大小为C×sH×sW的X'特征。这种局部采样位置的移动范围可能会显著重叠,这种重叠很容易影响边界附近的预测,并且此类错误会逐阶段传播并导致输出伪影图,DySample模块如图4(b)所示,与nn.Upsample模块不同的是, DySample额外给定一个上采样尺度因子s,首先使用线性层(输入和输出通道数分别为C 和2s² )来生成大小为2s²×H×W的偏移量O,其次通过Pixel Shuffling,将其重塑为2×sH×sW,将偏移量O和原始采样网g相加得到采样集δ。通过使用sigmoid函数和0.5的静态因子,使得采样位置的移动范围在局部受到约束,不仅满足重叠与非重叠之间的理论边界条件,而且增加偏移量的灵活性。

2.4 改进损失函数

损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L[Y, f(x)] 来表示,损失函数越小,模型的鲁棒性就越好。YOLOv9的损失函数包括两类函数:①分类损失:BCE Loss;②回归损失:DFL Loss+CIoU Loss。

采用inner-IoU函数替代CIoU函数改进了回归损失。CIoU计算公式为

(1)$ \mathrm{IoU}=\frac{\left|B^{\text {pred }} \cap B^{\mathrm{gt}}\right|}{\left|B^{\text {pred }} \cup B^{\mathrm{gt}}\right|}$

(2)$ \mathrm{CIoU}=\mathrm{IoU}-\left[\frac{\rho^{2}\left(B^{\mathrm{pred}}, B^{\mathrm{gt}}\right)}{c^{2}}+\alpha v\right]$

式中:B^pred为预测框区域面积;B^gt为真实框区域面积;c为预测框与真实框的最小外接矩形的对角线长度;ρ²(B^pred,B^gt)为欧几里得距离的平方;u 用来衡量长宽比;a 为平衡参数,表示预测框与真实框中心点之间的欧氏距离。

CIoU在IoU基础上加上对中心点距离和长宽比的权衡,检测效果得到有效提升。这些改进的损失函数仍一直是通过加入新损失项来加速收敛,并没有意识到IoU自身的限制。Inner-IoU提出以辅助边框来计算 IoU,提升泛化能力并且加快了收敛速度,具体计算过程如式(3)~式(5)所示。

(3)$ \begin{aligned} \text { inter }= & {\left[\min \left(b_{\mathrm{r}}^{\mathrm{gt}}, b_{\mathrm{r}}\right)-\max \left(b_{1}^{\mathrm{gt}}, b_{1}\right)\right] \times } \\ & {\left[\min \left(b_{\mathrm{b}}^{\mathrm{gt}}, b_{\mathrm{b}}\right)-\max \left(b_{\mathrm{t}}^{\mathrm{gt}}, b_{\mathrm{t}}\right)\right] } \end{aligned}$

(4)$ \text { union }=w^{\mathrm{gt}} h^{\mathrm{gt}}(\text { ratio })^{2}+w h(\text { ratio })^{2}-\text { inter }$

(5)$ \mathrm{IoU}^{\text {inner }}=\frac{\text { inter }}{\text { union }}$

式中:inter为预测框和真实框交集区域的面积;union为预测框和真实框并集区域的面积;IoU^inter为预测框和真实框的交并比;

b r g t

为真实右边界;b_r为右边界坐标;

b l g t

为真实左边界;b_l为左边界;

b b g t

为真实下边界;b_b为下边界;

b t g t

为真实上边界;b_t为上边界;

m i n (b r g t

,b_r)-max(

b l g t

,b_l)为水平方向交集的长度;

m i n (b b g t, b b) - m a x (b t g t

,b_t)为垂直方向交集的长度;w^gt和h^gt分别为GT框的宽度和高度;w和h分别为锚框的宽度和高度。

GT框和锚框分布表示为B^gt和B;GT框和GT框内部的中心点用

(x c g t

y c g t

)表示;锚框和内部锚框的中心点用(x_c,y_c)表示;ratio为尺度因子,通常取值范围为 [0.5,1.5]。为确定ratio值,采用天津大学机器学习与数据挖掘实验室所整理公开的VisDrone2019数据集进行消融实验^[18],实验结果如表1所示。

当 ratio=1时,精度P为最大值56.2%,而召回率R和mAP@0.5以及mAP@0.5:0.9在ratio=1.25时达到最大值。对于不同的研究对象和不同的需求,ratio应该选取不同的值,考虑到路面混合病害差异不明显的特点,ratio取值为1。

3 实验设计与结果分析

收起

3.1 实验设定

实验使用的GPU为NVIDIA GeForce RTX 3080 Laptop,CPU使用了Intel(R) Core(TM)i9-10900K CPU,pytorch 框架版本为1.13.1+cu117,python 版本为3.8.18,cuda 版本为 11.7。实验数据集来源于开源数据集Concrete Crack Images for Classification和河北省保定市保京高速和保京大桥实地考察图片。从中共计选取了1 000张裂缝图片,随机按比例8∶1∶1分为训练集,测试集和验证集。数据增强采用Mosaic图像拼接技术,Epoch训练轮数设置为300轮,batch-size为批次大小设置为16,Patience为早停机制,Pretrained为预训练模型。检测目标种类为2种,分别为:crack(裂缝)和hole(坑槽),运行文件采用的是yolov9-main下的train_dual.py文件,即一个辅助分支+一个主分支,本次实验网络训练的超参数如表2所示。

3.2 评估指标

选用精度P、召回率R、平均精度均值mAP(mean average precision)作为评估指标,公式为

(6)$ P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} \times 100 \%$

(7)$ R=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} \times 100 \%$

(8)$ \mathrm{AP}=\int_{0}^{1} P(R) \mathrm{d} R$

(9)$ \mathrm{mAP}=\frac{\sum_{i=0}^{n} \mathrm{AP}_{i}}{n}$

式中:TP 为预测样本中将正样本正确预测正确的个数;FP 为预测样本中将负样本错误预测为正样本的个数;n 为检测目标类别数(本文取值2);P(r)为不同召回率水平下的精度函数;AP为不同召回率水平下精度之和。

mAP@0.5:即将IoU设为0.5时,计算每一类的所有图片的AP(AP 是对 P-R 曲线的积分,即曲线与横纵坐标所围成的面积),然后所有类别求平均。

mAP@0.5:0.95: 表示在不同IoU阈值(从0.5到0.95,步长0.05即0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均mAP。

3.3 消融实验

为了验证所提出的改进方案对模型检测效果的提升,YOLOv9-c模型的基础上进行了消融实验,每一组实验都设置相同的超参数,采用相同的训练策略,实验结果如表3所示。

对比上述方案,当网络采用RepNCSPELAN4-AKConv模块时会增加网络的特征提取能力,但是会增加网络运算所占用的内存,引入SimAM注意力模块,能够有效地增加网络的精度和mAP指数,采用DySample上采样算子时能够小幅度增加精度,对于召回率和mAP有显著提升的同时,缩短了网络的训练时间。对比上述方案可知方案2、方案4、方案6和方案7均获得了较为明显的提升。方案2的精度提升了28.7%, mAP@0.5提升了23.8%,但是回归率却有了小幅度的降低;方案4的精度提升了38.5%,回归率提升了12.4%,mAP提升了29.2%;方案6的精度提升了11.6%,回归率提升了12.4%,mAP提升了19.8%;方案7精确度提升了31.8%,回归率提升了14.6%,mAP提升了20.9%,方案4在epoch为300轮时效果最佳,但是方案4和方案7均没有提前结束训练,对于这两种方案进行额外训练,epoch设定为600轮进行二次训练,增加新的方案进行训练。

从表4可知,方案8和方案9各项指数几乎一致,但两者的训练时长有明显差异,方案8在第534轮时停止训练,共计耗时8.7 h;方案九在第503轮时停止训练,共计耗时7.7 h,因此认为方案9要比方案8高效。综上所述,可知方案9为最优方案,评估指标改进效果如图5所示。

3.4 检测结果可视化分析

模型训练输出结果如图6和图7所示,通过对比图7中Label和Ours-v9可知,在4种不同的单一病害路面中,提出的网络能够很好地进行病害的检测,在图7(b)中,改进的网络不仅能够检测到v9网络漏检的裂缝,一定程度上克服了YOLOv9-c网络漏检现象同时甚至能够检测到额外的砌块裂缝,这一现象表明改进后的网络拥有更好的检测效果并且对于裂缝这一病害能够在路面以外的背景条件下进行检测(如墙体);即使出现了如图6(c)中标签制作错误的情况,图中标签更加符合hole,但是错误的将标签制作成crack,但是由于大量的样本是正确的,改进前后的网络均能够对于病害进行正确的预测;在图6(c)中,改进前的网络对于同一条裂缝错误的判断为了两条叠合在一起的裂缝,而改进后的网络很好地克服了这一现象。综上可知,本文提出的改进对于单一病害的检测效果具有良好的提升。

由图7可知,当识别对象为同一背景下的混合病害时,改进的网络仍然能有较好的检测效果。当检测病害稀疏区域时如图7(a)和图7(c)所示,改进前后的网络均具有较好的检测效果,但是在图7(c)中v9网络错误的一个crack 病害检测为hole和crack两个病害,检测效果与Ours-v9相比有明显缺陷;但当检测混合病害密集区域时如图7(b)和图7(d)时,虽能改进前后的网络均能够对图中的病害进行检测,但是对于病害的检测出现对同一病害错误的识别为多个病害,从而导致产生图中多个锚框重叠的问题;同时对比如图7(c)和图7(d)可知,在图7(c)中对crack检测是错误的判断为了hole,在图7(d)中又错误的将hole预测为了crack,而提出的改进方案一定程度上克服了这两处误检现象。

在制作标签时,由于主观意识导致标签很容易产生如图6(c)中并不统一的效果,这就会导致最终的模型精度和召回率偏低,实际的精度和召回率要比68.7%、58.6%要高,但是在训练结束后的模型却能够克服这一误差,对于裂缝的定位和分割有着比人为制作更具有规律性。YOLOv9-c网络对于裂缝的检测精度为43.4%,召回率为56.8%,map@0.5为43.4% 。对于坑槽的检测精度为54.62%,召回率为44.24%,map@0.5为45.4%;改进的YOLOv9对于裂缝的检测精度有较大提升,达到了62.4%,但是召回率则降低到了49.7%,map@0.5为47.2%有小幅度增加,对于坑槽的检测精度为75%,召回率为67.5%,map@0.5为60.2%,各方面均有较大提升,改进的网络能够更好地检测混合病害。

3.5 对比试验

为了进一步验证改进算法对路面病害检测的优越性,将改进算法与传统的目标检测算法进行对比试验,其中二阶段检测算法有Faster-RCNN算法,一阶段检测算法有YOLOv3、YOLOv4、YOLOv5、YOLOX、YOLOv7、YOLOv8n、TMDet^[19]、PPYOLOE^[20]算法,结果如表5所示,由表5可知,改进算法提高了YOLOv9-c模型对混合病害的识别精度,能够对路面的损伤进行更好的检测。该算法在参数量和GFLOPs上并不优于大部分的其他算法,但是P、R和mAP的值均为最大值。综合考虑,所提出网络优化算法,对于检测路面混合病害具有较好的优越性和鲁棒性。

4 结论

收起

针对坑槽和裂缝两种混合路面病害,提出了一种改进的YOLOv9-c模型,讨论了YOLOv5、YOLOv8n、YOLOv9c等多种模型的精度和计算速度、内存占用量等,在主干结构backbone中引入RepNCSPELAN4-AKConv模块和 simAM注意力机制,在head部分采用upSample上采样,以inner-IoU函数替代CIoU函数,提升对混合病害的学习能力。通过网络训练,得到以下结论。

(1)在路面混合病害检测中,与其他算法对比,基于YOLOv9-c改进的新模型中并且能够更快地处理复杂的计算任务。

(2)与原 YOLOv9-c 训练时长相比,更换上采样子后,平均4.5 h训练 300epoch,模型训练速度增快。

(3)通过改进卷积核并引入新的注意力机制模型,在一定程度上改善了YOLOv9网络的特征提取能力,减少了图像信息聚焦不明显而产生的漏检和误检等问题。

(4)在YOLOv9网络中使用inner-IoU函数来指导模型的训练,提升模型对混合样本的学习能力,让新的模型能够更好地识别不同背景下的病害,使模型具有更好的泛化性和鲁棒性。

基金

收起

教育部春晖项目合作科研项目(HZKY20220256)
国家自然科学基金青年科学基金(52108203)
河北大学实验室开放项目基金(sy202236)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

何铁军, 李华恩. 基于改进YOLOv5的路面病害检测模型[J]. 土木工程学报, 2024, 57(2): 96-106.

Tiejun

, Li

Huaen

. Pavement disease detection model based on improved YOLOv5[J]. Chinese Journal of Civil Engineering, 2024, 57(2): 96-106.

[2]

朱洪洲, 阳绪缘. 沥青路面内部缺陷无损检测技术研究综述[J]. 科学技术与工程, 2024, 24(25): 10588-10604.

Zhu

Hongzhou

, Yang

Xuyuan

. Review of non-destructive testing techniques for internal defects in asphalt pavements[J]. Science Technology and Engineering, 2024, 24(25): 10588-10604.

[3]

刘宇飞, 樊健生, 聂建国, 等. 结构表面裂缝数字图像法识别研究综述与前景展望[J]. 土木工程学报, 2021, 54(6): 79-98.

Liu

Yufei

, Fan

Jiansheng

, Nie

Jianguo

, et al. Review and prospect of digital-image-based crack detection of structure surface[J]. China Civil Engineering Journal, 2021, 54(6): 79-98.

[4]

宋晔, 吴一全. 基于无人机航拍的风力发电机叶片表面缺陷检测综述[J]. 仪器仪表学报, 2024, 45(10): 1-25.

Song

, Wu

Yiquan

. Review on surface defect detection of wind turbine blades based on UAV aerial photography[J]. Chinese Journal of Scientific Instrument, 2024, 45(10): 1-25.

[5]

刘传洋, 吴一全, 刘景景. 无人机航拍图像中绝缘子缺陷检测的深度学习方法研究进展[J]. 电工技术学报, 2024. DOI: 10.19595/j.cnki.1000-6753.tces.240610.

Liu

Chuanyang

, Wu

Yiquan

, Liu

Jingjing

. Research progress of deep learning methods for insulator defect detection in UAV aerial images[J]. Transactions of China Electrotechnical Society, 2024. DOI: 10.19595/j.cnki.1000-6753.tces.240610.

[6]

Pan

, Yang

T Y

, Xiao

Y F

, et al. Vision-based real-time structural vibration measurement through deep-learning-based detection and tracking methods[J]. Engineering Structures, 2023, 281. DOI: 10.1016/j.engstruct.2023.115676.

[7]

Zhang

, Qian

S R

, Tan

. Automated bridge surface crack detection and segmentation using computer vision-based deep learning model[J]. Engineering Applications of Artificial Intelligence, 2022, 115. DOI: 10.1016/j.engappai.2022.105225.

[8]

廖祥灿, 李彩林, 姚玉凯, 等. 基于改进YOLO V5的公路桥梁裂缝检测方法[J]. 山东理工大学学报(自然科学版), 2023, 37(4): 1-7.

Liao

Xiangcan

, Li

Cailin

, Yao

Yukai

, et al. Crack detection method of highway bridge based on improved YOLO V5[J]. Journal of Shandong University of Technology (Natural Science Edition), 2023, 37(4): 1-7.

[9]

杜磊, 陈曦, 白朋朋, 等. 基于改进YOLOv5的沥青路面裂缝检测方法[J]. 科学技术与工程, 2024, 24(31): 13579-13591.

Lei

, Chen

, Bai

Pengpeng

, et al. Crack detection method for asphalt pavement based on the improved YOLOv5[J]. Science Technology and Engineering, 2024, 24(31): 13579-13591.

[10]

贾晓芬, 江再亮, 赵佰亭. 裂缝小目标缺陷的轻量化检测方法[J]. 湖南大学学报(自然科学版), 2024, 51(6): 52-62.

Jia

Xiaofen

, Jiang

Zailiang

, Zhao

Baiting

. Lightweight detection method for small crack target defects[J]. Journal of Hunan University (Natural Science Edition), 2024, 51(6): 52-62.

[11]

夏翔, 朱明. 改进YOLOv7的视频监控小目标检测[J]. 计算机系统应用, 2024, 33(7): 52-62.

Xia

Xiang

, Zhu

Ming

. Small target detection in video surveillance based on improved YOLOv7[J]. Computer Systems & Applications, 2024, 33(7): 52-62.

[12]

王海群, 王炳楠, 葛超. 重参数化YOLOv8路面病害检测算法[J]. 计算机工程与应用, 2024, 60(5): 191-199.

Wang

Haiqun

, Wang

Bingnan

, Ge

Chao

. Reparameterized YOLOv8 pavement disease detection algorithm[J]. Computer Engineering and Applications, 2024, 60 (5): 191-199.

[13]

Zhang

, Song

Y Z

, Song

T T

, et al. AKConv: convolutional kernel with arbitrary sampled shapes and arbitrary number of parameters[J]. arXiv: 2311. 11587, 2023.

[14]

Yang

, Zhang

R Y

, Li

, et al. SimAM:a simple, parameter-free attention module for convolutional neural networks[C]// Proceedings of the 38th International Conference on Machine Learning. New York: PMLR, 2021: 11863-11874.

[15]

Liu

W Z

, Lu

, Fu

, et al. Learning to upsample by learning to sample[J]. arXiv: 2308. 15805, 2023.

[16]

Zhang

, Xu

, Zhang

. Inner-IoU: more effective intersection over union loss with auxiliary bounding bBox[J]. arXiv: 2311. 02877, 2023.

[17]

Wang

C Y

, Yeh

I H

, Hong Yuan M L. YOLOv9: Learning what you want to learn using programmable gradient information[J]. arXiv: 2402. 13616, 2024.

[18]

, Zhu

, Wen

, et al. VisDrone-DET2019: the vision meets drone object detection in image challenge results[C]// Proceedings of the IEEE/ CVF International Conference on Computer Vision Workshops. Seoul: IEEE, 2019: 213-226.

[19]

Lü

, Zhang

, Huang

, et al. Rtmdet: an empirical study of designing real-time object detectors[J]. arXiv: 2212. 07784, 2022.

[20]

, Wang

, Lü

, et al. PP-YOLOE: an evolved version of YOLO[J]. arXiv: 2203. 16250, 2022.

2025年第25卷第18期

PDF下载

249

116

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2407398

接收时间：2024-10-08
首发时间：2025-12-17
出版时间：2025-06-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-10-08
修回日期：2025-04-03

基金

教育部春晖项目合作科研项目(HZKY20220256)

国家自然科学基金青年科学基金(52108203)

河北大学实验室开放项目基金(sy202236)

作者信息

¹ 河北大学建筑工程学院, 保定 071002

² 河北大学零碳能源建筑与计量技术教育部工程研究中心, 保定 071002

通讯作者:

^* 方有亮(1967—),男,汉族,河北张家口人,博士后,教授,博士研究生导师。研究方向:结构健康监测与检测。E-mail:fang_youliang@163.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2407398

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

ratio	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
0.5	55.4	42.3	44.9	27.2
0.7	54.2	42.4	44.1	26.8
1	56.2	42.2	45.0	27.4
1.25	54.4	43.7	45.2	27.6
1.5	54.3	43.1	44.7	27.3

ratio

P/%

R/%

mAP@0.5

mAP@0.5∶0.9

0.5

55.4

42.3

44.9

27.2

0.7

54.2

42.4

44.1

26.8

56.2

42.2

45.0

27.4

1.25

54.4

43.7

45.2

27.6

1.5

54.3

43.1

44.7

27.3

项目设置	设置策略
数据增强	Mosaic
更新学习率	余弦退火算法
优化器	Auto
Epoch	300
Batch-size	16
Patience	100
Pretrained	False

项目设置

设置策略

数据增强

Mosaic

更新学习率

余弦退火算法

优化器

Auto

Epoch

300

Batch-size

Patience

100

Pretrained

False

模型	RepNCSPELAN4- AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
Yolov9-c	×	×	×	×	236.6	100.0	49.01	50.52	44.40	23.01
方案1	√	×	×	√	251.2	108.5	35.90	59.30	38.60	21.70
方案2	×	√	×	√	236.6	102.7	63.10	48.90	55.00	26.50
方案3	×	×	√	√	236.7	102.8	51.60	57.90	54.80	27.90
方案4	√	√	×	√	251.2	108.5	67.90	56.80	57.40	21.60
方案5	√	×	√	√	251.2	108.5	13.60	28.20	16.00	9.160
方案6	×	√	√	√	236.7	102.8	54.70	56.80	53.20	25.50
方案7	√	√	√	√	251.2	108.5	64.60	57.90	53.70	19.20

模型

RepNCSPELAN4-
AKConv

SimAM

DySample

Inner-IOU

GFLOPs

P/%

R/%

mAP@0.5

mAP@0.5∶0.9

Yolov9-c

236.6

100.0

49.01

50.52

44.40

23.01

方案1

√

251.2

108.5

35.90

59.30

38.60

21.70

方案2

√

236.6

102.7

63.10

48.90

55.00

26.50

方案3

√

236.7

102.8

51.60

57.90

54.80

27.90

方案4

√

251.2

108.5

67.90

56.80

57.40

21.60

方案5

√

251.2

108.5

13.60

28.20

16.00

9.160

方案6

√

236.7

102.8

54.70

56.80

53.20

25.50

方案7

√

251.2

108.5

64.60

57.90

53.70

19.20

模型	RepNCSPELAN4-AKConv	SimAM	DySample	Inner-IOU	GFLOPs	MB	P/%	R/%	mAP@0.5	mAP@0.5∶0.9
方案8	√	√	×	√	251.2	102.8	68.9	58.4	53.2	24.6
方案9	√	√	√	√	251.2	108.5	68.7	58.6	53.7	22.3

模型

RepNCSPELAN4-AKConv

SimAM

DySample

Inner-IOU

GFLOPs

P/%

R/%

mAP@0.5

mAP@0.5∶0.9

方案8

√

251.2

102.8

68.9

58.4

53.2

24.6

方案9

√

251.2

108.5

68.7

58.6

53.7

22.3

模型	参数量/MB	GFLOPs	P/%	R/%	mAP@0.5
Faster-RCNN	136.52	370.2	47.90	42.60	49.10
YOLOv3	207.80	282.3	58.00	43.80	45.30
YOLOv5	5.30	7.2	44.60	32.60	33.10
YOLOX	8.94	13.4	50.20	49.70	52.60
YOLOv7	6.03	13.2	51.80	44.30	53.50
YOLOv8n	3.01	8.2	57.20	50.40	56.50
TMDet	4.83	8.1	54.80	58.20	56.20
PPYOLOE	7.93	17.4	55.30	57.50	56.90
YOLOv9c	100.00	236.6	49.01	50.52	44.40
Ours-v9	108.50	251.2	68.70	58.60	53.70

模型

参数量/MB

GFLOPs

P/%

R/%

mAP@0.5

Faster-RCNN

136.52

370.2

47.90

42.60

49.10

YOLOv3

207.80

282.3

58.00

43.80

45.30

YOLOv5

5.30

7.2

44.60

32.60

33.10

YOLOX

8.94

13.4

50.20

49.70

52.60

YOLOv7

6.03

13.2

51.80

44.30

53.50

YOLOv8n

3.01

8.2

57.20

50.40

56.50

TMDet

4.83

8.1

54.80

58.20

56.20

PPYOLOE

7.93

17.4

55.30

57.50

56.90

YOLOv9c

100.00

236.6

49.01

50.52

44.40

Ours-v9

108.50

251.2

68.70

58.60

53.70