矿冶工程杂志

小特征图	中间特征图	大特征图
[15，3 622，5 038，32]	[40，8 375，8 653，112]	[123，80 160，213 380，341]

小特征图	中间特征图	大特征图
[15，3 622，5 038，32]	[40，8 375，8 653，112]	[123，80 160，213 380，341]

项目	版本或参数
CPU	Intel（R）Core（TM）i7-9750H CPU@2.60GHz
GPU	NVIDIA GeForce GTX 1660 Ti
操作系统	Windows 10
PyTorch	1.8.0
CUDA	11.1
batch size	16
epoch	200

项目	版本或参数
CPU	Intel（R）Core（TM）i7-9750H CPU@2.60GHz
GPU	NVIDIA GeForce GTX 1660 Ti
操作系统	Windows 10
PyTorch	1.8.0
CUDA	11.1
batch size	16
epoch	200

方法	锚框生成算法	注意力机制	损失函数	P/%	R/%	mAP/%
原始YOLOv5				78.6	77.2	77.6
改进算法1	√			79.2	78.6	80.1
改进算法2	√	√		78.9	80.5	81.0
改进算法3	√	√	√	79.5	80.9	81.4

方法	锚框生成算法	注意力机制	损失函数	P/%	R/%	mAP/%
原始YOLOv5				78.6	77.2	77.6
改进算法1	√			79.2	78.6	80.1
改进算法2	√	√		78.9	80.5	81.0
改进算法3	√	√	√	79.5	80.9	81.4

算法	P/%	R/%	F1分数/%	帧速率/（帧·s^-1）	mAP/%
Faster R-CNN	53.4	68.6	60.1	6	60.5
SSD	72.5	50.3	59.4	44	63.4
YOLOv3	74.3	68.5	71.3	36	72.9
YOLOv5	78.6	77.2	77.9	62	77.6
改进YOLOv5	79.5	80.9	80.2	61	81.4

算法	P/%	R/%	F1分数/%	帧速率/（帧·s^-1）	mAP/%
Faster R-CNN	53.4	68.6	60.1	6	60.5
SSD	72.5	50.3	59.4	44	63.4
YOLOv3	74.3	68.5	71.3	36	72.9
YOLOv5	78.6	77.2	77.9	62	77.6
改进YOLOv5	79.5	80.9	80.2	61	81.4

基于改进YOLOv5的镍板表面缺陷检测方法

PDF下载

谭沁源 ¹^,² , 唐勇 ¹^,² , 金岩 ³ , 覃美满 ¹^,² , 吴伟 ¹^,²

矿冶工程杂志 | 材料 2024,44(2): 160-166

收起

矿冶工程杂志 | 材料 2024, 44(2): 160-166

基于改进YOLOv5的镍板表面缺陷检测方法

全屏

谭沁源¹^,², 唐勇¹^,², 金岩³, 覃美满¹^,², 吴伟¹^,²

作者信息

^1.长沙矿山研究院有限责任公司，湖南　长沙　410012

^2.国家金属采矿工程技术研究中心，湖南　长沙　410012

^3.金川集团股份有限责任公司，甘肃　金昌　737100

谭沁源（1999—），男，湖南湘潭人，硕士研究生，主要研究方向为智能制造、机器视觉。E-mail：1249235674@qq.com

Nickel Plate Surface Defect Detection Based on Improved YOLOv5

Qinyuan TAN¹^,², Yong TANG¹^,², Yan JIN³, Meiman QIN¹^,², Wei WU¹^,²

Affiliations

^1.Changsha Institute of Mining Research Co Ltd, Changsha 410012, Hunan, China

^2.National Engineering Technology Research Center of Metal Mining, Changsha 410012, Hunan, China

^3.Jinchuan Group Co Ltd, Jinchang 737100, Gansu, China

出版时间: 2024-04-01 doi: 10.3969/j.issn.0253-6099.2024.02.035

文章导航

摘要

收起

针对镍板表面缺陷检测智能化程度低的问题，提出了一种基于改进YOLOv5的镍板表面缺陷检测方法。首先，对图像增强后的镍板数据集通过K-means++重新聚类锚框，提高锚框对本文数据集的适应度。其次，在主干网络Backbone中加入CBAM注意力机制，通过空间与通道信息融合来加强对感兴趣区域以及不清晰目标的特征识别。最后，在边界框回归时引入EIoU损失函数代替原CIoU损失函数，有效提高回归收敛速度，从而提高模型检测速度。实验结果表明，在自建的镍板缺陷数据集上，改进后的模型检测准确率高于Faster R-CNN、SSD、YOLOv3、YOLOv5等模型，其平均精度均值达81.4%，检测速度达61帧/s，模型在提高检测精度的同时也很好地满足了对检测速度的要求。

关键词

表面缺陷 / 镍板 / 缺陷检测 / 图像处理 / 图像增强算法 / YOLOv5 / 注意力机制 / EIoU损失函数 / 准确率 / 平均精度 / 检测速度

Abstract

收起

Aiming at low intelligence in nickel plate surface defect detection, a detection method based on improved YOLOv5 was proposed. Firstly, the image-enhanced dataset of nickel plate was re-clustered by K-means++ to improve the adaptability of the anchor frame to the dataset. Secondly, the convolutional block attention module (CBAM) was added into the Backbone network to strengthen the feature recognition of interest areas and unclear targets by integration of spatial and channel information. Finally, an efficient IoU (EIoU) loss was introduced to replace the original CIoU loss during bounding box regression to effectively improve the convergence speed of regression, thereby increasing the model detection speed. The experimental results show that with the self-established dataset of nickel plate defect, the improved model, compared to Faster R-CNN, SSD, YOLOv3 and YOLOv5, has higher detection accuracy up to 81.4% on average, with detection speed reaching 61 frames per second. It is concluded that this model can not only improve detection accuracy, but also satisfy the requirements for detection speed.

Key words

surface defect / nickel plate / defect detection / image processing / image enhancement algorithm / YOLOv5 / convolutional block attention module (CBAM) / EIoU loss / accuracy rate / average precision / detection speed

引用本文

谭沁源, 唐勇, 金岩, 覃美满, 吴伟. 基于改进YOLOv5的镍板表面缺陷检测方法. 矿冶工程杂志, 2024 , 44 (2) : 160 -166 . DOI: 10.3969/j.issn.0253-6099.2024.02.035

Qinyuan TAN, Yong TANG, Yan JIN, Meiman QIN, Wei WU. Nickel Plate Surface Defect Detection Based on Improved YOLOv5[J]. Mining and Metallurgical Engineering, 2024 , 44 (2) : 160 -166 . DOI: 10.3969/j.issn.0253-6099.2024.02.035

正文

收起

随着“工业4.0”^[1]概念的提出，我国制造业发展迅速。镍作为一种战略资源，因其优异性能被广泛应用于新能源及机械制造行业。在镍板的生产工艺流程中，由于工艺流程、工艺参数、后续处理等诸多因素，镍板表面会出现结粒、烧板、水印等缺陷^[2]，这些缺陷会对镍板性能造成一定影响，故在镍产品出厂前进行缺陷检测非常重要。以甘肃某镍产品生产企业为例，部分缺陷检测任务还需要由人工目测完成，检测的准确性和检测速度受主观因素影响较大，容易造成产品质量不稳定以及生产低效的问题。因此，镍产品生产企业迫切需要一种智能化与高效化的镍板表面缺陷检测方法。

YOLOv5是一种one-stage目标检测算法，它具有良好的网络可移植性，是当前深度学习家族中应用广泛的一种轻量级目标识别网络^[3-5]。本文针对镍板数据集中存在的3种主要缺陷，在YOLOv5目标检测算法的基础上，通过引入K-means++锚框聚类算法、注意力机制（Convolutional Block Attention Module，CBAM）及EIoU损失函数来提升原算法对镍板缺陷的检测能力，并采用消融实验与对比试验验证改进算法对镍板表面缺陷检测的可行性与有效性。

1　图像预处理

收起

1.1　数据集的采集

通过CCD采集得到电解镍板表面存在缺陷的图片共1 066张，本文主要选择烧板、水印、结粒（见图1）等较常产生的镍板表面缺陷图像并建立缺陷数据集。

1.2　图像增强处理

深度学习需要大量数据作支撑，训练前需通过数据增强扩充数据集。本文主要对数据标注后的镍板缺陷图片进行翻转、旋转、缩放、裁剪拼接及加入高斯噪声以获得大量带有标注的图片，将增强后的图片扩充至原有数据集中，经过处理后的镍板图片如图2所示。在图像增强算法处理部分引入Albumentations库，通过其中亮度、对比度、滤波、平移旋转等数据增强方式解决网络在低光照条件下性能不足等问题，提升模型泛化能力。

2　YOLOv5及其改进算法

收起

2.1　YOLOv5总体网络结构

YOLOv5模型由3个主要结构模块组成：Backbone、Neck及Head^[6]，其结构模型如图3所示。

YOLOv5 Backbone采用CSPDarknet53^[7]作为骨干，对跨级局部网络组成的图像进行特征提取。Neck利用PANet^[8]生成特征金字塔网络，对特征进行多尺度聚合，并传递给Head进行预测。Head由卷积层、池化层和全连接层组成，这些层从锚定箱中生成用于对象检测的预测。

2.2　改进YOLOv5算法

2.2.1　K-means++锚框生成算法

在原始YOLOv5算法中，已经在公开的COCO数据集上采用K-means聚类算法设置了一组预设锚框，但该锚框在实际应用中由于缺陷的差异导致其与实际数据集适应度较低，故本文需对锚框进行重新聚类。K-means算法的核心是通过判断两个样本之间欧式距离的远近来确认样本间的相似度，相似度较高则认为样本同属一类。K-means算法具体通过人为选定K个初始聚类中心，随后计算所有样本到这K个聚类中心的距离，将距离各个聚类中心的欧式距离较近的样本归为一类，形成K种类别，再通过计算每一聚类的均值点得出新的聚类中心，然后重复上一步骤，两次迭代后，聚类中心不再变换时，结束聚类算法。依据以上步骤分析，K-means算法在初始时通过人为选定初始聚类中心，如果该中心选取效果不好，可能导致某些孤立点被选取，从而使得聚类结果严重偏离，对聚类质量影响较大。通过欧式距离确定样本与聚类中心相对位置时，容易因为样本数据大小不一产生较大误差，通过测试发现，采用样本与聚类中心的IoU确定二者间的距离所生成的锚框与标注框更接近。根据以上分析，本文在K-means基础上引入K-means++算法，选取初始聚类中心时将距离尽可能拉大，同时保证二者相似度尽可能小，基于此原则，K-means++算法首先任选一点作为初始聚类中心，随后计算此聚类中心与其他样本的距离，距离最大的选取为下一聚类中心，以此类推，直至所需聚类中心选取完成，之后即可完成剩余K-means步骤。本文针对已标注好的镍板表面缺陷数据集通过上述K-means++算法计算最合适本数据集的锚框，以获得较好的检测效果。最终本文采用的锚框尺寸参数如表1所示。

2.2.2　CBAM注意力机制

镍板图像可能存在像素较低的问题，在进行缺陷检测与分类的过程中容易出现信息缺失，为了使模型能更好地识别镍板表面缺陷，本文在主干网络Backbone中增加CBAM注意力机制^[9]。CBAM注意力机制模块主要由通道注意模块和空间注意模块两部分组成，其可以同时关注通道与像素点的比重，具体实现过程如图4所示。

输入特征层数据主要由高（H）、宽（W）、通道数（C）三部分构成，通道注意力模块对输入的特征层对高和宽进行全局最大池化及全局平均池化，从而得到两个并行的C×1×1的特征长条，随后对得到的特征长条利用共享的全连接层进行特征提取，两全连接层由于神经元个数不同，通道数先缩小r倍，再扩张为原通道数，此时通过激活ReLU激活函数得到新的特征长条，最后对两个新的特征长条相加并传输至Sigmoid激活函数，确保输入特征层每一个通道的权值固定在0～1之间，得到的结果中神经元个数和输入特征层通道数相对应，将结果权值与原始输入特征层相乘即为通道注意力机制的全流程。

通过通道注意力机制得到的输出特征层即为空间注意力机制的输入，对该特征层的通道进行全局最大池化和平均池化，处理后的两个1×H×W特征层通过堆叠可以得到一个2×H×W的特征层，随后经过通道数为1的卷积层获得1×H×W特征层，对该特征层取Sigmoid激活函数后即可获得输入特征层中每一个特征点的比重，最后将结果比重与输入特征层相乘即为空间注意力机制的全流程，得到的输出结果为整个CBAM注意力机制模块的输出结果。通道注意力机制更关注图像中的核心信息，可以在保持通道大小一致性的同时压缩空间大小，空间注意力模块更关注图像的全局特征及位置信息，在空间维度不发生改变的条件下，空间注意力机制能压缩通道大小。

为了提高对镍板表面缺陷特征的提取效果，本文在原有YOLOv5基础上添加CBAM注意力机制，将其加入骨干网络Backbone中的C3模块，改进后的Backbone模块如图5所示，它能检测出低分辨率、不清晰的镍板表面特征，获取目标的更多细节信息，并抑制其他无用信息，以增强对感兴趣对象的表征。

2.2.3　损失函数

在YOLOv5中，最终需采用边界框回归^[10]调整边框，其中关键为损失函数，边界框回归的损失函数可以使网络模型更快迭代收敛。YOLOv5中的损失函数由边缘框损失、置信度损失和分类损失构成，式（1）为总损失函数公式：

(1)

边缘框损失Loss_box采用的损失函数为CIoU^[11]，通过计算真实框与预测框的欧式距离解决了其包含问题；置信度损失Loss_obj采用交叉熵表示锚框是否包含对象；分类损失Loss_cls同样采用交叉熵计算预测类别与实际类别间的误差。YOLOv5采用CIoU损失函数进行边界框回归，考虑了预测框与真实框的重叠区域、中心点距离及纵横比，检测精度较高，但如果预测框和真实框纵横比等比例时，若二者的宽（W）和高（H）同时增大或减小，则CIoU损失不因纵横比改变而改变，从而与真实框偏差较大，CIoU损失函数公式为：

(2)

(3)

(4)

式中IoU为预测框与真实框交集与并集的比值；c为包围两框所形成的最小外接矩形的对角线距离；ρ²为预测框中心点b与真实框中心点b^gt的欧式距离；v为度量纵横比相似性的权重函数。

本文的改进YOLOv5算法中，置信度损失和分类损失仍采用原始方法，由于CIoU损失所反映的纵横比差异可能不是真正的宽高差，对模型的优化产生一定影响，故对边缘框损失采用EIoU损失函数^[12]，其计算公式如式（5）所示，将CIoU中的纵横比例损失拆解为两框最小外接矩形的宽损失与高损失，通过将预测框与真实框之间宽高差降至最小来实现快速回归收敛。

(5)

式中b、ω、h分别为预测框的中心点、宽度和高度；b^gt、ω^gt、h^gt分别为真实框的中心点、宽度和高度；ρ²为欧式距离；c、c_ω、c_h分别为两框最小外接矩形的对角线长度、宽度和高度。

3　实验与结果分析

收起

3.1　实验环境及参数

镍板缺陷检测实验环境如图6所示。镍板需要进行双面缺陷检测，故需要配置两个方向的CCD相机，其工作流程为：镍摞通过传送带运送至上板工位后，工位底部升降机配合上方4个激光测距自适应将镍摞顶平，随后镍摞上方遮光罩下降，进行环境光遮挡，上侧CCD面相机进行镍板上表面缺陷检测，检测完成后遮光罩上升，通过机器人将镍板吸起，移动至下侧CCD相机拍照工位，下侧CCD相机拍照，完成镍板下表面缺陷检测，经视觉系统分析后，合格板通过机器人搬运至下一工位，不合格板搬运至NG工位。

改进YOLOv5算法主要环境参数如表2所示。

3.2　模型评价指标

采用平均精度均值（mAP）、F1分数（F1-score）及图片检测速度作为评价指标，检验模型性能。平均精度均值是一种综合了检索结果的精确度（P）和召回率（R）的度量方法，P反映对样本进行分类的能力，R反映发现阳性样本的能力，F1-score即P与R的调和级数，平均精度反映对象检测的整体性能。以计算得到的P和R为纵坐标和横坐标，绘制P-R曲线，曲线下面积为平均精度（AP），其平均值为mAP，mAP的数值在[0，1]区间内，其值越大表示模型精度越高，P、R及F1分数的计算公式为：

(6)

(7)

(8)

式中TP为模型检测为正样本且实为正样本的结果；FP为模型检测为正样本但实为负样本的结果；FN为模型检测为负样本但实为正样本的结果。

3.3　试验结果

3.3.1　引入各个模块对试验结果的影响

为了验证改进YOLOv5缺陷检测模型的可行性，在镍板缺陷数据集上，依次对加入各个改进模块的模型进行消融实验，以确保每个改进模块都能产生正向影响，试验结果如表3所示。第1组为原始YOLOv5算法，检测结果中P为78.6%，R为77.2%，mAP为77.6%；第2组，使用基于IoU定义样本之间距离，对自制镍板缺陷数据集通过K-means++聚类算法生成锚框，P、R和mAP值分别提升0.6、1.4和2.5个百分点，说明改进算法生成的锚框更契合本文所述镍板缺陷数据集；第3组引入CBAM注意力机制，通过通道注意力机制和空间注意力机制可获得更加详细的镍板缺陷信息，并且对其他无用信息产生抑制作用，引入CBAM后，mAP达到了81.0%；第4组，进行边界框回归时，对其中的边缘框损失引入EIoU损失函数，将CIoU中的宽高比损失项分解为预测框与真实框的宽高差，一定程度上提高了回归精度，在镍板数据集上进行检测的mAP为81.4%，较原始YOLOv5算法提高了3.8个百分点，检测效果显著提升。

3.3.2　改进后模型与主流算法对比

表4为改进YOLOv5算法与其他主流算法模型的检测结果对比。与two-stage算法Faster R-CNN相比，改进YOLOv5算法速度快了近10倍；与经典的onestage检测算法SSD、YOLOv3、YOLOv5相比，改进YOLOv5算法各指标都有较大提高，平均精度均值分别提高了18、8.5、3.8个百分点；仅考虑速度时，原始YOLOv5算法检测速度最快，但优势不明显。综上所述，改进YOLOv5算法在保持检测速度的同时能很好地提高检测精度，性能较其他算法更优异。

图7为改进YOLOv5算法与原始YOLOv5算法平均精度均值对比曲线。由图7可知，改进YOLOv5算法收敛速度与检测精度均高于原始YOLOv5算法，迭代80次后，平均精度均值趋于平稳，直至最后收敛。

采用改进YOLOv5算法对镍板缺陷数据集进行检测，结果如图8所示。可以看出该算法对缺陷部分检测效果良好，此外也能很好地识别并检测细小缺陷部分。

4　结论

收起

针对目前对镍产品表面缺陷智能化检测程度低的问题，提出了一种基于改进YOLOv5算法的镍板表面缺陷检测方法，并在镍板缺陷数据集上进行训练和实验，得到如下结论：

1）通过引入K-means++聚类算法、CBAM注意力机制以及EIoU损失函数，提高了锚框对样本数据集的适配度，增强了对不清晰目标的检测能力，加快了边界框回归的收敛速度，在原始算法基础上将平均精度均值提高了3.8个百分点，也提高了模型泛化能力，更利于在工业环境中使用。

2）与Faster R-CNN、SSD、YOLOv3、YOLOv5等传统模型相比，采用本文改进模型进行镍板缺陷检测任务时，各项评价指标均有较大提升，其平均精度均值达81.4%，验证了改进YOLOv5模型的准确性和有效性。

3）建立了镍板缺陷数据集，通过改进YOLOv5算法检测镍板表面缺陷，有效实现了镍板缺陷检测的高效化与智能化，对镍产品的生产具有一定指导意义。

基金

收起

湖南省科技成果转化及产业计划项目(2020GK2087)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

张曙. 工业4.0和智能制造[J]. 机械设计与制造工程, 2014, 43(8): 1-5.

[2]

苏瑞娟. 电解镍气孔形成原因及预防措施[J]. 山西冶金, 2019, 42(5): 139-141.

[3]

许德刚, 王露, 李凡. 深度学习的典型目标检测算法研究综述[J]. 计算机工程与应用, 2021, 57(8): 10-25.

[4]

董文轩, 梁宏涛, 刘国柱, 等. 深度卷积应用于目标检测算法综述[J]. 计算机科学与探索, 2022, 16(5): 1025-1042.

[5]

ZHU

, ZHANG

, JIA

. An improved YOLOv5-based method for surface defect detection of steel plate[C]//Proceedings of 2022 China Automation Congress (CAC). 2022: 2233-2238.

[6]

王淑青, 顿伟超, 黄剑锋, 等. 基于YOLOv5的瓷砖表面缺陷检测[J]. 包装工程, 2022, 43(9): 217-224.

[7]

ZHANG

H R

, WANG

Y Z

, BIAN

E K

. Smart classification system of solid wood board based on convolutional neural networks[C]//ICICAS 2021: 3rd International Conference on Intelligent Computing, Automation and Systems. 2021: 302-307.

[8]

. PANet: parallel attention network for remote sensing image semantic segmentation[C]//ISCTT 2021: 6th International Conference on Information Science, Computer Technology and Transportation. 2021: 1-4.

[9]

Woo

, Park

, Lee

J Y

, et al. Cbam: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

[10]

Girshick

, Donahue

, Darrell

, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]/2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014: 580-587.

[11]

王兵, 乐红霞, 李文璟, 等. 改进YOLO轻量化网络的口罩检测算法[J]. 计算机工程与应用, 2021, 57(8): 62-69.

[12]

ZHANG

Y F

, REN

W Q

, ZHANG

, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157.

2024年第44卷第2期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.0253-6099.2024.02.035

接收时间：2023-10-25
首发时间：2026-03-19
出版时间：2024-04-01

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-10-25

基金

湖南省科技成果转化及产业计划项目(2020GK2087)

作者信息

^1.长沙矿山研究院有限责任公司，湖南　长沙　410012

^2.国家金属采矿工程技术研究中心，湖南　长沙　410012

^3.金川集团股份有限责任公司，甘肃　金昌　737100

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kygczz/CN/10.3969/j.issn.0253-6099.2024.02.035

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT