科学技术与工程

配置环境	配置版本(型号)
CPU	Intel(R) Core(TM) i3-12100F
GPU	NVIDIA GeForce RTX 3060
操作系统	Ubuntu
CUDA	V 11.7
CUDNN	V 8.9.2
PyTorch	V 2.1.2
Python	V 3.11.5

配置环境	配置版本(型号)
CPU	Intel(R) Core(TM) i3-12100F
GPU	NVIDIA GeForce RTX 3060
操作系统	Ubuntu
CUDA	V 11.7
CUDNN	V 8.9.2
PyTorch	V 2.1.2
Python	V 3.11.5

参数	含义	值
Epochs	迭代次数	150
Batch	批次	16
Image size	图像尺寸	640×640
Workers	线程数	8
Learning rate	学习率	0.001
Optimizer	优化器	AdamW
Weight-Decay	权重衰减参数	0.000 5

参数	含义	值
Epochs	迭代次数	150
Batch	批次	16
Image size	图像尺寸	640×640
Workers	线程数	8
Learning rate	学习率	0.001
Optimizer	优化器	AdamW
Weight-Decay	权重衰减参数	0.000 5

算法	Ghost Conv	Context Guide	DySample	P2	mAP@ 0.5	mAP@ 0.5:0.95
YOLOv8n					0.683	0.658
YOLOv8-DL	√				0.938	0.771
YOLOv8-DL	√	√			0.949	0.773
YOLOv8-DL	√	√	√		0.946	0.764
YOLOv8-DL	√	√	√	√	0.977	0.805

算法	Ghost Conv	Context Guide	DySample	P2	mAP@ 0.5	mAP@ 0.5:0.95
YOLOv8n					0.683	0.658
YOLOv8-DL	√				0.938	0.771
YOLOv8-DL	√	√			0.949	0.773
YOLOv8-DL	√	√	√		0.946	0.764
YOLOv8-DL	√	√	√	√	0.977	0.805

算法模型	P	AP	R	mAP@0.5	mAP@ 0.5:0.95	参数量/M	推理速度/ ms
Faster R-CNN	0.645	0.821	0.869	0.778	0.767	0.811	0.756	134.08	16.3
YOLOv3s	0.882	0.959	0.990	0.944	0.916	0.949	0.774	103.69	9.0
YOLOv5s	0.813	0.987	0.988	0.929	0.896	0.923	0.759	9.12	1.4
YOLOv6s	0.807	0.985	0.990	0.927	0.911	0.941	0.781	16.30	3.6
YOLOv8n	0.815	0.983	0.990	0.930	0.920	0.938	0.771	3.01	1.5
YOLOv8s	0.788	0.987	0.988	0.921	0.866	0.913	0.750	11.13	1.8
YOLOv8m	0.872	0.992	0.989	0.958	0.898	0.945	0.781	25.86	3.8
YOLOv8l	0.810	0.993	0.992	0.932	0.918	0.943	0.779	43.63	12.8
YOLOv8x	0.859	0.992	0.990	0.947	0.919	0.957	0.790	68.16	21.1
YOLOv8-DL	0.931	0.993	0.992	0.972	0.950	0.977	0.805	2.08	1.9

算法模型	P	AP	R	mAP@0.5	mAP@ 0.5:0.95	参数量/M	推理速度/ ms
Faster R-CNN	0.645	0.821	0.869	0.778	0.767	0.811	0.756	134.08	16.3
YOLOv3s	0.882	0.959	0.990	0.944	0.916	0.949	0.774	103.69	9.0
YOLOv5s	0.813	0.987	0.988	0.929	0.896	0.923	0.759	9.12	1.4
YOLOv6s	0.807	0.985	0.990	0.927	0.911	0.941	0.781	16.30	3.6
YOLOv8n	0.815	0.983	0.990	0.930	0.920	0.938	0.771	3.01	1.5
YOLOv8s	0.788	0.987	0.988	0.921	0.866	0.913	0.750	11.13	1.8
YOLOv8m	0.872	0.992	0.989	0.958	0.898	0.945	0.781	25.86	3.8
YOLOv8l	0.810	0.993	0.992	0.932	0.918	0.943	0.779	43.63	12.8
YOLOv8x	0.859	0.992	0.990	0.947	0.919	0.957	0.790	68.16	21.1
YOLOv8-DL	0.931	0.993	0.992	0.972	0.950	0.977	0.805	2.08	1.9

基于改进YOLOv8n的引晶工艺质量缺陷检测

PDF下载

张迪 ¹ , 周安亮 ¹ , 温猛 ² , 杜艺 ¹ , 刘溪 ³^,^*

科学技术与工程 | 论文·一般工业技术 2025,25(3): 969-976

收起

科学技术与工程 | 论文·一般工业技术 2025, 25(3): 969-976

基于改进YOLOv8n的引晶工艺质量缺陷检测

全屏

张迪¹, 周安亮¹, 温猛², 杜艺¹, 刘溪³^,^*

作者信息

1.北京印刷学院机电工程学院, 北京 102600

2.成都中光睿华科技有限公司, 成都 610000

3.国网数字科技控股有限公司, 北京 102600

张迪(2000—),女,回族,河南南阳人,硕士研究生。研究方向:人工智能。E-mail:Zdi0777@163.com。

通讯作者:

^* 刘溪(1984—),男,汉族,四川成都人,博士,中级工程师。研究方向:人工智能、大数据和大模型。E-mail:liuxi0099@gmail.com。

Quality Defect Detection of Crystal Drawing Process Based on Improved YOLOv8n

Di ZHANG¹, An-liang ZHOU¹, Meng WEN², Yi DU¹, Xi LIU³^,^*

Affiliations

1. School of Mechanical and Electrical Engineering, Beijing Institute of Graphic Communication, Beijing 102600, China

2. Chengdu Zhongguang Ruihua Technology Co, Chengdu 610000, China

3. State Grid Digital Technology Holdings Co., Ltd, Beijing 102600, China

出版时间: 2025-01-28 doi: 10.12404/j.issn.1671-1815.2402517

文章导航

摘要

收起

单晶硅生产过程中,引晶工艺产生的缺陷严重影响产品质量,传统的基于视觉的缺陷检测方法在检测引晶图像中的凸点小目标时,存在检测速度慢、参数量大、难以部署在嵌入式终端等不足。为此,提出了一种改进的YOLOv8目标检测模型,引入了ContextGuided模块,提高了模型的推理效率;在特征融合网络中引入更为高效的DySample,优化了特征融合的效率和深度;采用轻量级网络结构,减少了模型的复杂度和计算量,使其适应计算资源有限的终端设备。在工业数据集上进行了训练和测试,实验结果表明,对凸点小目标的检测更加准确,mAP(mean average precision )达到97.7%,在精确率上相对于YOLOv8n提升了11.6%,同时参数量减少31.9%,方便部署在嵌入式终端。

关键词

缺陷检测 / YOLOv8 / 引晶工艺 / 采样算子DySample / ContextGuided模块

Abstract

收起

During the production of monocrystalline silicon, defects generated during the crystal pulling process are recognized to severely impact product quality. Traditional visual-based defect detection methods, when applied to the detection of small protrusions in crystal pulling images, are confronted with challenges such as slow detection speeds, large parameter volumes, and difficulties in deployment on embedded terminals. In response to these challenges, an improved YOLOv8 object detection model was proposed incorporating a ContextGuided module to enhance the inference efficiency of the model. An efficient DySample was introduced into the feature fusion network to optimize the efficiency and depth of feature fusion. A lightweight network structure was adopted to reduce the complexity and computational demands of the model, making it suitable for devices with limited computing resources. The model has been trained and tested on an industrial dataset, demonstrating a more accurate detection of small protrusions with a mean average precision (mAP) of 97.7%. Compared to YOLOv8n, it exhibits an increase of 11.6% in precision and a reduction in parameter volume by 31.9%, facilitating its deployment on embedded terminals.

Key words

defect detection / YOLOv8 / crystal pulling process / sampling operator DySample / ContextGuided module

引用本文

张迪, 周安亮, 温猛, 杜艺, 刘溪. 基于改进YOLOv8n的引晶工艺质量缺陷检测. 科学技术与工程, 2025 , 25 (3) : 969 -976 . DOI: 10.12404/j.issn.1671-1815.2402517

Di ZHANG, An-liang ZHOU, Meng WEN, Yi DU, Xi LIU. Quality Defect Detection of Crystal Drawing Process Based on Improved YOLOv8n[J]. Science Technology and Engineering, 2025 , 25 (3) : 969 -976 . DOI: 10.12404/j.issn.1671-1815.2402517

正文

收起

随着全球对清洁能源和电子产品需求的增长,单晶硅作为半导体和太阳能行业的关键材料,其生产质量直接影响到最终产品的性能。硅单晶体生长过程包括引晶、放肩等多个阶段,并利用图像设备检测晶体直径进行自动控制。引晶过程中的熔接温度调节至关重要,因为平衡熔接温度的控制直接影响晶体的生长质量和形态^[1]。温度过高可能导致晶体直径缩小,甚至籽晶熔断;温度过低则可能引起晶体直径增大或出现枝晶生长。由于高温环境限制了直接测量,工厂通常使用红外传感器间接测量生长界面的温度,但由于炉内条件的干扰,这种方法误差可达2~3 ℃。目前,熔接温度的调整主要依赖于技师的经验和目视观察进行人工修正,这种方法的精确度和一致性较低,限制了生长过程的自动化和质量控制。

尽管传统的单晶硅生产技术如直拉(Czochralski)法^[2]和浮区(Float Zone)法^[3]已较为成熟,但提高产量和降低成本的过程中仍面临挑战。研究重点集中在提高晶体生长过程中的控制精度,如温度控制、晶体取向和生长速度的优化等。此外,传统的缺陷检测方法如X射线检测和光学显微镜观察,效率低下且无法实现在线监测,难以满足当前生产的需求。赵跃等^[4]针对目前中国直拉晶体生产无法自动准确的判断引晶温度这一难题,提出了一种数字图像处理与最小二乘支持向量机相结合的引晶温度分类检测方法。通过在实际晶体生长过程中采集光圈原始图像,进行图像处理,采用最小二乘支持向量机分类技术将光圈图像分类成不同的温度模式并进行温度高低的判断,实现了引晶温度的自动检测和辨识。但是该方法对于熔接阶段出现的光圈大小以及凸点位置分布的复杂程度,无法做到模型的鲁棒性与泛化能力兼具。杨舟等^[5]采用基于改进YOLOv5算法的方法来识别直拉法单晶硅的位错。该方法通过引入注意力机制和加强特征融合,尽管取得了较高的检测精度,但检测速率有待提升。程钢等^[6]采用基于机器视觉的单晶硅超声振动辅助切削亚表面裂纹损伤检测,并提供高斯核和图像熵提取裂纹损伤特征点和特征尺度。

为解决这一问题,提出一种基于深度学习的目标检测算法YOLOv8-DL,该算法专门用于单晶硅引晶过程中的缺陷检测。预计基于优化后的YOLOv8n框架的方法能够在确保高检测效率的同时,有效减轻模型对计算资源和内存的需求。这将有助于该算法在计算资源有限的终端设备上稳定运行,并满足实际生产需求。

1 YOLOv8目标检测算法

收起

目前主流的目标检测算法包括两阶段的RCNN(region based convolutional neural network),如RCNN、Fast RCNN、Faster RCNN^[7]、Mask RCNN,以及一阶段的算法SSD(single shot multibox detector)^[8]和YOLO(you only look once),还有基于Transformer的DETR(detection transformer)算法^[9]。两阶段算法首先通过初步筛选生成候选框,随后在第二阶段中对这些候选框进行细致的分类与位置调整,虽然这一流程有助于提升检测的准确度,但同时也会相对降低整体的检测速度。相比之下,单阶段算法直接在图像上回归目标的位置和类别,显著提高了实时检测的速度。考虑到深度学习模型在特定应用如单晶硅引晶缺陷检测中受到计算能力限制,研究者们正在探索如何轻量化这些模型,以便在资源受限的环境中部署。

YOLO是基于深度学习的单阶段目标检测算法^[10],也是目前最流行的实时目标检测器之一,其受欢迎的原因包括轻量级网络架构、有效的特征融合方法和更准确的检测结果。基于YOLOv8n进行了优化,提出一种新的单晶硅引晶过程的缺陷检测算法,称为YOLOv8-DL。YOLOv8n模型通常由三个部分组成:特征提取的主干网络(Backbone)、融合特征的颈部网络(Neck)和进行预测的检测头(Head)^[11]。YOLOv8不仅兼容先前版本,并且能够在不同版本间流畅转换,提供了比较不同版本性能的便利,显示出卓越的适应性和兼容性。因此,选择YOLOv8版本作为实验基准,以探索其在目标检测中的效能和应用。

2 改进YOLOv8n目标检测算法

收起

2.1 YOLOv8改进模型

鉴于本文对光圈凸点缺陷的检测在工业应用中的需求,必须兼顾检测的精确性和效率,因此选择了YOLOv8n网络模型作为解决方案。YOLOv8n模型整体性能优异,但在识别小密集缺陷方面表现出一定的局限性。为了克服这些挑战并增强模型在查明光圈凸点微小面积方面的功效,提出YOLOv8架构的三项重大增强功能,具体的模型结构如图1所示。首先,将一种称为GhostConv^[12]模块的轻量级卷积机制集成到YOLOv8框架中。这种集成的目的是增加模型对较小目标的关注,以提高其在引晶工艺加工熔接阶段检查期间识别和分类关键小凸点缺陷的能力。其次,通过Dysample^[13]上采样操作结合P2层改进了模型的多尺度信息融合,这也增加了小目标检测的准确性。最后,采用ContextGuided^[14]轻量级下采样模块通过模拟人类视觉系统依赖上下文信息理解场景取代了YOLOv8传统的C2f模块,实现减少参数数量的同时有效提升熔接任务中的目标检测的精度。此修改的目的是将模型的注意力集中在更高质量、有代表性的示例上。

2.2 GhostConv模块

当使用较大的卷积步长或池化层时,往往会导致对小目标信息的忽视和特征学习的不充分。GhostConv模块中的初级卷积可自定义内核大小,采用点向卷积跨通道处理特征,再采用深度卷积处理空间信息。标准卷积先生成一些固有的特征映射, 然后利用便宜的线性运算来增加特征和增加通道,通过较小的计算成本,生成多个能够从初始特征中提取必要信息的“Ghost”特征图,达到减少网络计算量的同时,防止小特征丢失。

在图2中,GhostConv作为GhostNet网络中的卷积模块出现,为传统卷积提供了可行的替代品。其中嵌入的“廉价操作(cheap operation)”构成了经济的线性操作。与传统卷积不同,GhostConv协调并行执行特征提取和具有成本效益的线性操作,然后连接两组结果特征图。这种编排有助于进一步减轻计算负担。因此,GhostConv被特意设计为分阶段卷积计算模块,通过并行执行特征提取和经济有效的线性运算来产生丰富的特征图,从而体现了其计算效率。该过程首先使用GhostConv使用原始卷积大小一半的卷积生成一半的特征图。然后通过5×5卷积核和步幅大小为1的经济有效的廉价操作来获取剩余的一半。最后,使用Concat操作将两个特征图连接起来,得到完整的特征图。

2.3 Dysample模块

上采样是关于对几何信息进行建模。工作流还通过动态采样图像或特征图来建模几何信息,作为标准网格采样的替代。可变形卷积网络其中标准卷积中的矩形窗口采样被移位点采样取代。 Deformable DETR ^[15]遵循这种方式,对某个查询相关的关键点进行采样,以进行可变形注意力。当图像被下采样为低分辨率图像以调整内容感知图像大小时,也会发生类似的做法。因此,根据上采样的本质,如图3所示,使用基于采样点的动态上采样的方案,而采样点的具体生成方式如图4所示,采样集(sampling set)是生成的偏移量和原始网格位置的总和。上面的框显示了带有“静态范围因子”的版本,其中偏移是用线性层生成的。底部描述了具有“动态范围因子”的版本。

在探索图像上采样的方法时,一个关键的目标是在增加图像尺寸的同时保持其细节。网格采样(grid sampling)技术提供了一种有效的途径,它通过在特定的网格点上实施选择性上采样,以优化细节保留和计算效率。进一步地,存在一种简化的实现策略,即朴素实现(naive implementation),它通过结合线性层和像素洗牌技术来构造必要的偏移量和采样集合,从而实现动态的上采样过程。

网格采样(grid sampling):给定大小为C×H₁×W₁的特征图X和大小为2×H₂×W₂的采样集S,其中第一维的2表示x和y坐标,网格采样函数使用S中的位置来重新将假设的双线性插值X采样为大小为C×H₂×W₂的X'。这个过程定义为

(1)X'=grid sample(X,S)

朴素实现(naive implementation):给定上采样比例因子s和大小为C×H×W的特征图X,使用输入和输出通道数为C和2s²的线性层来生成大小为2s²× H × W的偏移量O,然后通过像素洗牌将其重塑为2×sH×sW。那么采样集合S就是偏移量O与原始采样网格G之和,即

(2)O=linear(X), S=G+O

2.4 ContextGuided模块

ContextGuided模块的灵感来自人类视觉系统,它依赖于上下文信息来理解场景。如图5(a)所示,假设人类视觉系统试图识别黄色区域,如果只关注该区域本身是相对困难的。在图5(b)中,将红色区域定义为黄色区域的周围环境。同时获得黄色区域及其周围的上下文,则更容易将类别分配给黄色区域。因此,周围的上下文有助于语义分割。对于图5(c),如果人类视觉系统进一步捕获整个场景(蓝色区域)以及黄色区域及其周围上下文(红色区域)的全局上下文,那么它就有更高的置信度来对场景进行分类。

引入CG块来充分利用局部特征、周围上下文和全局上下文。如图6所示,CG模块由局部信息提取器FLoc、邻近环境提取器FSur、综合信息提取器FJoi和整体环境提取器FGlo这四个部分构成。FLoc被实例化为3×3标准卷积层,从8个相邻特征向量中学习局部特征,对应于图5(a)中的黄色区域。同时,FSur被实例化为3×3 dilated卷积层,因为dilated卷积具有相对较大的感受野,能有效地学习周围的上下文,对应于图5(b)中的红色区域。因此,FJoi从FLoc和FSur的输出中获得联合特征。本文中简单地将FJoi设计为串联层,后跟批量标准化(batch normalization, BN)和参数化ReLU (PReLU)运算符。在实践中,将FGlo实例化为自适应平均池化层,以聚合与图5(c)中蓝色区域相对应的全局上下文,然后是多层感知器以进一步提取全局上下文。

3 实验结果与分析

收起

3.1 数据集及缺陷种类

数据集由成都中光睿华科技有限公司提供,搭建引晶工艺缺陷自动检测平台来采集引晶工艺加工熔接阶段图片,如图7所示。共采集有效图片6 000张,原始图像分辨率为4 000×3 000的图片,将图片划分为单光圈、双光圈、凸点3种类型, 各类图像共计2 000张,按照7∶2∶1的比例,随机分配为训练集、验证集以及测试集。加工熔接阶段的细节图如图8所示,依次是单光圈、双光圈、有凸点,凸点数量为1、2、3种类型的检测任务。

在相同的工艺阶段不同的晶体生长过程中,凸点的数量和位置往往会有所不同。而且,环境光照条件、凸点的清晰度等也存在差异。因此,该数据集的显著特点是能够捕捉各种熔接环境中存在的多样性,包括照明条件的变化以及凸点清晰度的差异。这种多样性对于增强模型的鲁棒性发挥着至关重要的作用,使其能够更有效地适应不同熔接场景的变化。

3.2 实验环境及训练参数

本研究中的所有实验均使用同一台机器,如表1所示。本实验中的模型均使用相同的训练参数进行训练,如表2所示。

3.3 训练设置

训练过程中,各实验组采用一致的训练参数,保证实验的精度。输入分辨率配置为长边设置为 640像素,保留图像的原始长宽比,批量大小固定为16。在训练过程中,提前停止耐心设置为50,即如果模型在50个epoch 内没有表现出改进,则训练提前终止,epoch设置为150。损失函数的优化是通过利用AdamW下降算法实现的,其中动量值为0.937,权重衰减系数为5×10^-4。初始学习率设置为0.001,置信度阈值定义为0.4。采用马赛克数据增强,而所有其他参数与YOLOv8中的参数保持一致。

在推理过程中,使用了长边设置为640像素的标准化输入分辨率,同时保留了图像的原始长宽比。置信度阈值精确定义为0.001,在速度测试中,实现了单一图形处理单元(graphics processing unit,GPU)利用率,并且批量大小被专门设置1,表示对单个图像进行顺序处理。

3.4 评价指标

为了定量说明本文开发的算法的有效性,使用当前目标检测模型中常用的精确率P、召回率R、平均精确度(average precision,AP)、平均精确度均值(mean AP, mAP)评估指标来评估模型。使用的评估指标包括P、AP、R、mAP@0.5、mAP@0.5:0.95。比较了许多具有相同超参数的常用模型,以评估本文方法的性能。

mAP 指标基于精确召回指标,该指标处理多个对象类别,并使用IoU(交并集)^[16]定义正预测。它选择给定的 IoU阈值,并计算该阈值在不同召回水平下获得的精度值的平均值。公式为

(3) IoU(A,B)=

A ⋂ B A ⋃ B

式(3)中:A为预测框;B为真实框。

特定类别的AP(平均精确度)是通过对模型的预测值和召回值进行排序,并计算出一条直线所围成的区域,该直线在直角坐标系中的纵轴代表精确度,横轴代表召回率。公式为

(4)AP=

∑ n

(R_n₊₁-R_n)P_n

式(4)中:R_n₊₁和R_n分别为相邻两个召回率阈值;P_n 为在召回率R_n下的精确度。

3.5 消融实验对比

通过五项实验,研究不同模块对网络模型性能的影响。结果如表3所示,添加GhostConv模块后,模型的精确率显著提升,这表明该模块优化了凸点特征的处理。Dysample上采样层的引入增强了对小凸点的识别,提高了召回率。加入P2检测头显著提升了准确率,有效利用几何特性提高检测精度。总体来说,YOLOv8-DL模型在集成不同模块后取得了最佳检测效果。

3.6 与其他检测模型的对比实验

为了评估提出的方法在晶体加工熔接阶段缺陷检测上的性能,将本文方法和Faster R-CNN、YOLOv3^[17]、YOLOv5^[18]、YOLOv6^[19]等目前主流的目标检测算法进行比较,在凸点缺陷数据集上开展实验,将改进算法的检测结果7通过2次实验取平均值,避免偶然性误差,增强实验结果的稳定性,通过精确率、召回率、mAP@0.5等评价指标来判定改进的有效性。熔接阶段缺陷检测结果如表4所示。从不同的模型对比来看,在检测单光圈和双光圈方面,经典检测算法的效果与YOLO系列目标检测算法的效果大相径庭。在基于YOLOv8上提出了YOLOv8-DL。所提出的YOLOv8-DL的FPS低于原始YOLOv8n,但仍然比其他算法更快。更重要的是,YOLOv8-DL在类别为dot的凸点缺陷中P、mAP等参数方面优于其他方法,这证明本文的模型取得了令人满意的结果。特别是在凸点缺陷的精确率上优于其他方检测方面具有优势。总体而言,这次比较再次证明对原始YOLOv8模型所做的修改是成功的,意味着YOLOv8-DL在熔接任务图像中的小目标出的模型在检测精度和部署难度方面满足了实际生产场景的需求,具有较强的鲁棒性和实用性。

3.7 模型改进效果对比图

为了直观地展示YOLOv8-DL的检测性能,YOLOv8-DL和YOLOv8n在熔接任务光圈凸点(图9)数据集上的部分检测结果如图10所示。可以看出,YOLOv8n表现出不同程度的漏检,然而,YOLOv8-DL 弥补了这个问题。特别是当出现多个小目标以及小目标凸点的起伏弧度很低时,YOLOv8-DL 的凸点小目标预测更加准确。这进一步表明本文的修改可以增强原始YOLO的性能,这有助于提高引晶工艺熔接阶段中出现凸点目标提取的准确性。而在工业部署测试阶段,验证其有效降低漏检率和误捡率的能力,已经满足工业生产要求。

4 结论

收起

本文提出一种改进的YOLOv8目标检测模型YOLOv8-DL,应用在单晶硅引晶工艺中进行实时监控和分析,可以有效提高缺陷检测的效率。通过在主干网络中添加ContestGuided模块,可以利用全局信息学习的能力捕获复杂光圈图像中最具辨别力的区域,从而得到上下文信息理解,使模型聚焦于目标而不是背景,提高熔接阶段情况下光圈凸点目标检测模型的可靠性。YOLOv8-DL重新设计了颈部网络,添加了P2检测头使其拥有更高的分辨率,使得模型能够更好地捕捉到小尺寸目标的细节,增强模型准确获取凸点小目标特征的能力。采用GhostConv,并采用轻量级上采样模块Dysample,从而显著降低了模型大小和计算复杂度为了使网络轻量化并保证检测有效性。改进后的模型与原始模型相比将mAP@0.5和mAP@0.5:0.95分别提高了3.9%和3.4%,参数量减少了31.9%,实现了检测性能的提高和计算成本的降低。测试结果表明,该方法在检测精度方面优于几种最先进的目标检测模型,能够满足引晶熔接阶段的光圈图像凸点识别任务中可靠、准确、快速的目标检测要求,并且能够部署在嵌入式终端。

基金

收起

北京印刷学院青年卓越项目(Ea202408)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

刘赟, 薛忠营, 魏星, 等. 直拉单晶硅晶体缺陷研究进展[J]. 微纳电子与智能制造, 2022, 4(1): 64-74.

Liu

Yun

, Xue

Zhongying

, Wei

Xing

, et al. Research progress on defects in Czochralski single crystal silicon[J]. Microelectronics and Intelligent Manufacturing, 2022, 4(1): 64-74.

[2]

刘博, 徐家林, 赵威. 水平磁场用于半导体材料单晶硅生长[J]. 中国科技期刊数据库工业A, 2023(5): 26-29.

Liu

, Xu

Jialin

, Zhao

Wei

. Horizontal magnetic field used for the growth of single crystal silicon in semiconductor materials[J]. China Science and Technology Journal Database Industry A, 2023(5): 26-29.

[3]

勝亦徹, 見富大真, 宮島貴子, 等. FZ 法による Mn 添加スピネルの結晶育成[J]. 宝石学会誌, 2018, 33(1-4): 55.

Katsuhiro

Masuyama

, Hiroaki

Kanda

, Takako

Miyajima

, et al. Crystallization of Mn-doped spinel using the FZ method[J]. Journal of the Gemmological Association, 2018, 33(1-4): 55.

[4]

赵跃, 王欣. 基于光圈模式识别的直拉晶体生长温度测量技术研究[J]. 传感技术学报, 2018, 31(4): 573-578.

Zhao

Yue

, Wang

Xin

. Research on temperature measurement technology for Czochralski crystal growth based on aperture pattern recognition[J]. Journal of Sensing Technology, 2018, 31(4): 573-578.

[5]

杨舟, 程莹, 张诗婧, 等. 基于改进Yolov5算法的直拉法单晶硅位错检测模型研究[J]. 应用光学, 2023, 44(5): 1022-1029.

Yang

Zhou

, Cheng

Ying

, Zhang

Shijing

, et al. Research on dislocation detection model for single crystal silicon using Czochralski method based on improved Yolov5 algorithm[J]. Applied Optics, 2023, 44(5): 1022-1029.

[6]

程钢, 郝兆朋, 张卓. 单晶硅超声振动辅助切削亚表面裂纹损伤检测算法[J]. 吉林大学学报(工学版), 2022, 52(5): 1016-1021.

Cheng

Gang

, Hao

Zhaopeng

, Zhang

Zhuo

. Single crystal silicon ultrasonic vibration assisted cutting subsurface crack damage detection algorithm[J]. Journal of Jilin University(Engineering Edition), 2022, 52(5): 1016-1021.

[7]

Chen

, Li

, Sakaridis

, et al. Domain adaptive faster R-CNN for object detection in the wild[C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake: IEEE, 2018: 3339-3348.

[8]

Wang

H L

, Qian

H M

, Feng

, et al. L-SSD: lightweight SSD target detection based on depth-separable convolution[J]. Journal of Real-Time Image Processing, 2024, 21(2): 1861-8200.

[9]

Xia

J A

, Li

M J

, Liu

W K

, et al. DSRA-DETR: An improved DETR for multiscale traffic sign detection[J]. Sustainability, 2023, 15(10862): 10862.

[10]

徐慧智, 宋爱秋, 武笑宇. 基于均匀设计的船舶目标检测深度学习模型训练方法研究[J]. 科学技术与工程, 2022, 22(25): 11241-11249.

Zhihui

, Song

Aiqiu

, Wu

Xiaoyu

. Research on training method of deep learning to ship target detection based on uniform design[J]. Science Technology and Engineering, 2022, 22(25): 11241-11249.

[11]

邵延华, 张铎, 楚红雨, 等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报, 2022, 44(10): 3697-3708.

Shao

Yanhua

, Zhang

Duo

, Chu

Hongyu

, et al. Review of YOLO object detection based on deep learning[J]. Journal of Electronics and Information Technology, 2022, 44(10): 3697-3708.

[12]

Han

, Wang

Y H

, Tian

, et al. Ghostnet: More features from cheap operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1577-1586.

[13]

Liu

W Z

, Lu

, Fu

H T

, et al. Learning to upsample by learning to sample[C]// 2023 IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 6004-6014.

[14]

Zhao

Z C

, Du

J X

, Li

C L

, et al. Dense tiny object detection: a scene context guided approach and a unified benchmark[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 1-13.

[15]

Zhu

X Z

, Su

W J

, Lu

L W

, et al. Deformable DETR: deformable transformers for end-to-end object detection[J]. arXiv Preprint, 2021: 2010.04159.

[16]

Rezatofighi

, Tsoi

, Gwak

J Y

, et al. Generalized intersection over union: a metric and a loss for bounding box regression[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 658-666.

[17]

Liu

Q M

, Hao

F Z

, Zhou

Q L

, et al. An effective electricity worker identification approach based on Yolov3-Arcface[J]. Heliyon, 2024, 10(4): e26184.

[18]

张世强, 史卫亚, 张绍文, 等. 基于改进YOLOv5算法的钢铁表面缺陷检测[J]. 科学技术与工程, 2023, 23(35): 15148-15157.

Zhang

Shiqiang

, Shi

Weiya

, Zhang

Shaowen

, et al. Steel surface defect detection based on improved YOLOv5 algorithm[J]. Science Technology and Engineering, 2023, 23(35): 15148-15157.

[19]

Wang

H J

, Xu

X J

, Li

C L

, et al. Real-time defect detection for metal components: a fusion of enhanced Canny-Devernay and YOLOv6 algorithms[J]. Applied Sciences, 2023, 13(12): 6898.

2025年第25卷第3期

PDF下载

330

151

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2402517

接收时间：2024-04-08
首发时间：2025-07-29
出版时间：2025-01-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-04-08
修回日期：2024-07-18

基金

北京印刷学院青年卓越项目(Ea202408)

作者信息

1.北京印刷学院机电工程学院, 北京 102600

2.成都中光睿华科技有限公司, 成都 610000

3.国网数字科技控股有限公司, 北京 102600

通讯作者:

^* 刘溪(1984—),男,汉族,四川成都人,博士,中级工程师。研究方向:人工智能、大数据和大模型。E-mail:liuxi0099@gmail.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2402517

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

配置环境	配置版本(型号)
CPU	Intel(R) Core(TM) i3-12100F
GPU	NVIDIA GeForce RTX 3060
操作系统	Ubuntu
CUDA	V 11.7
CUDNN	V 8.9.2
PyTorch	V 2.1.2
Python	V 3.11.5

配置环境

配置版本(型号)

CPU

Intel(R) Core(TM) i3-12100F

GPU

NVIDIA GeForce RTX 3060

操作系统

Ubuntu

CUDA

V 11.7

CUDNN

V 8.9.2

PyTorch

V 2.1.2

Python

V 3.11.5

参数	含义	值
Epochs	迭代次数	150
Batch	批次	16
Image size	图像尺寸	640×640
Workers	线程数	8
Learning rate	学习率	0.001
Optimizer	优化器	AdamW
Weight-Decay	权重衰减参数	0.000 5

参数

含义

值

Epochs

迭代次数

150

Batch

批次

Image size

图像尺寸

640×640

Workers

线程数

Learning rate

学习率

0.001

Optimizer

优化器

AdamW

Weight-Decay

权重衰减参数

0.000 5

算法	Ghost Conv	Context Guide	DySample	P2	mAP@ 0.5	mAP@ 0.5:0.95
YOLOv8n					0.683	0.658
YOLOv8-DL	√				0.938	0.771
YOLOv8-DL	√	√			0.949	0.773
YOLOv8-DL	√	√	√		0.946	0.764
YOLOv8-DL	√	√	√	√	0.977	0.805

算法

Ghost
Conv

Context
Guide

DySample

mAP@
0.5

mAP@
0.5:0.95

YOLOv8n

0.683

0.658

YOLOv8-DL

√

0.938

0.771

YOLOv8-DL

√

0.949

0.773

YOLOv8-DL

√

0.946

0.764

YOLOv8-DL

√

0.977

0.805

算法模型	P	AP	R	mAP@0.5	mAP@ 0.5:0.95	参数量/M	推理速度/ ms
Faster R-CNN	0.645	0.821	0.869	0.778	0.767	0.811	0.756	134.08	16.3
YOLOv3s	0.882	0.959	0.990	0.944	0.916	0.949	0.774	103.69	9.0
YOLOv5s	0.813	0.987	0.988	0.929	0.896	0.923	0.759	9.12	1.4
YOLOv6s	0.807	0.985	0.990	0.927	0.911	0.941	0.781	16.30	3.6
YOLOv8n	0.815	0.983	0.990	0.930	0.920	0.938	0.771	3.01	1.5
YOLOv8s	0.788	0.987	0.988	0.921	0.866	0.913	0.750	11.13	1.8
YOLOv8m	0.872	0.992	0.989	0.958	0.898	0.945	0.781	25.86	3.8
YOLOv8l	0.810	0.993	0.992	0.932	0.918	0.943	0.779	43.63	12.8
YOLOv8x	0.859	0.992	0.990	0.947	0.919	0.957	0.790	68.16	21.1
YOLOv8-DL	0.931	0.993	0.992	0.972	0.950	0.977	0.805	2.08	1.9

算法模型

mAP@0.5

mAP@
0.5:0.95

参数量/M

推理速度/
ms

凸点

单光圈

双光圈

Faster R-CNN

0.645

0.821

0.869

0.778

0.767

0.811

0.756

134.08

16.3

YOLOv3s

0.882

0.959

0.990

0.944

0.916

0.949

0.774

103.69

9.0

YOLOv5s

0.813

0.987

0.988

0.929

0.896

0.923

0.759

9.12

1.4

YOLOv6s

0.807

0.985

0.990

0.927

0.911

0.941

0.781

16.30

3.6

YOLOv8n

0.815

0.983

0.990

0.930

0.920

0.938

0.771

3.01

1.5

YOLOv8s

0.788

0.987

0.988

0.921

0.866

0.913

0.750

11.13

1.8

YOLOv8m

0.872

0.992

0.989

0.958

0.898

0.945

0.781

25.86

3.8

YOLOv8l

0.810

0.993

0.992

0.932

0.918

0.943

0.779

43.63

12.8

YOLOv8x

0.859

0.992

0.990

0.947

0.919

0.957

0.790

68.16

21.1

YOLOv8-DL

0.931

0.993

0.992

0.972

0.950

0.977

0.805

2.08

1.9