科学技术与工程

算法	AP₅₀(检测)	AP₅₀(分割)
CIoU	75.7	65.4
WIoU(α=2.4,&=2)	76.5	65.5
WIoU(α=2.0,&=3)	76.8	65.6
WIoU(α=1.8,&=4)	77.1	65.6
WIoU(α=1.5,&=5)	76.9	65.3

算法	AP₅₀(检测)	AP₅₀(分割)
CIoU	75.7	65.4
WIoU(α=2.4,&=2)	76.5	65.5
WIoU(α=2.0,&=3)	76.8	65.6
WIoU(α=1.8,&=4)	77.1	65.6
WIoU(α=1.5,&=5)	76.9	65.3

算法	主干网络	mAP(检测)	AP₅₀(检测)	AP_50~95(检测)	mAP(分割)	AP₅₀(分割)	AP_50~95(分割)
Mask-R-CNN	ResNet-101-FPN	45.3	63.9	50.0	42.9	59.7	47.1
Cascade R-CNN	ResNet-101-FPN	46.3	63.8	52.5	—	—	—
BCNet	ResNet-101-FPN	48.5	65.6	52.1	45.1	61.3	49.2
ETHSeg	ResNet-101-FPN	48.7	66.7	53.3	46.9	63.2	51.0
双层DCT-Mask	ResNet-101-FPN	52.6	68.7	—	49.2	65.9	—
YOLACT	ResNet-101-FPN	46.9	64.6	47.2	44.7	61.7	59.1
YOLOv8n(seg)	DarkNet-53	76.6	75.7	60.6	71.6	65.4	56.4
Solov2	ResNet50vd-DCN	46.7	64.3	46.9	47.5	63.2	59.5
本文算法	DarkNet-53	87.1	83.6	63.4	77.7	70.8	59.7

算法	主干网络	mAP(检测)	AP₅₀(检测)	AP_50~95(检测)	mAP(分割)	AP₅₀(分割)	AP_50~95(分割)
Mask-R-CNN	ResNet-101-FPN	45.3	63.9	50.0	42.9	59.7	47.1
Cascade R-CNN	ResNet-101-FPN	46.3	63.8	52.5	—	—	—
BCNet	ResNet-101-FPN	48.5	65.6	52.1	45.1	61.3	49.2
ETHSeg	ResNet-101-FPN	48.7	66.7	53.3	46.9	63.2	51.0
双层DCT-Mask	ResNet-101-FPN	52.6	68.7	—	49.2	65.9	—
YOLACT	ResNet-101-FPN	46.9	64.6	47.2	44.7	61.7	59.1
YOLOv8n(seg)	DarkNet-53	76.6	75.7	60.6	71.6	65.4	56.4
Solov2	ResNet50vd-DCN	46.7	64.3	46.9	47.5	63.2	59.5
本文算法	DarkNet-53	87.1	83.6	63.4	77.7	70.8	59.7

算法	mAP(检测)	AP₅₀(检测)	mAP(分割)	AP₅₀(分割)
YOLOv8n	76.6	75.7	71.6	65.4
+TLF	80.7	77.5	75.8	68.8
+EMA	82.4	78.3	75.9	70.1
+C2f-DCN	85.1	79.7	76.7	70.5
+Soft-NMS	85.7	82.2	76.9	70.6
+WIoU	87.1	83.6	77.7	70.8

算法	mAP(检测)	AP₅₀(检测)	mAP(分割)	AP₅₀(分割)
YOLOv8n	76.6	75.7	71.6	65.4
+TLF	80.7	77.5	75.8	68.8
+EMA	82.4	78.3	75.9	70.1
+C2f-DCN	85.1	79.7	76.7	70.5
+Soft-NMS	85.7	82.2	76.9	70.6
+WIoU	87.1	83.6	77.7	70.8

基于TLF-YOLOv8的堆叠垃圾实例分割算法

PDF下载

李利 ¹^,²^,³ , 梁晶 ¹^,² , 陈旭东 ¹^,² , 潘红光 ¹^,² , 寇发荣 ¹^,³

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(5): 2009-2018

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(5): 2009-2018

基于TLF-YOLOv8的堆叠垃圾实例分割算法

全屏

李利¹^,²^,³, 梁晶¹^,², 陈旭东¹^,², 潘红光¹^,², 寇发荣¹^,³

作者信息

¹ 西安科技大学电气与控制工程学院, 西安 710054

² 西安市电气设备状态监测与供电安全重点实验室, 西安 710054

³ 西安科技大学机械工程学院, 西安 710054

李利(1991—),男,汉族,山东枣庄人,博士,讲师,硕士研究生导师。研究方向:网络化系统控制、模式识别及应用、故障诊断等。E-mail:lilxiansen@163.com。

Stacked Garbage Instance Segmentation Algorithm Based on TLF-YOLOv8

Li LI¹^,²^,³, Jing LIANG¹^,², Xu-dong CHEN¹^,², Hong-Guang PAN¹^,², Fa-rong KOU¹^,³

Affiliations

¹ School of Electrical and Control Engineering, Xi’an University of Science and Technology, Xi’an 710054, China

² Xi’an Key Laboratory of Electrical Equipment Status Monitoring and Power Supply Safety, Xi’an 710054, China

³ School of Mechanical Engineering, Xi’an University of Science and Technology, Xi’an 710054, China

出版时间: 2025-02-18 doi: 10.12404/j.issn.1671-1815.2402281

文章导航

摘要

收起

相较于一般场景下的图像实例分割,复杂堆叠场景下的实例分割受到严重遮挡、同类别待测物体堆叠等复杂情况的影响,使得其实例分割具有更大的难度。针对具有复杂堆叠场景下的垃圾实例分割问题,提出了一种融合YOLOv8与双层特征网络策略的实例分割算法。首先,在数据预处理部分进行特征数据分层,并通过双层图卷积网络(graph convolutions network,GCN)实现双分支特征融合,减弱堆叠情况对被遮挡物体特征的影响,从而解决复杂堆叠遮挡下的实例分割问题。同时,为了解决同类待测物体易混淆的问题,融入了软阈值化非极大值抑制算法和新的交并比算法。最后,根据应用场景和数据集的复杂性,优化了主干网络部分的特征提取模块,并在主干网络部分引入了多尺度注意力机制,有效提高了模型的检测性能。实验使用遮挡垃圾分类实例分割数据集,实验结果表明该方法的平均准确率、交并比阈值为0.5时的平均准确率(AP₅₀)、交并比为0.5~0.95时的平均准确率(AP_50~95)等指标较之前的其他方法更优。相较于原YOLOv8算法,检测AP₅₀提高了7.9%,分割AP₅₀提高了5.4%,具有更好的检测和分割效果。

关键词

垃圾堆叠 / 双层特征解耦融合 / YOLOv8算法 / 软阈值化非极大值抑制 / 动态非单调聚焦机制 / 期望最大化注意力

Abstract

收起

Compared to image instance segmentation in general scenes, instance segmentation in complex stacked scenes is affected by complex situations such as severe occlusion and stacking of similar objects, making instance segmentation more difficult. To solve the problem of garbage instance segmentation in complex stacking scenarios, an instance segmentation algorithm combining YOLOv8 and two-layer feature network strategy was proposed. Firstly, the feature data was layered in the data preprocessing part, and the two-branch feature fusion was realized through the graph convolutions network (GCN), which reduces the influence of stacking on the features of the occluded objects, thus solving the instance segmentation problem under complex stack occlusion. At the same time, in order to solve the problem that similar objects are easily confused, a soft threshold non-maximum suppression algorithm and a new intersection ratio algorithm were integrated. Finally, according to the complexity of application scenarios and data sets, the feature extraction module of the backbone network was optimized, and the multi-scale attention mechanism was introduced in the backbone network, which effectively improves the detection performance of the model. In the experiment, examples of occlusive garbage classification were used to segment the dataset. The experimental results show that this method outperforms other methods in terms of average accuracy, average accuracy when the intersection to union ratio threshold is 0.5 (AP₅₀), and average accuracy when the intersection to union ratio is 0.5~0.95 (AP_50~95). Compared with the original YOLOv8 algorithm, the detection AP₅₀is increased by 7.9% and the segmentation AP₅₀ is increased by 5.4%, which has better detection and segmentation effects.

Key words

garbage stacking / double layer feature decoupling fusion / YOLOv8 algorithm / soft non-maximum suppression / wise-intersection over union / expectation-maximization attention

引用本文

李利, 梁晶, 陈旭东, 潘红光, 寇发荣. 基于TLF-YOLOv8的堆叠垃圾实例分割算法. 科学技术与工程, 2025 , 25 (5) : 2009 -2018 . DOI: 10.12404/j.issn.1671-1815.2402281

Li LI, Jing LIANG, Xu-dong CHEN, Hong-Guang PAN, Fa-rong KOU. Stacked Garbage Instance Segmentation Algorithm Based on TLF-YOLOv8[J]. Science Technology and Engineering, 2025 , 25 (5) : 2009 -2018 . DOI: 10.12404/j.issn.1671-1815.2402281

正文

收起

随着社会的急速发展和人们消费水平的日益增长,人类产生的废物垃圾越来越多,这为垃圾处理带来巨大压力,处理不当可能会给生态系统带来不可逆转的灾难,包括气候变暖、土壤污染、海洋污染等^[1]。垃圾分类是一项重要的环保行动,通过对垃圾进行分类投放、收集、运输和处理,可以实现垃圾减量化、资源化和无害化,对保护环境、节约资源和促进可持续发展具有重要意义^[2-3]。垃圾分类可看作是一种复杂堆叠场景,分类前提是要进行垃圾的识别,只通过自然图像难以实现堆叠场景下的垃圾识别^[4]。由于X射线技术具有高透射性和保留边缘轮廓信息的特点^[5],故 X射线技术被用于垃圾焚烧发电厂和城市固体废弃物处理中心等场所的垃圾分类处理^[6]。使用X 射线技术, 可以对垃圾进行分类和筛选,将可回收物、有害垃圾和其他垃圾分开,实现垃圾的减量化和资源化。因此,研究堆叠场景下基于X射线的垃圾实例分割算法具有重要的意义。

针对堆叠场景下的垃圾识别,要解决的关键问题是如何对该场景中遮挡部分的有效特征进行补偿、如何改善由于场景的密集性所导致的候选框混淆问题,以及通过何种方式提高算法的检测精度^[7-8]。目前,许多研究人员针对不同场景中的实例分割问题进行了研究,取得了许多成果。针对一般场景的实例分割算法通常可分为双阶段和单阶段两大类, 其中双阶段算法主要由目标检测和实例分割两阶段组成。He等^[9]基于先检测后分割的思路提出了双阶段算法中最为经典的掩码区域卷积神经网络(mask region-based convolutional neural network,Mask-RCNN)算法。Kirillov等^[10]进一步细化了Mask-RCNN产生的粗糙掩码边缘分割算法。Rendle等^[11]通过后处理细化模块提高 Mask-RCNN的边界质量。 Zhang等^[12]利用边缘信息和语义分割信息提出了细化Mask-RCNN生成的粗糙掩码边缘的RefineMask算法。不同于双阶段算法,单阶段实例分割算法主要是通过目标检测和像素分割并行的方式实现实例分割,这种设计思路使得该类算法具有较少的网络参数,实时性远高于双阶段算法。Tian等^[13]提出了一种无锚框的候选框生成算法。Wang等^[14]基于单阶段算法思路提出了一种划分区域后直接分割的基于位置的目标分割 (segmenting objects by locations,Solo)算法。Bolya 等^[15]通过设计解耦分支进一步减小了分割网络的整体参数量,进而大大提升了网络的实时性。另外,针对类似堆叠场景中的实例分割算法,目前学术界在这方面研究较少,基于多尺度特征融合的方式提高分割效果是目前此类场景提高分割精度的主要研究方法。Ling等^[16]基于全卷积单阶段目标检测(fully convolutional one-stage object detection,FCOS)算法,提出了一种遮挡感知下的双图层实例分割网络 (bilayer convolutional network,BCNet), 将图像中感兴趣区域 (region of interest,RoI) 建模为两个重叠图层,并在mask和boundary预测的同时考虑遮挡关系的相互影响。Ke等^[17]基于proposal-free的思路,结合重叠场景下的X射线检测需求,提出了一种由“易”到“难”策略(easy-to-hard instance segmentation network,ETHSeg),通过置信度高低划分图层,再进行特征融合。然而,受其网络结构局限,算法性能较低且未考虑到该类场景中的其他因素对实例分割效果的影响。总的来说,这种方法实质上只是通过增加梯度流和模型参数的方式提高检测性能,对该类场景的针对性不强,效果也并不理想。

综上可知,现有算法没有考虑到堆叠场景特性对实例分割效果的影响,其分割精度和分割效果仍有提升的空间^[18-20]。现针对堆叠场景下的垃圾分类问题,基于X射线透射图数据特性和YOLOv8、BCNet等基本方法,提出一种双层特征融合YOLOv8(two layer feature fusion YOLOv8,TLF-YOLOv8)实例分割算法,解决堆叠场景下垃圾分类检测和检测精度不高的难题。首先, 为了减弱堆叠场景对图像实例分割的影响,对输入训练集图像进行特征分层,再使用特征提取网络提取图像特征。然后,针对堆叠场景候选框易混淆的问题,在主干网络中引入软阈值化非极大值抑制(soft non-maximum suppression, soft-NMS)算法和动态非单调聚焦机制(wise-intersection over union, WIoU),保留同类堆叠待测物体的候选框信息。其次,针对模型检测精度问题,引入期望最大化注意力机制(expectation-maximization attention,EMA),同时优化主干网络部分的特征提取 (CSPLayer-2Conv,C2f),用于提高后续的检测和分割精度。最后,使用一组遮挡垃圾分类实例数据集进行实验验证。

1 YOLOv8介绍

收起

YOLOv8 骨干网络和Neck部分参考了YOLOv7 ELAN设计思想,将YOLOv5的C3结构换成了梯度流更丰富的C2f 结构,并对不同尺度模型调整了不同通道数,大幅提升了模型性能。Head 部分相比YOLOv5改动较大,换成了目前主流的解耦头结构,将分类和检测头分离,同时也从Anchor-Based换成了Anchor-Free,如图1所示。

Loss计算方面采用了Task Aligned Assigner正样本分配策略,并引入了Distribution Focal Loss。训练数据增强部分引入了YOLOX中的最后10 epoch关闭Mosiac增强的操作,有效地提升了精度。为保证TLF-YOLOv8实例分割算法的实时性和快速性,采用YOLOv8n作为原基准权重模型。

2 TLF-YOLOv8算法

收起

如图2所示,TLF-YOLOv8算法采用了一种基于YOLOv8网络架构的双分支特征融合结构,使用解耦的掩模特征数据作为第二分支的输入,并在并行检测1头之前设计特征融合。通过这种方法使图卷积网络GCN层能够学习场景中的上下文依赖关系。此外,在检测头之前进行特征融合,避免增加太多的计算成本和模型参数量。同时,只对检测头的一个输入通道进行特征融合,可以最大限度地减少对原始网络稳定性的影响。本文算法考虑到场景中候选框密集和测试实例容易变形的特点,还对部分结构中的算法进行了优化。

2.1 双层解耦特征融合

在堆叠场景进行实例分割时,由于物体互相堆叠,导致主干特征提取网络难以提取到被遮挡物体的部分有效特征。为了减弱上层物体对下层待测物体的这种影响,引入了一种双层特征解耦融合的思想,通过对上下层特征解耦,再通过图卷积网络算法对两层特征进行融合,使得特征提取网络能够学习到被遮挡区域的部分特征,从而在一定程度上减弱了堆叠场景对下层待测物体实例分割的影响,整体流程如图3所示。

2.1.1 特征解耦分层

如图4所示,在数据集的数据处理部分对标注数据进行解耦分层。具体来说,先遍历一个矩形框的列表,对于列表中的每个矩形框,计算它与其他矩形框之间的交集并生成统一掩码,记录交集的像素总数;然后,计算交集像素总数与矩形框内像素总数之间的比例,从而判断该矩形框是否与其他物体相交。

对位于交集中的矩形框,通过计算该掩码中的非零像素数量,使其生成背景“对象”分割掩码。同时寻找该掩码中的所有连通区域,并对每个连通区域进行简化处理,生成包含所有连通区域的遮挡层分割掩码列表。然后, 通过图卷积网络,实现对遮挡层和被遮挡层的特征关系表达,从而达到遮挡层辅助被遮挡层分割的效果。

2.1.2 特征融合

对数据集进行预处理,首先,解耦出两层特征图像数据后,通过特定标签区分,将两层特征图像数据分别作为两个分支的输入;然后,将原始输入的特征图与输出的特征图进行元素相加操作得到最后输出带权重的特征图。

如图5所示,采用双层GCN层网络思想,对于得到的特征,第一个GCN通过同时检测遮挡轮廓和掩模,显式地建模遮挡区域,提取必要的信息,指导第二个GCN的掩模预测。具体来说,双层GCN网络策略实现了两个GCN层的特征权重融合,算法流程如下。

步骤1 首先,第一个GCN网络通过1×1卷积对输入特征向量x进行通道数压缩;然后,将卷积后输出的、两组特征向量进行矩阵乘法得到注意力权重矩阵,再进行softmax操作;最后,将得到的权重矩阵g、ϕ、θ与分支输出的特征向量进行点乘,得到带注意力的矩阵特征图,经过1×1卷积得到与输入大小一致的输出特征图z₀。

步骤2 将第一个GCN网络得到的输出特征图z与第二个GCN网络的输入特征x累加,从而获得融合的遮挡感知特征,并将其作为第二个GCN层的输入。第二个GCN层得到输入后,重复步骤1,得到输出特征z。

步骤3 将输出特征图z用于掩模分割预测。

2.2 Soft-NMS算法优化

在实际研究中,高度重叠场景下部分待测物较为密集,难以进行同类物体的独立分割。针对此问题,考虑去掉传统的NMS算法。因为传统的 NMS方法是基于分类分数的,只有最高分数的预测框能留下来,但是大多数情况下IoU和分类分数不是强相关,很多分类标签置信度高的框位置都不准。同时,还会有其他物体的框因和当前物体的框重合部分过多而被删掉的情况,如图6所示。因此,改用 Soft-NMS算法。

Soft-NMS通过IoU算法计算后,对于最高分框overlap大于设定阈值的候选框,不把它直接去掉,而是将它的置信度降低,如式(1)所示。同一个物体周围的框有很多,每次选择分数最高的框,抑制其周围的框,分数最高的框的IoU越大,抑制程度越大。一般来说,表示同一个物体的框的IoU 是会比另一个物体的框的IoU大,故这样就会将其他物体的框保留下来,而同一个物体的框被去掉。通过这种方法,可以使多一些候选框被保留下来, 一定程度上避免overlap的情况出现,提高了重叠场景下的检测效果。

(1)$S_{i}=\left\{\begin{array}{ll} S_{i}, & \operatorname{IoU}\left(M, b_{i}\right)＜N_{t} \\ S_{i}\left[1-\operatorname{IoU}\left(M, b_{i}\right],\right. & \operatorname{IoU}\left(M, b_{i}\right) \geqslant N_{t} \end{array}\right.$

2.3 WIoU算法优化

堆叠场景下的实例分割存在候选框选取难区分的问题,而YOLOv8原有纵横比-交并比算法(complete-intersection over union,CIoU)只考虑了预测框和真实框的重叠部分,没有考虑两者之间的区域,导致在评估结果时可能存在偏差。在 Head部分引入了WIoU算法,如图7所示。

WIoU通过考虑预测框和真实框之间的区域对 IoU进行加权,解决了传统IoU在评估结果时可能存在的偏差问题。具体而言,WIoU计算方法如下。

步骤1 计算预测框和真实框的IoU得分。

步骤2 计算两个框之间的区域:用预测框和真实框的边框中心点计算它们之间的距离,并将这个距离作为两个框之间的最大距离,进而计算两个框之间的区域。

步骤3 根据两个框之间的区域,计算权重系数,该系数衡量了两个框之间的关系,可以用于加权 IoU得分。

步骤4 通过引入框之间的区域和权重系数,WIoU可以更准确地评估目标检测结果,避免了传统IoU的偏差问题。

在WIoU中,每个物体框的权重取决于其与真实标注框的重叠程度。重叠程度越大的物体框权重越高,重叠程度越小的物体框权重越低。通过这种方式,WIoU能够更好地评估检测结果,并且在存在大小物体不平衡的情况下也能给出更准确的评价,同时也更贴合实际研究场景。

2.4 C2f_DCN算法优化

考虑到堆叠场景及对应数据集中部分实例的不规则性,且样本更加复杂多变,为了使网络尽可能保留更多有效信息,在网络中引入了可变形卷积(deformable convolutional networks,DCN)。其原理主要用额外的偏移量来增加模块中的空间采样位置,并学习来自目标任务的偏移量,无须额外监督。传统的卷积结构可以定义为

(2)$y\left(P_{0}\right)=\sum_{P_{n} \in \mathbf{R}} w\left(P_{n}\right) x\left(P_{0}+P_{n}\right)$

式(2)中:y为输出特征图的每个点,与卷积核中心点对应;P_n为P₀在卷积核范围内的每个偏移量。

可变形卷积则在式(2)的基础上为每个点引入了一个偏移量ΔP_n,偏移量是由输入特征图与另一个卷积生成,通常是小数,如式(3)所示。

(3)$y\left(P_{0}\right)=\sum_{P_{n} \in \mathbf{R}} w\left(P_{n}\right) x\left(P_{0}+P_{n}+\Delta P_{n}\right)$

此外,为了保证算法的检测精度,在主干特征提取网络C2f模块中的残差连接模块Bottleneck中引入DCN,再将 Bottleneck_DCN引入C2f模块中,组成 C2f_DCN,如图8所示。

通过这种方式,引入DCN替代了原模型中的卷积算法。相比于传统卷积,DCN能更好地提高主干网络对复杂形变物体特征轮廓的表达能力。同时,为了不影响整体网络的收敛性,仅在主干特征提取网络的C2f中加入这种卷积方式,而未更改后续网络部分C2f的卷积方式,保证了算法的稳定性。

2.5 EMA注意力机制

针对本文算法的实例分割精度问题,引入了EMA注意力机制,实现了在原有全局特征图的基础上通过期望最大化重建特征图,从而提高算法的图像分割性能。如图9所示,期望最大化注意力机制EMA,摒弃了在全图上计算注意力图的流程,转而通过期望最大化(EM)算法迭代出一组紧凑的基,在这组基上运行注意力机制,从而大大降低了复杂度。其中,E步更新注意力图,M步更新该组基。E、M交替执行,收敛之后用来重建特征图。

3 实验仿真

收起

3.1 数据集与评价指标

实验使用了一个由香港中文大学提出的5 038张X射线图像 (共30 881个垃圾检测对象) 组成的真实数据集作为基准数据集。在此基础上,在训练集与测试集中筛选并补充了部分搜集到的X射线垃圾图像数据。

实验采用mAP、AP₅₀、AP_50~95作为算法性能的评价指标。其中,mAP表示所有类别的平均准确率(mean average precision);AP₅₀表示交并比为0.5时的mAP,AP_50~95表示交并比为0.5~0.95时的mAP。mAP计算公式如式(4)所示。

(4)$\mathrm{mAP}=\frac{1}{C} \sum_{i=1}^{C} \int_{0}^{1} P(R) \mathrm{d} R$

式(4)中:C为数据集的类别数量;P(precision)为每一类的准确率;R(recall)为召回率,即算法正确识别的目标与所有目标的比值。mAP实质上是P-R曲线下的面积。当R= 0.5时,所求得的mAP即为AP₅₀,同理可得AP_50~95。

3.2 训练硬件环境

实验所使用电脑的操作系统为Linux,GPU为英伟达2080Ti,显存12 G。同时,将BATCH SIZE设置为6,较高的学习率可能导致训练不稳定,而较低的学习率可能导致训练速度过慢或模型陷入局部最优,因此将初始学习率设置为常用的0.01。Mosiac数据增强算法默认最后10轮关闭,使得模型更好地适应原始数据分布,减少过拟合的风险。

3.3 对比实验分析

3.3.1 模型参数及改进效果

从模型复杂度角度分析,YOLOv8n网络模型共有225个layers,共计3 157 200个参数。沿用基准模型YOLOv8n基本网络结构,提出了新的TLF-YOLOv8网络。改进后的网络模型共有278个layers,共计3 893 736个参数。模型参数量有了一定增加,网络计算复杂度由原模型的12.6GFLOPs增长为13.2 GFLOPs,但检测效果提升显著,其中GFLOPs(giga floating-point operations per second),即每秒10亿(10⁹)次的浮点运算数。

检测效果如图10所示,可以明显看出,改进后的TLF-YOLOv8算法对处于堆叠场景下的待测物体的检测效果有了较明显的提高,同时也能较好地对堆叠物体的边缘部分进行分割。

模型训练损失函数的收敛曲线如图11所示,损失函数在50个epochs里未有明显波动,模型损失函数值趋于稳定,即损失函数收敛。其中,训练时损失函数在最后10个epochs时,由于关闭Mosiac数据增强算法,使得损失函数有了小幅下降,属正常现象。

3.3.2 损失函数超参对比分析

改进后的交并比算法损失函数到受超参数α和&影响,且最优的一组超参数往往要受到数据集和网络结构的影响。为选取合适的超参数,增加超参数对比试验,得出参数组为α=1.8,&=4时,模型性能达到最佳,实验结果如表1所示。

3.3.3 F₁曲线评估

为了更加全面地评估模型的稳健性,实验采用F₁作为模型性能评价指标之一。F₁综合考虑了模型的精确度和召回率,在这两个指标的基础上进行计算,计算公式如式(5)所示。

(5)$F_{1}=2 \frac{P R}{P+R}$

F₁曲线如图12所示,图(a)为检测F₁,图(b)为分割F₁。其中每个图中的12条细实线为数据集对应的12个类别的分数,粗实现代表模型总体的F₁,两图的模型F₁分数都达到0.5以上,表明模型有较好的稳健性。

3.3.4 主流算法对比分析

为进一步验证本文算法的有效性,使用一些相同领域类的主流算法进行对比,结果如表2所示。

相比于原始YOLOv8等主流网络算法,TLF-YOLOv8融合网络算法的检测平均准确率、检测AP₅₀、分割平均准确率、分割AP₅₀等指标均有了较大提高。从检测角度分析,检测平均准确率提高了10.5%,检测AP₅₀提高了7.9%,检测AP_50~95提高了2.8%。从分割角度分析,分割平均准确率提高了6.1%,分割AP₅₀提高了5.4%,分割AP_50~95提高了3.3%。因此,相较于原算法,改进后的算法针对堆叠实例的实例分割性能有了明显改善。

3.4 消融实验分析

为验证各个改进策略的效果,在X射线垃圾识别数据集上进行了多组消融实验,实验结果如表3所示。

(1) 加入双层特征解耦策略的TLF-YOLOv8算法的性能明显优于原始YOLOv8网络,检测平均准确率提高了4.1%,检测AP₅₀提高了1.8%;分割平均准确率提高了4.2%,分割 AP₅₀提高了3.4%。

(2) 使用加入EMA注意力机制的改进网络和未加之前的网络模型进行对比,检测平均准确率提高了1.7%,检测AP₅₀提高了0.8%;分割平均准确率未有明显变化。

(3) 引入优化后的Bottleneck_DCN组成C2f_ DCN模块后,检测的平均准确率提高了2.7%,检测AP₅₀提高了1.4%,改进网络的检测性能明显优于原始网络。

(4) 将YOLOv8中原始NMS优化为Soft-NMS, 优化后的网络的检测性能明显优于原始网络,其中检测的平均准确率提高了0.6%,检测AP₅₀提高了 2.5%。由于Soft-NMS只是对候选框选取方法做了优化,保留了部分低置信度的候选框,所以改进后模型的平均准确率提升效果不明显,但其在一定程度上减弱了同类待测物体在堆叠场景下候选框易混淆的问题。同时,保留的部分候选框在后续的分类回归中得到了一定分数,从而使AP₅₀有了较明显的提升。

(5) 引入WIoU替换YOLOv8中的CIoU后,优化后的网络的检测性能明显优于原始网络,其中检测的平均准确率提高了1.4%,检测AP₅₀提高了 1.4%,分割性能指标变化不明显。

4 结论

收起

针对复杂堆叠垃圾场景的实例分割问题,提出了一种TLF-YOLOv8实例分割算法。在具有严重堆叠的垃圾识别场景下,能够有效减弱堆叠现象对图像实例分割的影响,从而准确地对图像待测目标进行实例分割。首先,在YOLOv8算法中引入双层特征融合的思路,通过对数据集输入数据解耦, 划分上下层,再通过建立双分支进行特征融合,从而尽可能保持参数成本,并减弱堆叠场景对图像实例分割的严重影响。其次,引入了Soft-NMS,有效保留了同类别堆叠物体的独立候选框信息。为了提高复杂场景下的实例分割效果,在基准模型骨干中采用Bottleneck_DCN结构对主干特征提取网络部分的C2f 模块进行优化;同时引入了EMA注意力机制,提高了算法的图像分割性能。最后,根据场景及数据集特点,将WIoU损耗作为边界框回归损失,间接改善了候选框混淆问题。以X射线垃圾处理数据集为实验验证对象,设计了对比实验、消融实验等,从多个角度证明了所提出改进方法的可行性和有效性。同时,在实验过程中,发现该网络的改进结构存在冗余问题,即在实际模型推理中,通常只需要一个分支图像输入,则第二分支部分结构难以形成有效权重,且算法复杂度有了一定增加。

研究成果主要贡献如下。

(1)在YOLOv8中融合双层特征解耦思想,对数据集部分标注特征进行分层。通过该方法,对下层待测物体由于遮挡所引起的特征缺失现象进行了一定补偿,减弱了上层遮挡物体对下层被遮挡物体实例分割的影响

(2)针对堆叠场景下多个处于部分重叠状态的同类物体候选框易混淆的问题,引入了软阈值化NMS和WIoU算法,即在原有纵横比-交并比算法CIoU的基础上,引入了基于候选框距离的惩罚因子,改善了候选框易混淆的问题。

(3)基于YOLOv8n基准模型,引入了注意力机制,优化了主干网络部分的C2f模块,有效提高了模型的检测性能。

基金

收起

国家自然科学基金(61603295)
陕西省自然科学基础研究计划(2024JC-YBQN-0726)
陕西省教育厅科研计划(23JK0550)
西安市科技计划(23DCYJSGG0025-2022)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

胡滨, 许向勇, 邵建强, 等. 我国生活垃圾分类现状及改进对策研究[J]. 中国资源综合利用, 2023, 41(10): 120-122.

Bin

, Xu

Xiangyong

, Shao

Jianqiang

, et al. Research on the current situation and improvement strategies of domestic waste classification in China[J]. China Comprehensive Utilization of Resources, 2023, 41 (10): 120-122.

[2]

李宇聪, 潘越, 王耀, 等. 中国厨余垃圾处理现状及展望[J]. 中国资源综合利用, 2023, 41(6): 119-121.

Yucong

, Pan

Yue

, Wang

Yao

, et al. The current situation and prospects of kitchen waste treatment in China[J]. China Comprehensive Utilization of Resources, 2023, 41(6): 119-121.

[3]

成浪, 敬超, 陈文鹏. 基于神经网络架构搜索的X射线图像违禁品检测算法[J]. 科学技术与工程, 2024, 24(2): 665-675.

Cheng

Lang

, Jing

Chao

, Chen

Wenpeng

, et al. Detection algorithm of contraband in X-ray image based on neural network architecture search[J]. Science Technology and Engineering, 2024, 24 (2): 665-675.

[4]

邓健志, 支佩佩, 张峰铭, 等. 结合拆分注意力特征融合的病理图像分割网络[J]. 科学技术与工程, 2023, 23(7): 2922-2931.

Deng

Jianzhi

, Zhi

Peipei

, Zhang

Fengming

, et al. Pathological image segmentation network combined with split attention feature fusion[J]. Science Technology and Engineering, 2023, 23 (7): 2922-2931.

[5]

包锐. X射线透射方法在矿产品检测中的应用[J]. 现代工业经济和信息化, 2023, 13(1): 132-133, 136.

Bao

Rui

. The application of X-ray transmission method in mineral product detection[J]. Modern Industrial Economy and Information Technology, 2023, 13 (1): 132-133, 136.

[6]

李启明, 阙祖航. 基于改进YOLOv5的X射线图像危险品检测[J]. 科学技术与工程, 2023, 23(4): 1598-1606.

Qiming

, Que

Zuhang

. X-ray image dangerous goods detection based on improved YOLOv5[J]. Science Technology and Engineering, 2023, 23(4): 1598-1606.

[7]

高新阳, 魏晟, 温志庆, 等. 改进YOLOv5轻量级网络的柑橘检测方法[J]. 计算机工程与应用, 2023, 59(11): 212-221.

Gao

Xinyang

, Wei

Sheng

, Wen

Zhiqing

, et al. Improved citrus detection method for YOLOv5 lightweight network[J]. Computer Engineering and Applications, 2023, 59(11): 212-221.

[8]

吕岳, 周浙泉, 吕淑静. 基于双层解耦策略和注意力机制的遮挡目标分割[J]. 电子与信息学报, 2023, 45(1): 335-343.

Lü

Yue

, Zhou

Zhequan

, Lü

Shujing

. Occlusive target segmentation based on double-layer decoupling strategy and attention mechanism[J]. Journal of Electronics and Information Science, 2023, 45(1): 335-343.

[9]

K M

, Gkioxari

, Piotr

, et al. Mask-RCNN[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 2961-2969.

[10]

Kirillov

, Wu

, He

, et al. Pointrend: image segmentation as rendering[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 9799-9808.

[11]

Rendle

, Freudenthaler

, Gantner

, et al. BPR: Bayesian personalized ranking from implicit feedback[J]. ArXiv Preprint ArXiv, 2012: 1205.2618.

[12]

Zhang

, Lu

, Tan

, et al. Refinemask: towards high-quality instance segmentation with fine-grained features[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 6861-6869.

[13]

Tian

, Shen

, Chen

, et al. FCOS: a simple and strong anchor-free object detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 1922-1933.

[14]

Wang

, Zhang

, Kong

, et al. Solov2: dynamic and fast instance segmentation[J]. Advances in Neural Information Processing Systems, 2020, 33: 17721-17732.

[15]

Bolya

, Zhou

, Xiao

, et al. Yolact: real-time instance segmentation[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 9157-9166.

[16]

Ling

T Q

, Zhang

Y X

, Wang

K L

. ETHSeg: an amodel instance segmentation network and a realworld dataset for X-ray waste inspection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 2283-2292.

[17]

, Tai

Y W

, Tang

C K

, et al. Deep occlusion-aware instance segmentation with overlapping bilayers[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 4019-4028.

[18]

倪汉杰, 初秀民, 张彬鹏, 等. 基于改进Cascade-RCNN的内河航标检测算法[J]. 中国航海, 2022, 45(3): 99-106.

Hanjie

, Chu

Xiumin

, Zhang Binpeng, etc. An improved Cascade RCNN based inland navigation mark detection algorithm[J]. China Navigation, 2022, 45(3): 99-106.

[19]

赵旭, 王宏. 基于MaskRCNN改进的全自动脑肿瘤分割[J]. 首都师范大学学报: 自然科学版, 2021, 42(6): 1-7.

Zhao

, Wang

Hong

. Improved fully automatic brain tumor segmentation based on MaskRCNN[J]. Journal of Capital Normal University: Natural Science Edition, 2021, 42(6): 1-7.

[20]

游江川. 基于改进Mask-RCNN的路面裂缝检测[J]. 电视技术, 2022, 46(6): 7-9, 19.

You

Jiangchuan

. Road crack detection based on improved Mask RCNN[J]. Television Technology, 2022, 46(6): 7-9, 19.

2025年第25卷第5期

PDF下载

393

166

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2402281

接收时间：2024-03-31
首发时间：2025-07-29
出版时间：2025-02-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-03-31
修回日期：2024-11-18

基金

国家自然科学基金(61603295)

陕西省自然科学基础研究计划(2024JC-YBQN-0726)

陕西省教育厅科研计划(23JK0550)

西安市科技计划(23DCYJSGG0025-2022)

作者信息

¹ 西安科技大学电气与控制工程学院, 西安 710054

² 西安市电气设备状态监测与供电安全重点实验室, 西安 710054

³ 西安科技大学机械工程学院, 西安 710054

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2402281

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法	AP₅₀(检测)	AP₅₀(分割)
CIoU	75.7	65.4
WIoU(α=2.4,&=2)	76.5	65.5
WIoU(α=2.0,&=3)	76.8	65.6
WIoU(α=1.8,&=4)	77.1	65.6
WIoU(α=1.5,&=5)	76.9	65.3

算法

AP₅₀(检测)

AP₅₀(分割)

CIoU

75.7

65.4

WIoU(α=2.4,&=2)

76.5

65.5

WIoU(α=2.0,&=3)

76.8

65.6

WIoU(α=1.8,&=4)

77.1

65.6

WIoU(α=1.5,&=5)

76.9

65.3

算法	主干网络	mAP(检测)	AP₅₀(检测)	AP_50~95(检测)	mAP(分割)	AP₅₀(分割)	AP_50~95(分割)
Mask-R-CNN	ResNet-101-FPN	45.3	63.9	50.0	42.9	59.7	47.1
Cascade R-CNN	ResNet-101-FPN	46.3	63.8	52.5	—	—	—
BCNet	ResNet-101-FPN	48.5	65.6	52.1	45.1	61.3	49.2
ETHSeg	ResNet-101-FPN	48.7	66.7	53.3	46.9	63.2	51.0
双层DCT-Mask	ResNet-101-FPN	52.6	68.7	—	49.2	65.9	—
YOLACT	ResNet-101-FPN	46.9	64.6	47.2	44.7	61.7	59.1
YOLOv8n(seg)	DarkNet-53	76.6	75.7	60.6	71.6	65.4	56.4
Solov2	ResNet50vd-DCN	46.7	64.3	46.9	47.5	63.2	59.5
本文算法	DarkNet-53	87.1	83.6	63.4	77.7	70.8	59.7

算法

主干网络

mAP(检测)

AP₅₀(检测)

AP_50~95(检测)

mAP(分割)

AP₅₀(分割)

AP_50~95(分割)

Mask-R-CNN

ResNet-101-FPN

45.3

63.9

50.0

42.9

59.7

47.1

Cascade R-CNN

ResNet-101-FPN

46.3

63.8

52.5

—

BCNet

ResNet-101-FPN

48.5

65.6

52.1

45.1

61.3

49.2

ETHSeg

ResNet-101-FPN

48.7

66.7

53.3

46.9

63.2

51.0

双层DCT-Mask

ResNet-101-FPN

52.6

68.7

—

49.2

65.9

—

YOLACT

ResNet-101-FPN

46.9

64.6

47.2

44.7

61.7

59.1

YOLOv8n(seg)

DarkNet-53

76.6

75.7

60.6

71.6

65.4

56.4

Solov2

ResNet50vd-DCN

46.7

64.3

46.9

47.5

63.2

59.5

本文算法

DarkNet-53

87.1

83.6

63.4

77.7

70.8

59.7

算法	mAP(检测)	AP₅₀(检测)	mAP(分割)	AP₅₀(分割)
YOLOv8n	76.6	75.7	71.6	65.4
+TLF	80.7	77.5	75.8	68.8
+EMA	82.4	78.3	75.9	70.1
+C2f-DCN	85.1	79.7	76.7	70.5
+Soft-NMS	85.7	82.2	76.9	70.6
+WIoU	87.1	83.6	77.7	70.8

算法

mAP(检测)

AP₅₀(检测)

mAP(分割)

AP₅₀(分割)

YOLOv8n

76.6

75.7

71.6

65.4

+TLF

80.7

77.5

75.8

68.8

+EMA

82.4

78.3

75.9

70.1

+C2f-DCN

85.1

79.7

76.7

70.5

+Soft-NMS

85.7

82.2

76.9

70.6

+WIoU

87.1

83.6

77.7

70.8