科学技术与工程

算法:HDWL框架
输入:有标签数据集S,无标签数据集U,阈值τ 输出:Model
for n∈N do //训练次数 S∪U=D for D的数量 do N_ua,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ]Δ[∫${\left(D\right)}_{i}^{t-1}$>τ] N_ca,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ](1-Δ)[∫${\left(D\right)}_{i}^{t-1}$>τ] N_cb,_i=∑{1-Δ[∫${\left(D\right)}_{i}^{t-1}$>τ]}Δ[∫(D${)}_{i}^{t-1}$>τ] for J∈{1,2,3} do //j代表类数量种类频率 E_i=$\stackrel{J}{\sum _{j=1}}$(W_j${\stackrel{~}{N}}_{j}$) //上标~代表EMA end ${W}_{i}^{c}$=lg[1/Normal(E_i)]+1//归一化后平滑处理 $ \mathcal{L}$_d=Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-$\stackrel{~}{\underset{}{\int }}$(D${)}_{i}^{t}$]/Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-∫(D${)}_{i}^{t}$] end $ \mathcal{L}$_s=$\frac{1}{\beta }${H[∫(S)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$//有标签加权交叉熵损失 $ \mathcal{L}$_u=$\frac{1}{u\beta }${H[∫(U)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$ $ \mathcal{L}$=L_s+λ_u$ \mathcal{L}$_u+λ_d$ \mathcal{L}$_d //加权后的总损失 end

算法:HDWL框架
输入:有标签数据集S,无标签数据集U,阈值τ 输出:Model
for n∈N do //训练次数 S∪U=D for D的数量 do N_ua,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ]Δ[∫${\left(D\right)}_{i}^{t-1}$>τ] N_ca,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ](1-Δ)[∫${\left(D\right)}_{i}^{t-1}$>τ] N_cb,_i=∑{1-Δ[∫${\left(D\right)}_{i}^{t-1}$>τ]}Δ[∫(D${)}_{i}^{t-1}$>τ] for J∈{1,2,3} do //j代表类数量种类频率 E_i=$\stackrel{J}{\sum _{j=1}}$(W_j${\stackrel{~}{N}}_{j}$) //上标~代表EMA end ${W}_{i}^{c}$=lg[1/Normal(E_i)]+1//归一化后平滑处理 $ \mathcal{L}$_d=Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-$\stackrel{~}{\underset{}{\int }}$(D${)}_{i}^{t}$]/Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-∫(D${)}_{i}^{t}$] end $ \mathcal{L}$_s=$\frac{1}{\beta }${H[∫(S)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$//有标签加权交叉熵损失 $ \mathcal{L}$_u=$\frac{1}{u\beta }${H[∫(U)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$ $ \mathcal{L}$=L_s+λ_u$ \mathcal{L}$_u+λ_d$ \mathcal{L}$_d //加权后的总损失 end

方法	无标签数量样本的准确率/%
Fixmatch	89.58	91.25	92.13
Focal Loss Dwb Loss FreeMatch	87.69	90.77	93.10
89.05	91.23	92.96
90.12	92.83	94.2
HDW Loss	91.08	92.49	93.81

方法	无标签数量样本的准确率/%
Fixmatch	89.58	91.25	92.13
Focal Loss Dwb Loss FreeMatch	87.69	90.77	93.10
89.05	91.23	92.96
90.12	92.83	94.2
HDW Loss	91.08	92.49	93.81

λ_d	准确率差/%
0.25	0.085
0.5	0.875
0.75	1.248
1	1.154

λ_d	准确率差/%
0.25	0.085
0.5	0.875
0.75	1.248
1	1.154

方法	准确率/ %	召回率/ %	F₁分数/ %	AUC
CE Loss	91.25	90.54	90.90	92.54
Focal Loss	90.77	92.18	91.47	92.77
Dwb Loss	91.23	91.89	91.56	93.28
FreeMatch	92.83	90.45	91.62	91.65
HDW Loss-USAP	91.14	90.28	90.71	91.13
HDW Loss	92.49	92.86	92.68	93.54

方法	准确率/ %	召回率/ %	F₁分数/ %	AUC
CE Loss	91.25	90.54	90.90	92.54
Focal Loss	90.77	92.18	91.47	92.77
Dwb Loss	91.23	91.89	91.56	93.28
FreeMatch	92.83	90.45	91.62	91.65
HDW Loss-USAP	91.14	90.28	90.71	91.13
HDW Loss	92.49	92.86	92.68	93.54

基于历史动态加权损失模型的螺栓分类方法

PDF下载

徐振峰 ¹ , 占鹏 ¹ , 方薇 ²^,^* , 孙强 ¹

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(22): 9445-9453

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(22): 9445-9453

基于历史动态加权损失模型的螺栓分类方法

全屏

徐振峰¹, 占鹏¹, 方薇²^,^*, 孙强¹

作者信息

¹ 合肥大学先进制造工程学院, 合肥 230601

² 中国科学院合肥物质科学研究院智能机械研究所, 合肥 230031

徐振峰(1981—),男,汉族,山东菏泽人,博士,副教授。研究方向:深度学习与智能感知。E-mail:xuzhf@hfuu.edu.cn。

通讯作者:

^* 方薇(1977—),女,汉族,安徽合肥人,博士,副研究员。研究方向:计算机信息处理、遥感技术应用。E-mail:wfang@iim.ac.cn。

The Bolt Classification Method Based on the Historical Dynamic Weighted Loss Model

Zhen-feng XÜ¹, Peng ZHAN¹, Wei FANG²^,^*, Qiang SUN¹

Affiliations

¹ School of Advanced Manufacturing Engineering, Hefei University, Hefei 230601, China

² Institute of Intelligent Machinery, Hefei Institute of Material Science, Chinese Academy of Sciences, Hefei 230031, China

出版时间: 2025-08-08 doi: 10.12404/j.issn.1671-1815.2404594

文章导航

摘要

收起

螺栓是高空设备稳固连接的关键,但易受多种因素影响而出现松动等异常,威胁设备安全。当前基于深度学习的螺栓检测方法面临类不平衡和标签缺失问题。提出了基于半监督伪标签学习的历史动态加权损失(historical dynamic weighted loss,HDWL)模型。通过动态加权一致性正交化和类自适应公平惩罚,利用历史数据评估模型分类效果,引入自适应惩罚防止过拟合,增强对难分类样本的关注,提升模型性能。实验表明,HDWL 模型的准确率相比其他方法有显著提高,在少数类训练和特征关注方面具有优势。

关键词

螺栓 / 类不平衡 / 半监督伪标签 / 自适应惩罚

Abstract

收起

Bolts are the key to the stable connection of high-altitude equipment, but they are prone to abnormalities such as loosening under the influence of various factors, threatening the safety of the equipment. Currently, bolt detection methods based on deep learning are faced with the problems of class imbalance and label missing. Existing deep-learning-based bolt detection methods suffer from class imbalance and missing labels. A HDWL(historical dynamic weighted loss) model based on semi-supervised pseudo-label learning was proposed. By dynamic weighted orthogonality and class-adaptive fair punishment, the model classification was evaluated with historical data. Adaptive punishment was introduced to prevent overfitting and focus more on hard-to-classify samples, boosting model performance. Experiments showed that the HDWL model achieved significantly higher accuracy than other methods, with advantages in minority-class training and feature focus.

Key words

bolt / class imbalance / semi-supervised pseudo-label / adaptive penalty

引用本文

徐振峰, 占鹏, 方薇, 孙强. 基于历史动态加权损失模型的螺栓分类方法. 科学技术与工程, 2025 , 25 (22) : 9445 -9453 . DOI: 10.12404/j.issn.1671-1815.2404594

Zhen-feng XÜ, Peng ZHAN, Wei FANG, Qiang SUN. The Bolt Classification Method Based on the Historical Dynamic Weighted Loss Model[J]. Science Technology and Engineering, 2025 , 25 (22) : 9445 -9453 . DOI: 10.12404/j.issn.1671-1815.2404594

正文

收起

螺栓在高空设备中至关重要,然而其易受多种因素影响导致松动等异常,引发安全事故。目前,采用人工对高空设备进行巡检是电力和建筑行业解决安全隐患的主要手段,但是人工巡检方式效率低且存在安全隐患。

近几年,随着深度学习的发展和国家自动化战略的方针,越来越多的研究利用无人机采集的数据结合一些图像处理的算法进行螺栓检测。戚银城等^[1]利用生成对抗网络(generative adversarial network, GAN)和注意力机制增加了螺栓的边缘信息,增强了模型的分类能力。赵振兵等^[2]提出了基于动态监督知识蒸馏的螺栓缺陷图像分类技术,采用知识蒸馏的方式提升学生模型的特征提取能力。李学渊^[3]考虑航拍样本因螺栓不同视角的视觉差异过大,对自建螺栓数据集进行数据增强,提升了模型细粒度对齐的能力。杨景嵛等^[4]基于(distillation with no labels, DINO)自监督学习方法,将无标签数据的螺栓数据应用于螺栓异常检测中,证明自监督螺栓预训练大模型可以学习到螺栓的组成特征,并且提升了下游分类的准确率。赵振兵等^[5]基于改进PCL模型的弱监督检测方法,将图像级标注应用于输电线路缺销螺栓检测中,通过引入通道注意力机制和加权交叉熵损失函数,提升了模型对小目标和困难样本的检测能力,使平均精度提升了25.6%。然而,该方法未充分考虑数据集的类别不平衡特性,且PCL模型存在错误累计的缺点。

在现有基于深度学习的螺栓检测方法中,仍有两个关键问题没有被考虑,即类不平衡问题和标签缺失问题。在实际中,高空设备的螺栓大都处于正常状态,只有少数螺栓处于缺失状态。由此导致收集到的图像数据存在严重的类不平衡问题。如果对每个类进行同等处理,那么模型会对样本多的类给予更多关注,从而导致马太效应。此外,随着航拍螺栓图像数据逐渐增多,难以做到对所有数据进行标注,即存在标签缺失问题。由此导致未标注数据与标注数据共存。如果未标记数据中的信息不能被充分利用,那么它们就会丢失。

因此,现提出一种基于半监督伪标签学习的新模型。该模型通过对历史伪标签类别频率进行动态分析,寻找合适的权值用于模型评估^[6]。利用动态策略分配类权值,增加对难分类样本的关注。并且,为防止模型过分关注历史数据而导致过拟合,利用标签预测和稳定频率的指数滑动平均(exponential moving average, EMA)对模型进行惩罚,从而使得该模型能够在每个训练周期(epoch)中动态处理类不平衡问题,同时增加对难学习样本的关注,提升模型性能。

1 理论基础

收起

1.1 半监督学习

半监督学习的主要思路是通过利用无标签数据来扩展有标签数据,从而反复训练模型,以提高模型性能。主要有自训练、协同训练、主动学习和图学习等几种方法。本文研究主要关注自训练下的基于阈值的伪标签方法。该方法通过自我训练以获取模型的预测结果,并将这些结果作为未标记数据的伪标签。在图像分类和目标检测等任务中,这种方法被广泛应用^[7]。一致性正则化最早由Bachman等^[8]提出的,其基本思想是加入扰动之后的数据应该和扰动前模型的预测结果一致。因此,即使在未标记数据中引入一些扰动,也可以帮助模型学习到更加鲁棒和泛化的表示,从而提高其在新数据上的性能。比如无监督数据增强UDA^[9](Unsupervised Data Augmentation,UDA),论文MixMatch以及ReMixMatch^[10]都采用了类似的方法,但过程较为繁琐。FixMatch^[11]利用两种方法的组合,对UDA和ReMixMatch进行简化,它利用软扰动后的预测结果作为软标签,与强扰动的预测结果进行交叉熵损失,简化框架的同时,同时提高了准确率。但缺点在于利用固定伪标签导致许多有效样本无法进行训练,并且在数据不平衡场景下准确率虚高甚至差强人意。最近几年的伪标签学习方法都是基于此框架对伪标签阈值做出变化。FlexMatch^[12]中提出课程伪标签(curriculum pseudo-labeling, CPL)的方法,其考虑每个类别的学习状态的课程学习策略。CPL根据当前的学习状态和每个类别的情况进行动态调整,同时针对前期阈值低导致将大多数未标记样本盲目预测到某个特定的类别中,有可能存在确认偏差,所以提出了阈值warm-up过程。其基于尚未被高阈值选择过的样本动态解决前期认知偏差的问题,但这种根据样本动态调整阈值的方法还是会引入过多噪声样本干扰模型的训练。Wang等^[13]在FreeMatch中提出了自适应阈值的思想,每个类的初始阈值设为类别数的倒数,随着迭代次数的进行阈值会慢慢逐渐增加,但也将导致模型的前期阶段会引入噪声数据,伪标签的质量得不到保障。然而上述这些方法往往对应的场景是平衡数据集,而真实螺栓数据集却有着类数据不平衡问题。

1.2 类不平衡问题

目前,处理类别不平衡问题的方法主要分为两类:数据级方法和算法级方法。数据级方法主要通过重新采样策略来改变原始数据中的类别分布,以平衡数据集。而重新采样包括随机过采样和随机欠采样。前者通过增加少数类实例的数量来缓解类别不平衡问题;后者则通过随机删除多数类实例,使其数量接近少数类实例。文献[14]的实验结果显示采样策略对分类性能影响有限,但文献[15]的结果却表明随机过采样可能会显著改变性能表现。尽管采样策略被广泛采用,但会改变给定领域的原始类别分布,从而引入其他问题。例如,过采样可能导致过拟合,并增加计算开销,而欠采样可能会移除对模型归纳过程至关重要的有用信息。此外,使用采样方法所开发的分类器虽然能够在平衡数据上表现良好,但可能无法很好地应用于类别分布存在显著差异的真实数据。

算法级方法主要通过调整分类器来提高性能,如权值调整、代价敏感学习、集成学习和基于实例的学习方法等。权值调整方法通过为不同样本赋予不同的权重,帮助模型更好地关注类内差异较大的类别。在此基础上,许多学者提出了优化方法,以进一步提升模型性能。文献[16]中提出了一种基于元学习的方法,根据其梯度方向,确定训练数据的每个样本的损失权重,但需要额外的验证集,并且训练时间约为常规训练的3倍。孙佳佳等^[17]提出了一种基于生成对抗网络(conditional generative adversarial network, CGAN)和深度神经网络(deep neural networks, DNN)的入侵检测数据增强方法,通过类别标签引导生成少数类样本,并将DNN引入cGAN的训练过程以优化生成样本质量。然而,该方法会导致生成样本与真实样本分布不完全一致的问题,且未能在训练过程中动态调整不同样本的权重分配,从而难以对数据不平衡问题进行优化。Fernando等^[18]提出了一种基于类平衡的动态加权损失函数平衡策略,利用模型对各类学习频率和模型预测来区分难样本和不平衡样本。在半监督学习中,FlexMatch算法可以通过动态调整阈值增大样本,缓解马太效应,但同样也会导致部分难区分样本被错误分类。FreeMatch采用自适应阈值的方法,利用指数滑动平均对历史数据进行调整,本质上与FlexMatch类似,有着相同的问题。

目前,在半监督学习领域,针对类不平衡问题,依然面临过拟合、复杂性和噪声干扰等挑战。当前研究的重点是如何缓解错误累积,并准确反映模型的真实学习效果。

2 研究方法

收起

2.1 整体模型

大多有监督学习任务对神经网络训练时,为了使数据平衡,常常利用过采样和欠采样使数据达到平衡,这样往往会引发模型过拟合和丢失部分有用的信息。在半监督学习时,无标签样本一般无法知道内部数据分布,采用上述的做法就尤为复杂。

针对上述的问题,基于FixMatch的思想,提出了一个新的基于历史的动态加权类公平模型(historical dynamic weighted loss, HDWL),整体的模型架构由图1所示。

HDWL结合有标签样本和无标签样本不同时间步的数据伪标签进一步分析,通过历史稳定样本N_ua,大于阈值发生改变的样本N_ca和小于阈值样本发生改变的数量N_cb生成类权重。针对模型错误自信问题,通过引入历史动态一致性,加入时间维度的约束,使模型可以动态的权衡不同类的数量和难易学习程度。针对引入历史一致性约束导致模型过拟合问题,提出类自适应公平惩罚,通过生成的类分布和样本预测概率对噪声数据的惩罚,使模型具有更好的鲁棒性和泛化能力。

2.2 动态权值

现有方法研究发现利用类进入模型训练的频率,并不能很好地代表模型对各类的分类状况。本文研究以此为基础,结合模型稳定性,动态性和适应性以及模型对历史数据的评估出发。将类频率重新划分,假设模型进行训练的各类样本可以表示为C_i={x₁,x₂,…,x_M},其中i为第i种类别的集合,M为总样本数量。为了重新对模型评估,将当前样本伪标签与历史伪标签进行比较,重新划分为历史稳定样本N_ua,大于阈值发生改变的样本N_ca和小于阈值样本发生改变的数量N_cb,其中N_ua反映了模型的稳定性。模型在面对相同输入数据时保持预测结果一致,表明模型在这部分数据上的预测是稳定和可信的。N_ca反映了模型的学习动态性。若模型在前后两轮预测中有较大变化,说明模型在逐步学习和调整其预测策略,尤其是对难分类样本的调整。N_cb表示模型在新的预测中识别出的样本数量。这反映了模型对新样本的适应能力。为了叙述简便,以下用N_i代指3种类别相应数量种类。

回顾半监督阈值法,模型预测大于某一设定阈值的样本会被打上伪标签加入模型训练,那么第t轮和第t-1轮各类进入训练的样本可以表示为

${C}_{i}^{t}$

和

${C}_{i}^{t-1}$

,那么重新划分的样本评估可以由式(1)表示。

(1)

$\left\{\begin{array}{l}{N}_{\mathrm{u}\mathrm{a},i}=\stackrel{M}{\sum _{j=1}}\Delta ({C}_{i,j}^{t-1}>\tau )\Delta ({C}_{i,j}^{t}>\tau )\\ {N}_{\mathrm{c}\mathrm{a},i}=\stackrel{M}{\sum _{j=1}}\Delta ({C}_{i,j}^{t-1}>\tau )[1-\Delta ({C}_{i,j}^{t}>\tau \left)\right]\\ {N}_{\mathrm{c}\mathrm{b},i}=\stackrel{M}{\sum _{j=1}}\Delta [1-({C}_{i,j}^{t-1}>\tau \left)\right]\Delta ({C}_{i,j}^{t}>\tau )\end{array}\right.$

式(1)中:N_ua,_i为种类i的历史不变数据数量;

${C}_{i,j}^{t}$

为第i种类下,样本j在第t轮的样本表现;M为样本总数;Δ为一个指示函数,如果条件成立则为1否则为0;τ为阈值。

这3种数量从几个角度对模型的性能进行解释。使用这种方法评估模型,缺点在于在模型训练的前中期,会因为分类器的性能,分类波动严重,产生异常值,所以为了防止模型异常值的干扰,文中采取EMA指数平均进行平滑处理,减小单轮训练波动对模型的影响,指数滑动平均后的各类数量可以表示为

${\stackrel{~}{N}}_{i}$

,即

(2)${\stackrel{~}{N}}_{i}$(t)=(1-λ)${\stackrel{~}{N}}_{i}$(t-1)+λN_i(t)

为了综合考虑3种数据,引入权重参数ω,平衡各数量对模型的干扰。则每个类的分类效果可以用

${\stackrel{~}{N}}_{i}$

加权后E_i的数量进行评估。E_i=

$\stackrel{3}{\sum _{j=1}}$

(ω_j

${\stackrel{~}{N}}_{i,j}$

),其中j表示上面划分的各类样本,E_i越高代表模型对这个类预测越好或者该类样本数量较多,模型更容易学习到该类,反之则代表模型对该类学习困难,样本数量较低,需要增加对该类别的学习。为了使模型关注难学习,数量较少的类,为每个类设立一个动态权值,让模型预测到某一个少数类时,可以给出更多的关注,而对E_i已经很高的类别给予相对来说比较小的关注。为了防止模型波动过大,预防极度不平衡的类,采用log函数对E_i各类别进行最大值归一化,其中E_max_i表示各个样本E_i的最大值,加1使模型收敛。最终的各个类的权值W_i可以由式(3)表示。

(3)W_i=lg$\frac{{E}_{\mathrm{m}\mathrm{a}\mathrm{x}i}}{{E}_{i}}$+1

半监督学习损失函数$\mathcal{L} $由有标签损失$ \mathcal{L} _s$_s和无标签损失$ \mathcal{L} _u$两部分组成,其中$ \mathcal{L} _s$代表有标签的交叉熵损失, $ \mathcal{L} _u$代表无标签的交叉熵损失,加权后的$ \mathcal{L} _s$和$ \mathcal{L} _u$如式(4)所示。P_m表示模型在ω(X_b)下y的预测概率分布。

(4)$ \begin{cases}\mathcal{L}_{\mathrm{s}}=\frac{1}{\beta}\sum_{b=1}^{\beta}W_{i}^{(1-P_{b})}\mathcal{H}\{\gamma_{b},P_{m}[y|\omega(X_{b})]\} \\\mathcal{L}_{\mathrm{s}}=\frac{1}{\beta}\sum_{b=1}^{\beta}W_{i}^{(1-P_{b})}[\max(q_{b})>\tau]\mathcal{H}(\hat{q}_{b},Q_{b}) & \end{cases}$

式(4)中:W_i为每个类的数据分布情况;β为有标签样本数;μ为一个0~1的超参数用于控制无标签样本的数量;$ \mathcal{H} $为交叉熵损失;当P_b趋于1时,说明该样本为易区分样本,此时1-P_b趋于0,从而减少对易区分样本的关注。通过引入类权值参数W_i和调值因子1-P_b使模型更加关注难样本和不平衡样本的关注。最终的损失函数$ \mathcal{L} $表示为两者的加权和, $ \mathcal{L}$=$ \mathcal{L} _s$+λu$ \mathcal{L} _u$。

2.3 自适应惩罚

使用模型历史数据带来一个可能影响会导致模型对历史数据较为敏感,导致过拟合现象,为了预防上述情况的发生,可以引入惩罚项防止模型的过拟合现象。但对于无标签数据集来说,无标签数据集本身就应该是一个黑盒模型,其中需要考虑存在类间不平衡问题,若采用类平均的方式对于一些平衡的数据样本有着很好的表现,但对于类不平衡时,没有考虑到真实数据不符合类平均条件,针对伪标签的可能分布不均,文中采用自适应的方式去惩罚模型。

为了考虑到类间不平衡和模型训练时对各类样本的分类情况,需要有一个参数去衡量模型分类器的性能。惩罚项的设计应该需要考虑每个类的分布和模型对该样本的评估,利用样本每轮的预测值P_b和每轮稳定的预测类别N_ua的滑动平均

${\stackrel{~}{P}}_{b}$

和

${\stackrel{~}{N}}_{i}^{\mathrm{u}\mathrm{a}}$

有利于模型可以感知到以往数据分布和错误预测,让模型可以进行自我纠正。其中

${\stackrel{~}{P}}_{b}$

(n)=(1-λ)

${\stackrel{~}{P}}_{b}$

(n-1)+λP_b(n),

${\stackrel{~}{N}}_{i}^{\mathrm{u}\mathrm{a}}$

同理。综合考虑,惩罚项$ \mathcal{L} _d$可以设计为式(5), 其中sumNorm表示每轮的L1范数求和,即累积求和标准化。

(5)$ \mathcal{L}$_d=$\frac{\text{SumNorm}{\left(\frac{\stackrel{{\text{~}}_{\text{ua}}}{\text{N}}}{{\text{N}}_{\text{ua}}}\right)}^{\text{α}}\left(\text{1-}\stackrel{{\text{~}}_{\text{b}}}{\text{P}}\right)}{{\text{P}}_{\text{b}}}$

式(5)中:α为一个超参数加权因子,用来调节模型对历史不变数据的感知。

引入的$ \mathcal{L}$_d惩罚项在类别概率相同时,会使模型对历史不变数据类别大的类产生较小的惩罚,让其更关注分类性较差的类别,当样本概率趋于1时,惩罚项趋于0。

最终修正后的半监督损失函数的公式为

(6)$ \mathcal{L}$=$ \mathcal{L}$_s+λ_u$ \mathcal{L}$_u+λ_d$ \mathcal{L}$_d

式(6)中:λ_u、λ_d分别为无标签损失函数和惩罚项的权值。

HDWL的伪代码如下。

3 实验结果

收起

3.1 数据集划分和相关配置

目前对于研究高空螺栓状态分类这一方向较为稀少,数据集缺失,在网上很难找到相应的数据集进行研究训练,针对这一问题,通过长时间的数据采集,本文研究自建了关于高空螺栓状态分类的数据集,采集过程中发现除了正常和异常情况外,还出现生锈,缺失单一螺母以及水泥遮挡的情况,这些往往与异常情况类似,为了研究方便,统一将所有情况划分成3类:无缺销无缺失螺母螺栓、缺销螺栓和缺螺母螺栓,如图2所示。为了增强模型的性能,将采集后的样本进行同比例的扩充和裁剪,但保留原有采集图片类的比例,经过调整,样本的宽高为64×64。每类的样本数分别为正常样本1 849张,缺销螺栓526张,缺螺母螺栓488张。

为了使构建的螺栓状态数据集符合半监督学习方法,将每类划分为有标签样本、无标签样本和测试样本。通过对比各个指标与目前处理半监督学习类间不平衡问题的方法进行对比评估。

3.2 实验结果与分析

为了论述文中的可行性,以FixMatch作为半监督学习的基本框架,将每类分为有标签样本、无标签样本和验证集样本。

选取固定每轮中各类的数量。以训练轮数作为横坐标,样本大于阈值和模型预测正确的样本作为纵坐标,结果如图3所示。从图3可知,可以发现用大于阈值的样本作为衡量模型的分类性能和样本的实际分布并不准确,不仅容易受到数据波动影响,而且不能有效代表实际的数据分布。

为了得到更加准确的分类性能,摒弃以每轮类数量为单位,将图片样本结合上一步的历史参数作为当前轮训练的衡量单位。重新对类数量进行划分,如图4所示,以历史不变作为模型稳定性指标,大于阈值发生改变的样本作为模型动态纠错性和小于阈值样本发生改变的数量作为模型的学习适应性指标。重新划分后,分析上面3类参数,有意思的是大于阈值发生改变的样本无一例外都是错误的,所以并未在图上展示,但这个数据可以侧方面反映模型对该类历史上的错误性较大和对该类纠错性较强,可以作为评估模型分类性能之一。历史稳定数量正确样本数据占比高,能够很好反映真实数据分布比例,小于阈值发生改变的样本虽然准确率不高,但正确样本占比较大。

为了有效利用这3类数据,引入数据权值来对参数进行敏感度分析,为了降低计算量,通过经验选取了人工范围,将3种参数的权值范围设置为[0,1]和[0,0.5],步长设置为0.1。并根据引入权值后各类样本的数量与真实样本分布比例的归一化做比较,如图5所示,综合考虑得出较优的参数。

随后将引入权值后各类样本的数量与没有经过加权的算法进行对比,结果如图6所示。经过对比发现引入类权值后,模型大幅提升了对稀疏样本和难学习样本的关注,可以发现缺销螺栓和螺母缺失的样本正确率有所提升。虽然这是牺牲正常样本准确率的前提下。

3.3 对比实验

为了进一步验证HDWL模型的性能,与使用标准交叉熵损失函数CE、Focal 损失函数以及使用类频率法的FreeMatch算法等进行了对比实验。实验时,将Focal损失函数的γ设为2,同时保持各模型中的类频率一致。预测值p和损失函数的关系如图7所示。为进一步对比不同算法的准确率,设置无标签数据的数量分别为10、40和100,并进行测试实验,结果如表1所示。从表1中可见,当无标签数据较少时,HDWL模型的损失值更优,分类更为准确。

同时,将未处理类平衡的方法与HDWL加权后的模型进行对比,由图8所示,第一排图片表示进入模型的原始图片,第二排和第三排分别表示未加权和加权后模型决策可视化,通过比较发现,HDWL模型更加关注主要位置。

为防止过拟合问题并对不同类样本采用公平惩罚,引入了惩罚项和惩罚因子λ_d。当惩罚因子λ_d越大,模型对历史预测越好的类,而当前表现更差的类给予更高的惩罚。为了对比不同值时λ_d对模型的影响,将λ_d=0时模型的准确率作为对比的基准,如表2所示,展示λ_d不同值时模型的正确率对比情况。从表2可知,随着惩罚影因子变大,模型准确有所下降,分析导致的原因可能是随着惩罚项的增加,导致模型梯度更新幅度过大,以至于模型错过了局部最小值或最优值点,导致模型无法收敛。

采用准确率衡量类不平衡问题评估效果往往不太准确,对于实际工程来说,若出现少数类错判成其他类往往会造成严重的后果,为了进一步验证HDWL的性能和加入的类自适应惩罚模块后对模型泛化的帮助,加入去除自适应惩罚项(self adaptive penalty, SAP)后的实验,文中用HDWLoss-USAP表示,如表3所示,表示有标签样本仅有40个时,各种算法的指标比较。HDWL虽然准确率略低于最优算法,但在其他指标上均高于其他算法。这表明HDWL在对少数类的预测准确高于其他算法。说明模型更加侧重于对少数类的训练,而去除自适应惩罚项后的HDWLoss-USAP表现略差,分析可能是因为模型拟合于历史数据导致模型对训练数据学习太好。综合其他指标考虑,在对于塔吊实际的应用中,更加关注的是对异常少数类的情况,可以看出HDWL算法较为符合实际情况的需求。

4 结论

收起

针对高空设备螺栓检测中存在的类不平衡和标签缺失问题,提出了基于半监督伪标签学习的HDWL模型。利用类频率和模型预测值有效增强了模型对少数类和难学习类的关注,自适应惩罚使模型泛化能力得到增强,有效解决螺栓检测中的类不平衡问题,提升模型性能。

本文的主要贡献主要有以下两点:①在螺栓检测任务中综合考虑了类不平衡问题、模型对历史伪标签的稳定性,动态性和适应性,使类的权值进行动态自适应变化,以反映出模型的真实性能;②利用类稳定频率的指数滑动平均和标签预测进行类惩罚,替代原始的先验平均惩罚。对置信度低、类数量多的样本给予较大的惩罚。并应用航拍的螺栓图像数据集验证了HDWL 模型的有效性和稳定性。

但该模型存在超参数多、复杂度高的问题,从而导致了训练时间上的成本增加。未来将进一步探索类频率差异对模型的影响,利用历史伪标签增强预测伪标签的置信度,选择合适阈值增加进入训练的样本,并减少模型的复杂度。

基金

收起

国家自然科学基金(61973290)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

戚银城, 耿劭锋, 赵振兵, 等. 基于特征迁移的螺栓图像超分辨率处理方法[J]. 智能系统学报, 2023, 18(4): 858-866.

Yincheng

, Geng

Shaofeng

, Zhao

Zhenbing

, et al. Bolt image super-resolution processing method basedon feature transfer[J]. CAAI Transactions on Intelligent Systems, 2023, 18(4): 858-866.

[2]

赵振兵, 金超熊, 戚银城, 等. 基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类[J]. 高电压技术, 2021, 47(2): 406-414.

Zhao

Zhenbing

, Jin

Chaoxiong

, Qi

Yincheng

, et al. Classification of bolt defect images in transmission lines based on dynamic supervised knowledge distillation[J]. High Voltage Engineering, 2021, 47(2): 406-414.

[3]

李学渊. 基于迁移学习的架空电力线路螺栓状态分类方法研究[J]. 电工技术, 2022(20): 96-99.

Xueyuan

. Research on bolt state classification method for overhead power lines based on transfer learning[J]. Electrical Engineering, 2022(20): 96-99.

[4]

杨景嵛, 辛巍, 刘全, 等. 基于自监督学习的输电线路螺栓螺母异常检测技术[J]. 计算机测量与控制, 2023, 31(5): 87-93.

Yang

Jingyu

, Xin

Wei

, Liu

Quan

, et al. Bolt and nut anomaly detection technology for transmission lines based on self-supervised learning[J]. Computer Measurement & Control, 2023, 31(5): 87-93.

[5]

赵振兵, 丁洁涛. 基于改进PCL模型的输电线路缺销螺栓弱监督检测方法[J]. 科学技术与工程, 2022, 22(23): 10169-10178.

Zhao

Zhenbing

, Ding

Jietao

. Weakly supervised detection method for pin-missing bolt of transmission line based on improved PCL model[J]. Science Technology and Engineering, 2022, 22(23): 10169-10178.

[6]

Yang

, Zhuo

, Qi

, et al. St++: Make self-training work better for semi-supervised semantic segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 4268-4277.

[7]

Lee

D H

. Pseudo-label: the simple and efficient semi-supervised learning method for deep neural networks[C]// Workshop on Challenges in Representation Learning. Atlanta: ICML, 2013: 884-896.

[8]

Bachman

, Alsharif

, Precup

. Learning with pseudo-ensembles[J]. Advances in Neural Information Processing Systems, 2014, 27: 3365-3373.

[9]

Xie

, Dai

, Hovy

, et al. Unsupervised data augmentation for consistency training[J]. Advances in Neural Information Processing Systems, 2020, 33: 6256-6268.

[10]

Kurakin

, Raffel

, Berthelot

, et al. Remixmatch: semi-supervised learning with distribution matching and augmentation anchoring[C]// The International Conference on Learning Representations. Online: ICLR, 2020: 1-44.

[11]

Sohn

, Berthelot

, Carlini

, et al. Fixmatch: simplifying semi-supervised learning with consistencyand confidence[J]. Advances in Neural Information Processing Systems, 2020, 33: 596-608.

[12]

Zhang

, Wang

, Hou

, et al. Flexmatch: boosting semi-supervised learning with curriculum pseudo labeling[J]. Advances in Neural Information Processing Systems, 2021, 34: 18408-18419.

[13]

Wang

, Chen

, Heng

, et al. Freematch: self-adaptive thresholding for semi-supervised learning[J]. arxiv preprint ar-xiv: 2205. 07246, 2022.

[14]

Castro

C L

, Braga

A P

. Novel cost-sensitive approach to improve the multilayer perceptron performance on imbalanced data[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(6): 888-899.

[15]

Buda

, Maki

, Mazurowski

M A

. A systematic study of the class imbalance problem in convolutional neural networks[J]. Neural Networks, 2018, 106: 249-259.

[16]

Ren

, Zeng

, Yang

, et al. Learning to reweight examples for robust deep learning[C]// International Conference on Machine Learning. Stockholm: PMLR, 2018: 4334-4343.

[17]

孙佳佳, 李承礼, 常德显, 等. 基于生成对抗网络的入侵检测类别不平衡问题数据增强方法[J]. 科学技术与工程, 2022, 22(18): 7965-7971.

Sun

Jiajia

, Li

Chengli

, Chang

Dexian

, et al. A data augmentation method for intrusion detection imbalance problem using generative adversarial networks[J]. Science Technology and Engineering, 2022, 22(18): 7965-7971.

[18]

Fernando

K R M

, Tsokos

C P

. Dynamically weighted balanced loss: class imbalanced learning and confidence calibration of deep neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 33(7): 2940-2951.

2025年第25卷第22期

PDF下载

135

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2404594

接收时间：2024-06-19
首发时间：2026-02-11
出版时间：2025-08-08

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-06-19
修回日期：2025-04-27

基金

国家自然科学基金(61973290)

作者信息

¹ 合肥大学先进制造工程学院, 合肥 230601

² 中国科学院合肥物质科学研究院智能机械研究所, 合肥 230031

通讯作者:

^* 方薇(1977—),女,汉族,安徽合肥人,博士,副研究员。研究方向:计算机信息处理、遥感技术应用。E-mail:wfang@iim.ac.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2404594

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法:HDWL框架
输入:有标签数据集S,无标签数据集U,阈值τ 输出:Model
for n∈N do //训练次数 S∪U=D for D的数量 do N_ua,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ]Δ[∫${\left(D\right)}_{i}^{t-1}$>τ] N_ca,_i=∑[∫${\left(D\right)}_{i}^{t-1}$>τ](1-Δ)[∫${\left(D\right)}_{i}^{t-1}$>τ] N_cb,_i=∑{1-Δ[∫${\left(D\right)}_{i}^{t-1}$>τ]}Δ[∫(D${)}_{i}^{t-1}$>τ] for J∈{1,2,3} do //j代表类数量种类频率 E_i=$\stackrel{J}{\sum _{j=1}}$(W_j${\stackrel{~}{N}}_{j}$) //上标~代表EMA end ${W}_{i}^{c}$=lg[1/Normal(E_i)]+1//归一化后平滑处理 $ \mathcal{L}$_d=Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-$\stackrel{~}{\underset{}{\int }}$(D${)}_{i}^{t}$]/Normal(${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$)^α[1-∫(D${)}_{i}^{t}$] end $ \mathcal{L}$_s=$\frac{1}{\beta }${H[∫(S)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$//有标签加权交叉熵损失 $ \mathcal{L}$_u=$\frac{1}{u\beta }${H[∫(U)>τ]}${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$ $ \mathcal{L}$=L_s+λ_u$ \mathcal{L}$_u+λ_d$ \mathcal{L}$_d //加权后的总损失 end

算法:HDWL框架

输入:有标签数据集S,无标签数据集U,阈值τ
输出:Model

for n∈N do //训练次数
S∪U=D
for D的数量 do
N_ua,_i=∑[∫

${\left(D\right)}_{i}^{t-1}$

>τ]Δ[∫

${\left(D\right)}_{i}^{t-1}$

>τ]
N_ca,_i=∑[∫

${\left(D\right)}_{i}^{t-1}$

>τ](1-Δ)[∫

${\left(D\right)}_{i}^{t-1}$

>τ]
N_cb,_i=∑{1-Δ[∫

${\left(D\right)}_{i}^{t-1}$

>τ]}Δ[∫(D

${)}_{i}^{t-1}$

>τ]
for J∈{1,2,3} do //j代表类数量种类频率
E_i=

$\stackrel{J}{\sum _{j=1}}$

(W_j

${\stackrel{~}{N}}_{j}$

) //上标~代表EMA
end

${W}_{i}^{c}$

=lg[1/Normal(E_i)]+1//归一化后平滑处理
$ \mathcal{L}$_d=Normal(

${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$

)^α[1-

$\stackrel{~}{\underset{}{\int }}$

${)}_{i}^{t}$

]/Normal(

${\stackrel{~}{N}}_{\mathrm{u}\mathrm{a}}$

)^α[1-∫(D

${)}_{i}^{t}$

]
end
$ \mathcal{L}$_s=

$\frac{1}{\beta }$

{H[∫(S)>τ]}

${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$

//有标签加权交叉熵损失
$ \mathcal{L}$_u=

$\frac{1}{u\beta }$

{H[∫(U)>τ]}

${{W}^{\mathrm{c}}}^{(1-{P}_{b})}$

$ \mathcal{L}$=L_s+λ_u$ \mathcal{L}$_u+λ_d$ \mathcal{L}$_d //加权后的总损失
end

方法	无标签数量样本的准确率/%
Fixmatch	89.58	91.25	92.13
Focal Loss Dwb Loss FreeMatch	87.69	90.77	93.10
89.05	91.23	92.96
90.12	92.83	94.2
HDW Loss	91.08	92.49	93.81

方法

无标签数量样本的准确率/%

100

Fixmatch

89.58

91.25

92.13

Focal Loss
Dwb Loss
FreeMatch

87.69

90.77

93.10

89.05

91.23

92.96

90.12

92.83

94.2

HDW Loss

91.08

92.49

93.81

λ_d	准确率差/%
0.25	0.085
0.5	0.875
0.75	1.248
1	1.154

λ_d

准确率差/%

0.25

0.085

0.5

0.875

0.75

1.248

1.154

方法	准确率/ %	召回率/ %	F₁分数/ %	AUC
CE Loss	91.25	90.54	90.90	92.54
Focal Loss	90.77	92.18	91.47	92.77
Dwb Loss	91.23	91.89	91.56	93.28
FreeMatch	92.83	90.45	91.62	91.65
HDW Loss-USAP	91.14	90.28	90.71	91.13
HDW Loss	92.49	92.86	92.68	93.54

方法

准确率/
%

召回率/
%

F₁分数/
%

AUC

CE Loss

91.25

90.54

90.90

92.54

Focal Loss

90.77

92.18

91.47

92.77

Dwb Loss

91.23

91.89

91.56

93.28

FreeMatch

92.83

90.45

91.62

91.65

HDW Loss-USAP

91.14

90.28

90.71

91.13

HDW Loss

92.49

92.86

92.68

93.54