振动工程学报

超参数	处理
图像尺寸	224×224
移位窗口大小	7×7
下采样比率	2、4、8、16
隐层通道数	96、192、384、768
头部数量	3、6、12、24
模块数量	2、2、6、2

超参数	处理
图像尺寸	224×224
移位窗口大小	7×7
下采样比率	2、4、8、16
隐层通道数	96、192、384、768
头部数量	3、6、12、24
模块数量	2、2、6、2

标签	负载/W	故障种类	故障深度/mm
0	0~2205	正常（N）	0
1	内圈（IR0.18）	0.18
2	内圈（IR0.36）	0.36
3	内圈（IR0.54）	0.54
4	外圈（OR0.18）	0.18
5	外圈（OR0.36）	0.36
6	外圈（OR0.54）	0.54
7	滚动体（RE0.18）	0.18
8	滚动体（RE0.36）	0.36
9	滚动体（RE0.54）	0.54

标签	负载/W	故障种类	故障深度/mm
0	0~2205	正常（N）	0
1	内圈（IR0.18）	0.18
2	内圈（IR0.36）	0.36
3	内圈（IR0.54）	0.54
4	外圈（OR0.18）	0.18
5	外圈（OR0.36）	0.36
6	外圈（OR0.54）	0.54
7	滚动体（RE0.18）	0.18
8	滚动体（RE0.36）	0.36
9	滚动体（RE0.54）	0.54

故障样本:正常样本	测试集数量
1∶1	360∶360	400
1∶2	180∶360	400
1∶5	72∶360	400
1∶10	36∶360	400
1∶30	12∶360	400
1∶60	6∶360	400

故障样本:正常样本	测试集数量
1∶1	360∶360	400
1∶2	180∶360	400
1∶5	72∶360	400
1∶10	36∶360	400
1∶30	12∶360	400
1∶60	6∶360	400

不均衡数据集	故障诊断准确率
1∶2	0.825	0.900	0.893	0.998
1∶5	0.712	0.813	0.822	0.992
1∶10	0.660	0.768	0.771	0.985
1∶30	0.602	0.750	0.736	0.980
1∶60	0.557	0.652	0.646	0.972

不均衡数据集	故障诊断准确率
1∶2	0.825	0.900	0.893	0.998
1∶5	0.712	0.813	0.822	0.992
1∶10	0.660	0.768	0.771	0.985
1∶30	0.602	0.750	0.736	0.980
1∶60	0.557	0.652	0.646	0.972

试验设置	模型	LSGAN	CGAN	准确率
a	Swin-T	√	-	0.9925
b	-	√	0.9836
c	-	-	0.9775
d	AlexNet	√	-	0.9000
e	-	√	0.8620
f	-	-	0.8130
g	BDA	√	-	0.9773
h	-	√	0.9632
w	-	-	0.9216

试验设置	模型	LSGAN	CGAN	准确率
a	Swin-T	√	-	0.9925
b	-	√	0.9836
c	-	-	0.9775
d	AlexNet	√	-	0.9000
e	-	√	0.8620
f	-	-	0.8130
g	BDA	√	-	0.9773
h	-	√	0.9632
w	-	-	0.9216

不均衡比例	模型测试时间/s
1∶1	88	93	77	91	87	64
1∶2	80	87	70	84	82	60
1∶5	82	89	72	86	85	63
1∶10	84	94	73	88	87	67
1∶30	84	97	75	89	89	67
1∶60	89	98	76	92	89	68

不均衡比例	模型测试时间/s
1∶1	88	93	77	91	87	64
1∶2	80	87	70	84	82	60
1∶5	82	89	72	86	85	63
1∶10	84	94	73	88	87	67
1∶30	84	97	75	89	89	67
1∶60	89	98	76	92	89	68

标签	故障类型	生成样本数量	真实样本数量
0	滚动体故障	150	250
1	内-外圈复合故障	150	250
2	正常	150	250
3	内圈故障	150	250
4	外圈故障	150	250

标签	故障类型	生成样本数量	真实样本数量
0	滚动体故障	150	250
1	内-外圈复合故障	150	250
2	正常	150	250
3	内圈故障	150	250
4	外圈故障	150	250

轴承数据集	工况	轴承状态	损伤程度/mm	标签
SUT-SY	2000 r/min-0 N‧m和4000 r/min-0.64 N‧m	正常	0	N
内圈轻微损伤	0.3	IR1
内圈严重损伤	0.6	IR2
外圈轻微损伤	0.3	OR1
外圈严重损伤	0.6	OR2
滚动体轻微损伤	0.3	RE1
滚动体严重损伤	0.6	RE2

轴承数据集	工况	轴承状态	损伤程度/mm	标签
SUT-SY	2000 r/min-0 N‧m和4000 r/min-0.64 N‧m	正常	0	N
内圈轻微损伤	0.3	IR1
内圈严重损伤	0.6	IR2
外圈轻微损伤	0.3	OR1
外圈严重损伤	0.6	OR2
滚动体轻微损伤	0.3	RE1
滚动体严重损伤	0.6	RE2

不均衡样本下轴承故障的LSGAN-Swin Transformer诊断方法

PDF下载

刘杰 , 谭玉涛 , 谷艳玲 , 杨娜

振动工程学报 | 2025,38(8): 1775-1787

收起

振动工程学报 | 2025, 38(8): 1775-1787

不均衡样本下轴承故障的LSGAN-Swin Transformer诊断方法

全屏

刘杰, 谭玉涛, 谷艳玲, 杨娜

作者信息

沈阳工业大学机械工程学院，辽宁沈阳 110870

通讯作者:

刘杰（1980—），女，博士，副教授。E-mail: starliujie@126.com

LSGAN-Swin Transformer diagnosis method of bearing fault under unbalanced samples

Jie LIU, Yutao TAN, Yanling GU, Na YANG

Affiliations

School of Mechanical Engineering，Shenyang University of Technology，Shenyang 110870，China

出版时间: 2025-08-10 doi: 10.16385/j.cnki.issn.1004-4523.202308023

文章导航

摘要

收起

针对轴承在复杂环境下工作时故障数据难以大量获取，正常数据与故障数据比例严重失衡造成的深度模型训练不充分、诊断精度低等问题，提出一种基于LSGAN-Swin Transformer的轴承故障诊断方法，利用最小二乘生成对抗网络（LSGAN）扩充不均衡或缺少的轴承数据集，引入窗口自注意力网络进行轴承故障状态识别，使用两种数据集验证所提方法的有效性，并分别与SGAN、WGAN进行对比，证明LSGAN生成的数据训练模型具有更高的准确率。在小样本条件下训练LSGAN，将所提Swin Transformer（Swin-T）模型与CNN、AlexNe和SqueezeNet进行对比，诊断准确率分别提升了34.85%、13.45%和12.95%。通过t-SNE可视化分析对模型分类效果进行评估，结果表明，LSGAN-Swin-T模型在训练样本数量较少时仍能较好地满足故障诊断中的需求，为不均衡数据下的轴承故障诊断研究提供思路。

关键词

故障诊断 / 滚动轴承 / 不均衡样本 / 最小二乘生成对抗网络 / SwinTransformer

Abstract

收起

Aiming at the problems of bearings working in complex environments，where fault data are difficult to obtain in large quantities and the serious imbalance between the ratio of normal data and fault data resulting in insufficient in-depth model training and low diagnostic accuracy，a bearing fault diagnosis method based on LSGAN-Swin Transformer is proposed. The least-squares generative adversarial network is utilized to expand the imbalanced or lack of bearing dataset，and the windowed self-attentive network is introduced for bearing fault state identification. The proposed method is validated by using two date sets，and compared with SGAN and WGAN respectively. It is demonstrated that LSGAN generates data training models with higher accuracy. The proposed Swin Transformer （Swin-T） model is compared with CNN，AlexNet and SqueezeNet under small sample conditions，and the accuracy is improved by 34.85%，13.45%，and 12.95%，respectively. The classification effect of the model is evaluated by t-SNE visualization，and the results show that the LSGAN-Swin-T model can still meet the requirements in fault diagnosis better when the number of training samples is small，which provides a new idea for the research of bearing fault diagnosis under unbalanced data.

Key words

fault diagnosis / rolling bearings / unbalanced sample / least square generative adversarial network / shifted windows transformer （Swin Transformer）

引用本文

刘杰, 谭玉涛, 谷艳玲, 杨娜. 不均衡样本下轴承故障的LSGAN-Swin Transformer诊断方法. 振动工程学报, 2025 , 38 (8) : 1775 -1787 . DOI: 10.16385/j.cnki.issn.1004-4523.202308023

Jie LIU, Yutao TAN, Yanling GU, Na YANG. LSGAN-Swin Transformer diagnosis method of bearing fault under unbalanced samples[J]. Journal of Vibration Engineering, 2025 , 38 (8) : 1775 -1787 . DOI: 10.16385/j.cnki.issn.1004-4523.202308023

正文

收起

滚动轴承在各类机械设备中具有重要作用，在实际工程应用中，由于设备运行数据监测过程的工作环境复杂，信号一般呈现非平稳及非线性的特点，且部分状态数据难以大量采集，正常数据样本通常远远大于故障数据样本，数据之间比例严重失衡。另外，轴承特殊的工作位置容易造成其多种故障类型数据采集不均匀，进而造成模型训练不充分，严重影响其诊断性能，难以达到故障诊断模型的训练要求。

为解决轴承故障诊断任务中标记样本有限的问题，通常应用数据增强方法（data augmentation method，DAM）中的旋转、平移、缩放、翻转、裁剪等传统变换对数据样本进行扩充。然而，这些变换方法是为二维图像数据设计的，不能直接应用于一维时间序列状态监测数据。生成对抗网络（generative adversarial network，GAN）^[1]可以有效解决模型训练中一维时间序列或二维样本数据不足的问题，通过生成网络与判别网络的相互对抗学习，使生成样本与真实样本具有相似的空间分布，通过生成数据解决轴承故障诊断中的数据不均衡问题。郭伟等^[2]构建了一种深度卷积对抗生成网络，引入密集块与扩容卷积挖掘数据中的不同特征，提升模型对复杂特征的提取性能，克服了样本缺乏的问题，在噪声环境下仍有较高的诊断准确率。郭俊锋等^[3]提出一种基于Wasserstein距离条件梯度惩罚生成对抗网络（CWGAN-GP）的轴承不均衡数据集故障诊断方法，在样本生成过程中避免了梯度消失、模型收敛慢等问题，在均衡的数据集上进行试验，降低了数据不均衡对模型训练准确率的影响。ZHOU等^[4]利用全局优化机制对GAN中的生成器和判别器进行更新，提高了样本不均衡条件下故障诊断方法的准确率。肖雄等^[5]提出基于辅助分类生成对抗网络的数据增强方法，解决了标签信息丢失的问题，减少网络训练参数量，有效提高了故障诊断的效率和准确率。传统GAN生成数据扩充不均衡样本的方法训练模型容易失稳，生成数据质量欠佳，由于网络中交叉熵损失函数的限制，经常出现梯度弥散现象，为了解决这些问题，提出了部分改进GAN方法，但仍会导致改进后的网络出现收敛速度慢、生成数据多样性差等问题，不能满足轴承故障诊断中的应用要求。

WU等^[6]提出了利用欠采样策略和加权的代价敏感损失函数的长循环卷积LSTM（长短期记忆）网络，为数据不均衡条件下的故障诊断提供了解决方法。JIA等^[7]提出了具有加权Softmax损失函数的深度归一化卷积神经网络，使训练过程更加稳定，在数据不均衡条件下取得了较好的分类效果。ZHANG等^[8]提出了一种基于深度对抗半监督方法，以提升数据不均衡条件下轴承故障诊断的准确率。由于轴承工作环境复杂多变，传统卷积神经网络训练时易受不均衡数据干扰，不利于故障诊断准确率的提升。主要是由于CNN（卷积神经网络）对原始故障数据进行网络层间学习，建立故障样本和故障类别之间的映射关系，需要大量的均衡数据对深度诊断模型进行训练，在轴承故障监测及诊断模型构建过程中，数据集中正常数据与故障数据严重失衡，极大地降低了轴承故障诊断结果的准确性和稳定性，针对上述问题，引入Swin Transformer^[9]，通过不重叠的移动窗口执行自注意计算，并允许跨窗口连接，可以有效提取轴承信号中的故障特征，其最初应用于自然语言处理（natural language processing，NLP）中序列数据的分析，如今在计算机视觉领域得到广泛应用，被广泛应用于遥感^[10]、工业制造^[11]、气象^[12]、医学^[13]、农业等领域。高涛等^[14]提出一种基于浅层特征提取模块和深度特征提取网络两部分的窗口自注意力网络的单图像去雨算法，有效地利用雨图的全局性信息，避免了部分细节和结构信息的损失；扶兰兰等^[15]提出将Swin Transformer模型引入迁移学习，实现了对玉米不同生长阶段的识别；王璨等^[16]引入Swin Transformer主干网络，实现了对玉米与杂草的准确分类。

考虑数据样本缺乏及模型训练不充分等问题，提出利用LSGAN-Swin-T模型解决样本不均衡及部分故障类型数据缺乏条件下的滚动轴承故障诊断难题。通过在生成器中添加dropout层改进LSGAN模型，输入重构为二维矩阵的轴承故障数据，使用最小二乘损失函数代替交叉熵损失函数，使用生成样本扩充不均衡的真实故障样本集，输入Swin Transformer模型进行故障分类。同时减少生成对抗网络训练样本数量，以验证小样本条件下所提方法的有效性，在不同数据集上进行试验，验证模型的适应能力。

1　模型相关理论

收起

1.1　LSGAN理论

GOODFELLOW等^[17]提出生成对抗网络，由生成器和判别器共同组成，生成器（generator，G）通过映射随机分布噪声信号至样本空间，从而得到生成数据，将其与真实数据共同输入判别器（discriminator，D），输出生成样本被判别器判定为真实样本的概率，最终网络达到纳什均衡^[18]。

GAN的目标函数为：

m i n G m a x D V G A N (D, G) = E x ~ P d a t a (x) (l g D (x)) + E z ~ P z (z) (l g (1 - D (G (z))))

(1)

式中，

V G A N (D, G)

为判别器与生成器的目标函数；

E (·)

为数学期望；x表示真实样本数据；

P d a t a (x)

表示原始数据分布；

z

为随机噪声；

P z (z)

表示随机噪声服从高斯分布；

D (x)

表示判别样本属于真实样本的概率值；

G (z)

表示生成样本数据。

传统GAN通过交叉熵损失函数判断生成数据样本与真实数据样本间的差异程度，由于训练过程不稳定通常会出现梯度弥散和模式崩溃等现象，为解决梯度消失的问题，MAO等^[19]提出使用最小二乘损失函数替代交叉熵损失函数的LSGAN模型，使得GAN的训练过程更加稳定的同时具有更快的收敛速度，得到更高质量的生成数据。

LSGAN的目标函数表示为：

{m i n D V L S G A N (D) = 12 E x ∼ P d a t a (x) (D (x) - b) 2 + 12 E z ∼ P z (z) (D (G (z)) - a) 2 m i n G V L S G A N (G) = 12 E z ∼ P G (z) (D (G (z)) - c) 2

(2)

式中，

V L S G A N (D) 和 V L S G A N (G)

分别为LSGAN判别器和生成器的目标函数；P_G（z）表示真实数据分布；a为生成数据标签；b为真实样本标签；c为判别生成数据为真的期望。为了使生成数据与真实数据样本的分布无限接近，设定b=c，a=0，代入LSGAN的目标函数中可得：

{m i n D V L S G A N (D) = 12 E x ∼ P d a t a (x) (D (x) - 1) 2 + 12 E z ∼ P z (z) (D (G (z))) 2 m i n G V L S G A N (G) = 12 E z ∼ P G (z) (D (G (z)) - 1) 2

(3)

在LSGAN中，在生成器G中加入dropout层防止参数过多影响网络判别效果，避免小样本训练过程中发生过拟合现象，判别器D通过最小二乘损失函数，使生成数据样本通过不断迭代训练逐渐尽可能地接近真实样本数据的空间分布，二者均会提高生成数据的质量，从而保证在数据不均衡条件下LSGAN能够有效扩充数据样本，提高样本不均衡条件下轴承故障诊断的准确率。

1.2　Swin Transformer网络模型

Swin Transformer模型利用滑动窗口、层级设计的优势，使Transformer从语言适应应用至视觉方面成为可能^[20-21]。在本文的故障诊断研究中，Swin Transformer诊断模型的总体框架如图1所示，主要由修补分区层、层叠模块、归一化层、全局池化层以及全连接层组成。

通过连续小波变换将振动信号转变为RGB三通道的时频图，将大小为[H，W，C]的时频图输入模型中大小为4×4相邻像素的补丁分区模块中进行分块，通过展平操作，图像大小变为[H/4，W/4，16C]，依次经历4个层叠模块Stage对输入时频图的分辨率进行压缩，网络模型使用窗口多头自注意结构W-MSA（window multi-head self-attention）和移位窗口多头自注意结构SW-MSA（shifted window multi-head self-attention）两种旋转转换块结构。模型层叠模块Stage1中具有1个线性嵌入，层叠模块Stage2至层叠模块Stage4中各含有1个补丁合并层。其中Stage1至Stage4中分别包含2、2、6、2个Swin Transformer Blocks。

移动窗口多注意力机制包含MSA（multi-head self-attention）结构、W-MSA结构和SW-MSA结构，如图2（a）所示。其中第一种常见结构MSA对时频图包含的所有像素均进行了复杂的计算，W-MSA结构将时频图按照4×4大小划分成不同的窗口，分别对每个窗口内部进行运算，能够显著降低计算要求。SW-MSA结构与W-MSA不同，该结构可以利用局部卷积操作，利用滑动窗口扩大感受野，使用注意力机制选择一个固定窗口进行计算^[22]。

滑动窗口通常分为重叠窗口与非重叠窗口，图2（a）中，窗口多头自注意结构通过滑窗操作使其由4个窗口变换成移位窗口多头自注意结构的9个窗口，但由于每个窗口内部进行自注意力均需要进行大量计算，为了减少计算要求，采用图2（b）中的移位配置批量计算，将不同窗口进行组合，使之窗口计算量相同，通过使用MSA对大小相同的组合窗口进行自注意力计算，并将计算数据转移至最初的窗口^[23]。

所提模型架构详细配置参数如表1所示。

采用LSGAN-Swin Transformer模型按照图3所示的试验步骤分别验证LSGAN扩充不均衡数据集的可行性及小样本条件下其生成样本质量的高低，同时在相同训练样本条件下测试所提Swin Transformer模型的优越性，采用上述模型进行滚动轴承故障诊断的流程图如图4所示。

2　LSGAN-Swin-T故障诊断实例1

收起

2.1　试验数据描述

试验数据来自美国凯斯西储大学（CWRU）轴承数据中心公开的轴承数据集^[24]。采用12 kHz采样频率下的驱动端轴承数据，通过电火花加工凹槽的方式，得到4种不同的轴承故障状态：正常（N）、内圈故障（IR）、外圈故障（OR）以及滚动体故障（RE）。选取轴承在0~3 hp（0~2205 W）负载条件下工作时的振动数据，如表2所示，在同种故障条件下，根据故障程度分别使用0.18代表0.1778 mm故障深度；0.36代表0.3556 mm故障深度；0.54代表0.5334 mm故障深度。表2中OR0.36代表轴承外圈0.3556 mm故障深度，其他同理。

为了保证单个样本降低数据冗余的同时包含相对较多的故障信息，每类故障状态均通过截取1024个采样点作为一个样本，以30%的重叠率重复采样400次，具体操作如图5所示，对采集的数据样本进行连续小波变换转换为64×64×3的时频图，每种轴承振动信号类型采集到400张图片。

2.2　试验参数设置

试验分为LSGAN不均衡样本扩充和Swin-T模型故障诊断两个部分。试验中的GANs均采用RMSProp方式训练，设置最大迭代次数为500，且均使用相同的网络参数设定，以避免因参数差异造成的结果误差，根据文献[25]，不同图像生成场景下需设置不同的学习率，根据试验结果，在轴承故障诊断任务中，学习率为2×10^-4时，生成器与判别器具有更好的图像生成效果，LSGAN中采用的Adam优化器的

β 1

设置为0.5，

β 2

设置为0.999，

β 1

和

β 2

分别为一阶矩和二阶矩估计的指数衰减率。Swin-T模型编程环境为i7-8565U CPU，NVIDIA GTX1050Ti，python3.7，Pytorch1.8，模型训练时设置最大迭代次数为30，学习率为1×10^-3，权值衰减为1×10^-5，rain_batch_size与eval_batch_size均设置为8。

为了验证Swin Transformer模型不同学习率在轴承故障诊断任务中的影响，分别尝试设置初始学习率为1×10^-4、1×10^-3、1×10^-2，训练过程中不同学习率设置随迭代次数的变化如图6所示。

训练开始，初始学习率为1×10^-2的损失值迅速下降，然而，随着迭代次数的增加，训练折线的波动幅度依然较大，且损失值难以收敛至理想位置。初始学习率为1×10^-4的曲线，最终收敛效果优于1×10^-2的曲线，但波动更为剧烈，且收敛速度相对较慢。1×10^-3对应的损失函数曲线在前期收敛速度相对较好，而且没有出现后期上升的现象，说明本研究的模型没有发生过拟合。通过验证，初始学习率设置为1×10^-3是较为合理的。

批尺寸大小在轴承故障诊断任务中控制每次输入网络进行训练的时频图，由图7可知，随着批尺寸的增大，模型的故障诊断精度先升高后降低，因此本文选择批尺寸的大小为32。

2.3　LSGAN模型训练及数据生成

采用表2所示的10类训练样本，每类样本量为200，共2000个训练样本。采用4∶1划分训练集与测试集的比例，作为LSGAN训练的输入样本数据，训练过程判别器和生成器的损失函数变化如图8所示。

在开始迭代时，生成器损失较大，经过50次迭代后快速下降，100次迭代后损失值均小于0.5并保持至最大迭代次数，二者损失值均在小于0.5的数据范围内小幅震荡，说明网络达到纳什均衡。

模型迭代500次后，轴承故障生成数据与真实样本数据转换为时频图的对比如图9所示。

2.4　基于统计指标的生成样本质量评估

从统计的角度评估真实样本和生成样本的相似性，通过Wasserstein距离（Wasserstein distance，WD）^[26]、最大均值差异（maximum mean discrepancy，MMD）距离^[27]衡量分布差异的指标来判定生成样本的质量。图10展示了所有方法的两种统计指标的箱线图结果。箱线图的中位数表示生成样本的平均水平，箱线图的高度表示轴承10种故障类型生成质量的波动程度，箱线图下方和上方的线表示所有故障类型中统计指标的最小值和最大值。

分别计算4种生成对抗网络方法生成的数据与真实数据的Wasserstein距离及最大均值差异距离，其中从图10箱线图中可以看出，LSGAN所生成的10类故障状态数据的平均中位数均最小，说明数据生成质量高于对比方法，且生成数据与真实数据的平均差异波动最小，稳定性较高。

2.5　基于LSGAN-Swin-T的不均衡样本试验

样本不均衡指的是分类任务中不同类别的训练样例数目差别很大的情况，一般地，样本类别比例（多数类∶少数类）明显大于1∶1（如4∶1）时就可以归为样本不均衡的问题。在轴承故障诊断研究中，滚动轴承在大多数时间都在正常状态下工作，故障状态时间很短，样本不均衡是一种常见的现象，而在模型故障诊断任务中获取占比少数的故障样本更为重要。

在轴承复杂的工作环境中，对部分类别的故障数据的采集较为困难，同时由于轴承正常运行时间远远大于故障时间，正常类别下采集的数据样本远远大于故障类别，当数据比例失衡或故障数据不足时均会对模型的诊断准确率造成影响，为进一步验证LSGAN的数据生成能力及Swin-T模型的分类能力，以7∶2∶1的比例设置训练集、验证集、测试集，对故障样本与正常样本设置不同比例进行试验，故障样本与正常样本训练比例及样本数量如表3所示。

在相同测试集上测试不同训练样本数下各模型的分类效果，以分析样本不均衡场景下各模型的故障诊断性能。基于上述5个不均衡数据集，使用其分别训练模型，对比模型测试结果如表4所示。

不同数据集下不同模型对于不同样本不均衡程度下的故障诊断精度具有差异。从表4不同故障诊断方法性能验证中可以看出，在故障样本/正常样本值从0.8降至0.6时，传统CNN、经典卷积神经网络AlexNet和轻量级卷积神经网络SqueezeNet在不均衡数据集上的准确率分别下降了11.3%、8.7%和7.1%。由此可见，在传统卷积神经网络中，故障样本/正常样本<0.8时准确率下降幅度较大，此时应考虑样本不均衡对网络性能的影响。试验结果表明，所提模型在数据不均衡条件下具有较强的适应能力，但在故障样本/正常样本<0.4时，模型准确率进一步下降。从训练准确率曲线中可以看出，模型收敛速度变慢，因此在故障样本/正常样本<0.4时，应重点关注样本不均衡对所提模型产生的影响。

使用LSGAN网络生成的数据样本分别均衡上述各个不均衡数据集，分别输入Swin-T模型及对比模型中进行训练，其中深度自适应网络（deep adaptation netowrk，DAN）和均衡分布适应网络（balanced distribution adaptation network，BDA）方法均是常用于故障诊断中的迁移学习方法。将采集到的各个不均衡比例下的轴承振动信号作为源域，与其他对比模型相同的测试集样本作为目标域，将源域和目标域数据按4∶1的方式划分为训练集和测试集，利用训练集训练DAN和BDA网络，将测试集输入到上述网络中，得到故障诊断结果。各模型故障诊断准确率如图11所示。

从试验结果中可以看出，随着样本不均衡比例的降低，常规迁移学习网络DAN与BDA的准确率分别下降了5和3.9个百分点，说明简单的迁移方法并不能从上述均衡后训练样本中提取足够的故障诊特征迁移至故障诊断任务中。

不同比例数据集下Swin-T模型的训练过程如图12所示。

由Swin-T模型训练过程可知，随着故障样本与正常样本之间的数量差距不断增大，各个模型收敛速度逐渐变慢，且训练过程中出现不同幅度的波动。当不均衡比例为1∶60时，在前25次迭代中，验证准确率不断震荡，最终逐渐趋于平稳。在五种不均衡比例中，CNN、AlexNet、SqueezeNet三种模型的准确率较数据缺乏时均有不同程度的提高，其中CNN的变化最为明显，提升了21.2%。而AlexNet与SqueezeNet均接近样本充足时模型的准确率，说明LSGAN能较好地拟合真实数据与生成数据的分布，生成与真实样本之间差异较小的样本，能为故障数据采集困难条件下的轴承故障诊断研究提供数据支持，提升分类模型的诊断性能。而在不同的不均衡比例中，Swin-T模型均获得了最高的诊断准确率，验证了所提模型的优越性能。

2.6　小样本条件下的不均衡样本试验

由于出现样本比例不均衡时，往往真实样本数量较少，为了验证小样本条件下LSGAN的样本生成性能。从表2中的10种状态数据样本中分别随机抽取10、50、100和200个样本，作为LSGAN网络中的真实数据输入，由生成器输出模拟数据，通过生成器与判别器对抗训练提高生成数据的质量，其各项参数设置均与上文保持一致，得到4类数量样本下的生成数据，分别使用4种生成数据扩充比例为1∶60时的不均衡样本集，输入Swin-T及对比模型中进行训练，准确率如图13所示。

由图13可知，LSGAN分别在4种不同数量训练样本条件下进行样本扩充，Swin-T的诊断准确率均在99%以上，且接近于充足样本训练的模型诊断准确率。采用相同的生成样本时，AlexNet和SqueezeNet方法的准确率略低，但基于LSGAN的样本扩充方法在4种模型的诊断准确率均远远大于样本不均衡条件下的准确率，表明LSGAN在训练样本数量较小时仍能够较好地学习真实样本的分布，说明了基于LSGAN的生成模型生成的样本能够用于替代真实样本均衡数据集。当真实样本数仅为10时，Swin-T仍能获得99.25%的准确率，另外五种网络的准确率明显下降，但除CNN外都仍维持在85%以上，说明LSGAN具有较好的数据生成能力，以相对较小的训练样本生成较高质量的生成样本，以满足故障诊断需求，为小样本条件下数据不均衡的轴承故障诊断研究提供参考。

为证明所提方法结合的必要性，在1∶60的比例下进行如表5所示的消融试验。

由试验结果可知，Swin-T及对比模型在未经GAN均衡的数据上准确率大大降低，且Swin-T模型在LSGAN均衡后训练数据上与AlexNet、BDA对比具有更好的诊断效果。在解决小样本不均衡的问题中，通过生成对抗网络均衡数据，让模型具有更好的表现，且经过相关统计指标评估和试验效果对比，证明LSGAN与Swin-T两方法结合具有更好的效果，表明二者具有互补性。

2.7　模型抗噪性能测试

对上述数据分别添加信噪比为2、4 dB的高斯白噪声，进行抗噪性试验。在10样本的条件下训练LSGAN进行扩充1∶60不均衡数据集，所提模型与对比模型验证准确率曲线如图14所示。

由图14可知，在强噪声2 dB下，Swin-T模型准确率达到了97.65%，分别高出BDA、SqueezeNet模型10.9、19.95个百分点，表明所提方法在一定程度上可以降低噪声的影响，具有较好的鲁棒性。

利用CWT（连续小波变换）将10种状态下的轴承故障信号每组生成200样本，对共计2000个样本进行生成时间测试，共需要496 s，即每组时序数据转化为CWT图像模态数据需要49.6 s左右的时间，满足实时应用的要求。

通过时序信号的转换，输入不同模型进行测试，各个模型在不同不均衡比例下的测试时间对比如表6所示。

结果表明，Swin-T模型在具有最高精度的同时，效率依然高于其他对比模型，且较SqueezeNet平均测试时长提升了10.8 s，说明Swin-T模型中基于窗口构建分层架构，解决了随着时频图尺寸的增加，模型中计算量急剧增加的问题，降低了运算的复杂性。

2.8　t-SNE可视化分析

为进一步展现所提模型的分类能力，利用t分布随邻域嵌入（t-distributed stochastic neighbor embedding，t-SNE）对Swin-T模型分类效果进行可视化分析，分别对凯斯西储大学48 kHz采样频率下原始数据和Swin-T输出结果进行可视化处理，结果如图15所示。

其中算法输出结果提取Swin Transformer分类层前一层的输出，即判别特征，采用t-SNE进行可视化。0~9表示10类故障状态。经过算法处理以后，各类别故障数据分割距离较大，分类状态独立清晰。由此证明，本文算法可以有效实现小样本下样本不均衡条件下的滚动轴承故障诊断。

3　LSGAN-Swin-T故障诊断实例2

收起

3.1　试验数据描述

为进一步验证本文所提方法在不同轴承试验数据中的有效性，探究真实样本与生成样本的比例对本文方法准确率的影响，采用东南大学齿轮箱数据集^[26]进行试验，转速系统负载条件为20 Hz-0 V（转速20 Hz（1200 r/min）-负载0 V（0 N‧m））和30 Hz-2 V（转速30 Hz（1800 r/min）-负载2 V（7.32 N‧m）），轴承数据集包含轴承的5种状态，分别为轴承滚动体故障、内圈故障、外圈故障、内-外圈复合故障和正常状态，故障类型如表7所示。选取20 Hz-0 V条件下传感器2收集的信号训练模型。

3.2　LSGAN模型训练及样本生成

采用表7中5种不同状态的训练样本进行连续小波变换，得到共计1250个训练样本，作为LSGAN训练的输入样本数据，经过模型迭代后得到生成样本，将生成样本与真实样本的时域特征进行对比，如图16所示。图中显示利用LSGAN生成的数据与真实数据具有相似的分布规律，表明生成数据的质量较高，可以有效扩充数据缺乏的轴承数据集，提高模型的轴承故障诊断性能。

3.3　Swin-T模型训练

使用与凯斯西储轴承数据集轴承型号及工况环境均不相同的东南大学齿轮箱数据集^[28]对所提模型的有效性进行验证，通过LSGAN网络生成数据样本，对东南大学20 Hz-0 V数据集中5种故障类型按照1∶1的比例共同组成训练集，按照4∶1的比例划分训练集与测试集，其中测试集中均为真实故障样本，输入Swim-T模型中进行训练，经过30次迭代，模型训练过程如图17所示。

由图17可知，模型经过8次迭代后达到100%的准确率，并保持最高准确率至最大迭代次数，数据量较少会导致神经网络过拟合，通过试验验证，在相同的轴承故障数据集上，窗口自注意网络比传统神经网络具有更好的避免过拟合的能力，在样本数据缺乏和样本比例不均衡的条件下具有更好的分类效果，表明所提方法具有良好的滚动轴承故障诊断能力。

3.4　t-SNE可视化分析

采用t-SNE进行可视化分析，结果如图18所示。标签0~4分别对应表7中5类不同故障状态标签。

利用Swin-T模型进行故障诊断前，结果如图18（a）所示，观察可得，5种样本类别分布相互重叠，不同故障类型难以识别。利用所提模型进行训练，结果如图18（b）所示，进行处理后，各类故障的类间分布较大，样本相互未有重叠，模型提取特征后各个故障类型清晰可分。证明所提模型在不同不均衡数据集中均能很好地满足故障诊断的要求。

4　LSGAN-Swin-T故障诊断实例3

收起

4.1　试验数据描述

沈阳工业大学（SUT-SY）行星平行轴齿轮箱故障模拟试验台搭建如图19所示，从左到右依次为电机、联轴器、平行轴齿轮箱、行星齿轮箱、磁粉控制器。采用深沟球轴承的型号为SKF 6207，故障由激光刻蚀技术加工而成。轴承数据在采样频率为5120 Hz以及在转速2000和4000 r/min的条件下，通过信号采集器采集而得，轴承故障直径为0.3和0.6 mm。每一种尺寸都由内圈、外圈、滚动体3种故障组成，并加1种正常状态，共计7种故障类型。

具体采集数据集故障类型说明如表8所示。

通过连续小波变换进行样本构建，结果如图20所示。

4.2　Swin-T模型训练

设置不均衡比例为1∶60，通过LSGAN网络生成数据样本，输入Swim-T模型中进行训练，经过30次迭代，模型训练过程如图21所示。

结果表明，所提模型依然能有效地完成故障诊断任务，证明所提方法在不同复杂程度的数据集上仍具有较好的表现。

5　结论

收起

为了解决轴承故障诊断中样本数量不足和样本类别不均衡导致模型训练不足、准确率低的问题，采用所提LSGAN扩充及均衡数据样本，通过相关统计指标验证数据生成质量，通过Swin-T对比不同分类模型。结果表明，样本扩充后各个模型故障诊断准确率均有提升，并验证了其在不同数据集中的有效性。

（1）利用Swin Transformer模型结合LSGAN进行数据样本扩充后的轴承故障诊断，与传统深度学习方法进行对比。结果表明，Swin Transformer模型的识别精度均在99%以上，其中在1∶60不均衡比例下Swin-T较对比模型的识别精度分别高出22.9%、9.8%、7.6%、6.6%和5.2%，一定程度上克服了卷积神经网络过拟合和模型训练不充分导致故障识别率不高的问题。

（2）通过减少LSGAN训练样本数量验证小样本条件下LSGAN生成样本的有效性。结果表明，在10样本条件下，所提模型故障诊断准确率较对比模型的识别精度分别高出34.85%、13.45%、12.95%、7.6%和7.15%，且4种模型识别精度较数据扩充前均有一定程度的提升，验证了LSGAN扩充数据的有效性及Swin-T模型的优越性。

（3）在1∶60样本不均衡比例下，采用小样本训练LSGAN均衡沈阳工业大学行星平行轴齿轮箱故障模拟试验台试验数据，所提模型仍具有较高的准确率，验证了所提GAN方法在均衡数据样本中的可应用性和所提分类模型Swin-T在不均衡条件下的稳定性。

基金

收起

辽宁省教育厅面上项目(LQGD2020016)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

杨光友，刘浪，习晨博. 自适应辅助分类器生成式对抗网络样本生成模型及轴承故障诊断[J].中国机械工程，2022,33(13):1613-1621.

YANG

Guangyou

，LIU

Lang

，XI

Chenbo

. Bearing fault diagnosis based on SA-ACGAN data generation model[J]. China Mechanical Engineering，2022,33(13):1613-1621.

[2]

郭伟，邢晓松. 基于改进卷积生成对抗网络的少样本轴承智能诊断方法[J].中国机械工程，2022,33(19):2347-2355.

GUO

Wei

，XING

Xiaosong

. Intelligent fault diagnosis of bearings with few samples based on an improved convolutional generative adversarial network[J]. China Mechanical Engineering，2022,33(19):2347-2355.

[3]

郭俊锋，王淼生，孙磊，等.基于生成对抗网络的滚动轴承不平衡数据集故障诊断新方法[J]. 计算机集成制造系统，2022,28(9):2825-2835.

GUO

Junfeng

，WANG

Miaosheng

，SUN

Lei

，et al.New method of fault diagnosis for rolling bearing imbalance data set based on generative adversarial network[J]. Computer Integrated Manufacturing Systems，2022,28(9):2825-2835.

[4]

ZHOU

F N

，YANG

，FUJITA

，et al.Deep learning fault diagnosis method based on global optimization GAN for unbalanced data[J]. Knowledge-Based Systems，2020,187:104837.

[5]

肖雄，肖宇雄，张勇军，等.基于二维灰度图的数据增强方法在电机轴承故障诊断的应用研究[J]. 中国电机工程学报，2021,41(2):738-749.

XIAO

Xiong

，XIAO

Yuxiong

，ZHANG

Yongjun

，et al.Research on the application of the data augmentation method based on 2D gray pixel images in the fault diagnosis of motor bearing[J]. Proceedings of the CSEE，2021,41(2):738-749.

[6]

Z Y

，GUO

，LIN

W F

，et al.A weighted deep representation learning model for imbalanced fault diagnosis in cyber-physical systems[J]. Sensors，2018,18 (4):1096.

[7]

JIA

，LEI

Y G

，LU

，et al.Deep normalized convolutional neural network for imbalanced fault classification of machinery and its understanding via visualization[J]. Mechanical Systems and Signal Processing，2018,110:349-367.

[8]

ZHANG

Y C

，REN

Z H

，ZHOU

S H

. An intelligent fault diagnosis for rolling bearing based on adversarial semi-supervised method[J]. IEEE Access，2020,8:149868-149877.

[9]

LIU

，LIN

Y T

，CAO

，et al.Swin transformer：hierarchical vision transformer using shifted windows [C]∥ Proceedings of the IEEE/CVF International Conference on Computer Vision（ICCV）. Montreal，QC，Canada: IEEE，2021:9992-10002.

[10]

GAO

，LIU

，YANG

M H

，et al.STransFuse：fusing swin transformer and convolutional neural network for remote sensing image semantic segmentation[J]. IEEE Journal of Selected Topics In Applied Earth Observations and Remote Sensing，2021,14:10990-11003.

[11]

GAO

L F

，ZHANG

J X

，YANG

C H

，et al.Cas-VSwin transformer：a variant swin transformer for surface-defect detection[J]. Computers in Industry，2022,140:103689.

[12]

WANG

Z J

，ZHAO

J H

，ZHANG

，et al.UATNet：U-Shape attention-based transformer net for meteorological satellite cloud recognition[J]. Remote Sensing，2021,14(1):104.

[13]

田应仲，卜雪虎. 基于注意力机制与Swin Transformer模型的腰椎图像分割方法[J].计量与测试技术，2021,48(12):57-61.

TIAN

Yingzhong

，BU

Xuehu

. Lumbar spine image segmentation method based on attention mechanism and swin transformer model[J]. Metrology & Measurement Technique，2021,48(12):57-61.

[14]

高涛，文渊博，陈婷，等.基于窗口自注意力网络的单图像去雨算法[J]. 上海交通大学学报，2023,57(5):613-623.

GAO

Tao

，WEN

Yuanbo

，CHEN

Ting

，et al.A single image deraining algorithm based on swin transformer[J]. Journal of Shanghai Jiao Tong University，2023,57(5):613-623.

[15]

扶兰兰，黄昊，王恒，等.基于Swin Transformer模型的玉米生长期分类[J]. 农业工程学报，2022,38(14):191-200.

Lanlan

，HUANG

Hao

，WANG

Heng

，et al.Classification of maize growth stages using the Swin Transformer model[J]. Transactions of the Chinese Society of Agricultural Engineering，2022,38(14):191-200.

[16]

王璨，武新慧，张燕青，等.基于移位窗口Transformer网络的玉米田间场景下杂草识别[J]. 农业工程学报，2022,38(15):133-142.

WANG

Can

，WU

Xinhui

，ZHANG

Yanqing

，et al.Recognizing weeds in maize fields using shifted window Transformer network[J]. Transactions of the Chinese Society of Agricultural Engineering，2022,38(15):133-142.

[17]

GOODFELLOW

I J

，POUGET-ABADIE

，MIRZA

，et al.Generative adversarial nets[J]. Advances in Neural Information Processing Systems，2014,27:2672-2680.

[18]

黄南天，杨学航，蔡国伟，等.采用非平衡小样本数据的风机主轴承故障深度对抗诊断[J]. 中国电机工程学报，2020,40(2):563-574.

HUANG

Nantian

，YANG

Xuehang

，CAI

Guowei

，et al.A deep adversarial diagnosis method for wind turbine main bearing fault with imbalanced small sample scenarios[J]. Proceedings of the CSEE，2020,40(2):563-574.

[19]

MAO

X D

，LI

，XIE

H R

，et al.On the effectiveness of least squares generative adversarial networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2019,41(12):2947-2960.

[20]

YUAN

，XU

W B

. MSST-Net：a multi-scale adaptive network for building extraction from remote sensing images based on swin transformer[J]. Remote Sensing，2021,13(23):4743.

[21]

，PIAO

Z G

，YOO

S J

. STHarDNet：swin transformer with HarDNet for MRI segmentation[J]. Applied Sciences，2022,12(1):468.

[22]

Z Y

，ZHANG

W C

，ZHANG

T X

，et al.Efficient transformer for remote sensing image segmentation[J]. Remote Sensing，2021,13(18):3585.

[23]

WANG

J H

，ZHANG

Z Y

，LUO

L F

，et al.SwinGD：a robust grape bunch detection model based on swin transformer in complex vineyard environment[J]. Horticulturae，2021,7(11):492.

[24]

SMITH

W A

，RANDALL

R B

. Rolling element bearing diagnostics using the Case Western Reserve University data：a benchmark study[J]. Mechanical Systems and Signal Processing，2015,64-65:100-131.

[25]

MAO

X D

，LI

，XIE

H R

，et al.Least squares generative adversarial networks[C]∥ Proceedings of the IEEE International Conference on Computer Vision（ICCV）. Venice，Italy: IEEE，2017:2813-2821.

[26]

ZHOU

Y Q

，LIU

，ZHOU

H Y

，et al.Wasserstein distance feature alignment learning for 2D image-based 3D model retrieval[J]. Journal of Visual Communication and Image Representation，2021,79:103197.

[27]

HUANG

Y M

，LEI

，LI

X Y

，et al.Quantum maximum mean discrepancy GAN[J]. Neurocomputing，2021,454:88-100.

[28]

SHAO

S Y

，MCALEER

，YAN

R Q

，et al.Highly accurate machine fault diagnosis using deep transfer learning[J]. IEEE Transactions on Industrial Informatics，2019,15(4):2446-2455.

2025年第38卷第8期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.16385/j.cnki.issn.1004-4523.202308023

接收时间：2023-08-11
首发时间：2026-02-09
出版时间：2025-08-10

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-08-11
修回日期：2023-11-06

基金

辽宁省教育厅面上项目(LQGD2020016)

作者信息

沈阳工业大学机械工程学院，辽宁沈阳 110870

通讯作者:

刘杰（1980—），女，博士，副教授。E-mail: starliujie@126.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zdgcxb/CN/10.16385/j.cnki.issn.1004-4523.202308023

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

故障样本:正常样本		测试集数量
训练比例	样本数量	测试集数量
1∶1	360∶360	400
1∶2	180∶360	400
1∶5	72∶360	400
1∶10	36∶360	400
1∶30	12∶360	400
1∶60	6∶360	400

不均衡数据集	故障诊断准确率
不均衡数据集	CNN	AlexNet	SqueezeNet	Swin-T
1∶2	0.825	0.900	0.893	0.998
1∶5	0.712	0.813	0.822	0.992
1∶10	0.660	0.768	0.771	0.985
1∶30	0.602	0.750	0.736	0.980
1∶60	0.557	0.652	0.646	0.972