固体力学学报

Layer	Width	Dilation	Filters/Nodes
CNN1	1	7	1	1	64
CNN2	7	1	1	1	64
CNN3	5	5	1	1	64
CNN4	5	5	2	1	64
CNN5	5	5	4	1	64
CNN6	5	5	8	1	64
CNN7	5	5	16	1	8
CNN8	1	1	1	1	8
LSTM	-	-	-	-	400
FC1	-	-	-	-	600
FC2	-	-	-	-	600

Layer	Width	Dilation	Filters/Nodes
CNN1	1	7	1	1	64
CNN2	7	1	1	1	64
CNN3	5	5	1	1	64
CNN4	5	5	2	1	64
CNN5	5	5	4	1	64
CNN6	5	5	8	1	64
CNN7	5	5	16	1	8
CNN8	1	1	1	1	8
LSTM	-	-	-	-	400
FC1	-	-	-	-	600
FC2	-	-	-	-	600

机械类型	声纹嵌入集	合成训练集	测试集
风扇	3378	100000	1000
泵	3247	100000	1000
阀门	3271	100000	1000
滑轨	3052	100000	1000

机械类型	声纹嵌入集	合成训练集	测试集
风扇	3378	100000	1000
泵	3247	100000	1000
阀门	3271	100000	1000
滑轨	3052	100000	1000

故障类型	测试数据集
风扇叶片损坏	987
泵体泄露	926
阀门泄露	847
滑轨损坏	896

故障类型	测试数据集
风扇叶片损坏	987
泵体泄露	926
阀门泄露	847
滑轨损坏	896

故障类型	定向监测结果
风扇叶片损坏	785	869
泵体泄露	664	775
阀门泄露	657	738
滑轨损坏	637	723

故障类型	定向监测结果
风扇叶片损坏	785	869
泵体泄露	664	775
阀门泄露	657	738
滑轨损坏	637	723

基于声波特征的动力机械故障智能监测方法研究

PDF下载

郝晓宇 , 侯俊玲 ^** , 左宏 , 李群 , 张堰铭

固体力学学报 | 研究论文 2025,46(2): 149-161

收起

固体力学学报 | 研究论文 2025, 46(2): 149-161

基于声波特征的动力机械故障智能监测方法研究

全屏

郝晓宇, 侯俊玲^**, 左宏, 李群, 张堰铭

作者信息

复杂服役环境重大装备结构强度与寿命全国重点实验室，西安交通大学航天航空学院，西安，710049

通讯作者:

**E-mail：junlhou@mail.xjtu.edu.cn.

Intelligent Monitoring Methods for Power Machinery Failures Based on Acoustic Wave Characteristics

Xiaoyu Hao, Junling Hou^**, Hong Zuo, Qun Li, Yanming Zhang

Affiliations

State Key Laboratory for Strength and Vibration of Mechanical Structures, School of Aerospace Engineering, Xi'an Jiaotong University, Xi'an, 710049

出版时间: 2025-04-23 doi: 10.19636/j.cnki.cjsm42-1250/o3.2024.050

文章导航

摘要

收起

近年来，为满足动力机械设备智能化、集成化和大型化的发展需求，对设备运行状态进行智能监测变得至关重要. 本文提出了一种基于声波特征的动力机械故障智能监测方法，该方法构建了改进的卷积神经网络（Convolutional Neural Networks，CNN）-长短时记忆神经网络（Long Short-Term Memory，LSTM）模型. 从实施上来说，本文提出的动力机械故障智能监测方法主要包含机械设备故障本征声波数据库的构建、故障智能监测和可视化操作界面实现三个关键步骤. 首先，当机械发生故障时，收集含故障声波数据并对其进行处理，利用快速傅里叶变换方法得到故障的声波特征，采集大量设备故障（如风扇叶片损坏、泵体泄露等）的声波特征存储为故障本征声波数据库. 其次，在对某机械设备的故障进行智能监测时，将得到的故障本征声波数据库作为嵌入特征，获取并输出故障声波片段，从而确认故障类型，实现对故障的精准预警. 最后，基于改进的CNN-LSTM神经网络模型，搭建了可视化操作界面，该界面能够简捷、准确地实现对机械故障的智能监测. 本研究建立的基于声波特征的智能监测方法具有成本低、部署方便和识别效率高等优势，有望应用于航天航空、核电等行业的复杂工况动力机械系统中.

关键词

声波特征 / 智能监测方法 / 卷积神经网络 / 长短时记忆神经网络 / 可视化界面

Abstract

收起

This paper proposes an intelligent monitoring method for power machinery failures based on acoustic wave characteristics, which involves the construction of an improvedconvolutional neural network (CNN) and long short-term memory (LSTM) model. From an implementation perspective, the proposed method consists of three key steps: the development of an intrinsic acoustic wave database related to a mechanical equipment failure, the execution of intelligent failure monitoring, and the creation of a visual operation interface. Specifically, when a mechanical failure occurs, acoustic wave data containing information about the failure is collected and processed. The fast Fourier transform (FFT) is employed to extract the acoustic wave characteristics associated with equipment failures. A comprehensive database of these characteristics is compiled from various equipment failures, such as fan blade damage and pump body leakage, and stored as a failure eigen acoustic wave database. Then, during the intelligent monitoring of specific mechanical equipment failures, the intrinsic acoustic wave database acquired from these failures serves as an embedded feature for extracting and outputting the corresponding failure's acoustic wave fragments. This process enables the identification of the failure type and facilitates accurate early warning regarding potential equipment failures. Furthermore, a visual operational interface has been developed based on an improved CNN-LSTM neural network model, which allows for straightforward and precise intelligent monitoring of mechanical failures. This intelligent monitoring approach, grounded in the characteristics of acoustic waves, offers several advantages, including low cost, ease of deployment, and high identification efficiency. These attributes make it particularly well-suited for applications in complex operational environments within power machinery systems across various industries, including aerospace and nuclear power.

Key words

acoustic characteristics / intelligent monitoring / convolutional neural network (CNN) / long short-term memory (LSTM) / visual operational interface

引用本文

郝晓宇, 侯俊玲, 左宏, 李群, 张堰铭. 基于声波特征的动力机械故障智能监测方法研究. 固体力学学报, 2025 , 46 (2) : 149 -161 . DOI: 10.19636/j.cnki.cjsm42-1250/o3.2024.050

Xiaoyu Hao, Junling Hou, Hong Zuo, Qun Li, Yanming Zhang. Intelligent Monitoring Methods for Power Machinery Failures Based on Acoustic Wave Characteristics[J]. Chinese Journal of Solid Mechanics, 2025 , 46 (2) : 149 -161 . DOI: 10.19636/j.cnki.cjsm42-1250/o3.2024.050

正文

收起

0　引言

收起

随着科技的急速发展，航天航空、制造业、交通以及核电等领域的各式动力机械设备日益复杂化、集中化和智能化，对动力设备的安全运行提出了更高的要求. 为此，需要采用更先进的监检测技术对动力机械设备进行定期检修和维护，来确保动力机械设备的可靠性和安全性. 通常，当动力机械处于高负荷以及高载荷等苛刻工作条件时，运行期间某一部分一旦出现故障，就有可能引发重大事故，危及人民生命和财产安全. 例如，1986年切尔诺贝利核电站发生严重事故，导致前苏联大部分地区被放射云层覆盖，对社会造成了严重影响^[1]. 同年，山西一家火力发电厂由于机械设备出现振动，没有及时发现，从而导致千瓦电站机组停机^[2]. 秦岭发电厂在1988年的“2.12”事故中，由于汽轮机组轴系发生断裂，造成特大事故^[3]. 20世纪末，现代化工业迅猛发展，大量因动力机械故障引起的事故引起了人们的广泛关注^[4]. 1992年至2002年十年间，美国40多起的火车出轨都是因为动力机械的滚动轴承出现故障所导致的^[5]. 到21世纪，此类事故还是频频发生^[6]. 2014年，马航的QZ8501班机出现机械故障，使得客机的自动驾驶系统瘫痪^[7]发生事故. 分析过往故障案例可知，动力机械设备的故障表现为多因素关联性、延时性、不确定性等特点，大多数的机械设备目前仍依靠人工检查来对设备故障进行判断，从而造成了不准确、检测效率低以及耗时耗力等诸多问题^[8]. 为此，近几年国家将生产安全以及社会安全上升到战略高度，在我国的发展规划中，还提出了对重大装备进行实时安全监控的建议. 其中中国制造2025也明确指出，要把重型装备可靠性的提升作为八项战略计划之一^[9]. 因此，对动力机械设备进行监测识别与故障判断，及时准确地反映出设备运行状态对于确保安全生产就显得尤为重要.

对动力机械设备的运行状态进行监检测，本质上是通过测量当前设备运行传递出的信号来判断机械设备的健康状况，因此首要工作就是选取合适的信号. 在目前的故障诊断领域中，使用振动信号作为动力机械监检测的方法居多^[10,11]. 一般都是通过对振动信号的分析，从而判断设备的运行状态. 对于旋转机械来说，先按照时间长短将振动信号进行切分，得到每一小段振动信号进行相加，再取均值后获得信噪比高的振动信号^[12]. 在对振动信号时域分析时也可以比较两组信号不同时间段的相似性，以判断机械的运行状态^[13]. 绝大多数动力机械出现故障，都会使得其频率特征改变，因此为了能够更好的监测到动力机械早期隐形故障，对振动信号进行频域分析成为了主流的故障诊断方法^[14,15]. 虽然通过对振动信号的这两种分析方法都可以反映出机械设备的运行状态，但是它们主要适合对平稳信号分析. 对于非平稳信号存在一定的误差，不能准确提取出信号的特征，因此就有学者提出使用快速傅里叶变换、小波变换等方法对非平稳信号进行分析^[16-18].

相较于其它非平稳信号，声波信号是自然界中普遍存在的一种信号，在机械设备运转时能够较为便捷的获得. 并且，相较于采集其它信号来说，采集声波信号对动力机械所处的环境要求较低且成本不高. 目前，声波信号监测技术已在多场景中得到广泛应用. 例如，在医疗领域，医生可通过听诊器来监测病人的心率，也可以通过超声检查身体内部的各个器官；在国防领域，通过分析移动目标发出的声波来判断目标位置，从而发动攻击^[19]. 在利用声学信号进行机械设备故障诊断的领域，Tandon等^[20]就采用声纹技术提取出了轴承转动运行的声学信息，研究发现声强比声压更适合于分析声波信号. Li等^[21]在对轴承声波信号的研究中，采用小波变换等技术，成功将故障信号与正常声波信号区分开. 此外，Lin^[22]对小波分解方法进行了研究，将其用于风机等设备的故障声波特征提取中. Li等^[23]利用神经网络来处理声波信号，使得能够进行故障检测的分类. Amarnath等^[24]采用经验模态分解方法来实现声波对轴承故障的检测诊断. Law等^[25]利用小波变换等方法，通过提取出轴承声波信号的基频以及不同频带中谐波分量，检测出轴承所出现的故障类型. Luqman等^[26]提出了奇异谱分析（SSA）方法对不同状态下的声信号进行分析，将信号分解为周期分量和噪声. 对每个分量进行快速傅里叶变，以找到每种情况下唯一的频率代表，用于电机的故障诊断. Yao等^[27]对行星齿轮箱产生的非线性非平稳声信号，采用能量和时间、包络谱峰度的综合特征参数克服噪声和微弱的声信号，利用随机森林分类算法建立了故障诊断模型. Shevchik等^[28]针对机械系统中由摩擦引起的机械故障，提取系统的声信号并将其对应的傅立叶谱图用作表征表面状态和即将发生的失效的特征. Zhang等^[29]针对低信噪比的声信号难以提取其特征信息的问题，建立了基于小波变换和支持向量机的轴箱轴承故障诊断模型，用于基于声信号的轴承故障诊断. 国内开始研究的时间相较国外较晚，目前也有大量学者在声波检测领域开展研究，如中科大的欧阳可赛^[30]通过短时麦克风阵列技术，建立了列车轴承声学诊断系统. 李少波等^[31]采用声纹技术与卷积神经网络技术相结合，对齿轮箱中的多个齿轮进行了故障诊断，并取得了较好的识别效果. 中北大学的黄平平等^[32]提出了一种基于EMD技术的齿轮箱声学故障诊断的新方法，通过使用经验模态分解的方法提取到声波信号中的特征，对其进行深入分析，获得了良好的效果.

随着机器学习的飞速发展，在诸多领域都取得了成功. 由于其多层次的非线性处理结构以及强大的特征提取能力，对于挖掘信号中的深层特征信息具有非常好的效果，很多学者将其应用到故障诊断领域，用来提取信号特征或诊断分类^[33]，解决了传统故障诊断方法中大量数据处理依赖人为经验^[34]，同时通过多层的神经网络模型学习得到各种信号与状态信息之间的映射关系，在故障诊断和状态监测领域得到很好的发展和应用^[35]. 在目前的研究中利用声波信号进行故障监测最重要的问题之一就是噪声干扰，在高强度噪声条件下，目标信号质量急剧下降，严重影响后续信号处理的效果，从而故障监测和诊断的准确率也急剧降低. 但机器学习在语音分离、语音降噪等领域取得了显著的效果，例如基于时频掩蔽^[36]、基于特征映射^[37]以及基于端到端的分离方法，将其应用到声波信号故障监测中，能够对早期隐性故障进行及时监测、识别和预警的系统较为稀缺. 同时，由于动力机械的工作环境极为复杂，选择声波特征作为研究对象，用于故障智能监测具有重要意义.

基于此，本文将声学信号与机器学习方法相结合，提出了一种基于声波特征的动力机械故障智能监测方法，通过将故障声波特征作为嵌入特征，可以及时剥离故障声波，进行故障预警. 该方法采用了卷积神经网络（CNN）和长短时记忆神经网络（LSTM）相结合的优化改进神经网络模型，并基于Pycharm和PyQt5平台搭建可视化操作界面系统，使得优化改进的神经网络模型可视化，操作便捷. 该智能监测方法具有成本低、监测效率高且不受制于工况等诸多优点，有望应用于各种复杂工况的动力机械系统故障监测.

1　基于CNN-LSTM的声波分离模型概念及结构

收起

本研究提出的声波智能监测方法是基于CNN-LSTM神经网络模型构建的. 本节将给出卷积神经网络（CNN）、长短时记忆神经网络（LSTM）的基本概念与结构，以及本研究改进优化的声波分离模型的基本框架.

1.1　卷积神经网络（CNN）

卷积神经网络是一种前馈神经网络，其包含了特殊的多层感知器，基本结构包括卷积层、激活层、池化层和全连接层. 卷积神经网络的基本特征是能够局部连接、权值共享和空间池化，通过卷积神经网络对语谱图进行处理的实质就是通过多层滤波器对输入数据的特征进行提取. 滤波器利用卷积和池化计算，将数据集内所隐含的特征提取出来. 其中网络中的卷积层是最关键的层结构，因为该层进行的卷积计算是提取数据特征的主要步骤，提出到的特征的表征能力好坏极大的影响后续分离和识别的准确度. 卷积神经网络与其他网络结构相比有更强的特征提取能力并且计算速度更快，且能够自动学习和更新网络中的参数，使得网络能够从输入数据中提取并学习到更高级的特征表示.

1.2　长短时记忆神经网络（LSTM）

长短时记忆神经网络是循环神经网络的一种变体形式，常用于处理和建模序列数据. 它在处理序列数据时能够更好地捕捉长期依赖关系，并且相对于基本的循环神经网络来说，LSTM具有更强的记忆功能. 其关键在于通过引入记忆单元和门控机制来解决传统循环神经网络在学习和处理长序列时的梯度消失和梯度爆炸问题. 记忆单元是LSTM的核心组件，它可以存储过去的信息，并选择性地将信息传递给后续的时间步. 门控机制包括输入门、遗忘门和输出门，通过控制信息的流动，决定何时更新记忆单元的内容，以及将记忆单元的内容输出.

1.3　改进的CNN-LSTM声波分离模型

本研究建立的动力机械故障智能监测方法是基于CNN和LSTM相结合的神经网络分离模型^[38]进行改进的，其基本架构如图1所示. 该网络分离模型将定向嵌入的故障本征特征的声波进行凸显. 具体来说，在该模型中，包含两部分输入信息：第一部分输入是来自定向嵌入声波编码网络中的特征信息，第二部分输入是待分离声波经过短时傅里叶变换后得到的声谱图，将这两部分输入到网络中，最终会输出一张掩码图，该掩码图与待分离声波的声谱图进行点乘，则会输出凸显定向嵌入特征对应声波的声谱图，最后重构为声波. 该声波定向分离模型能够通过嵌入的故障本征特征，屏蔽其它无关的声波，只保留含有嵌入特征相关的声波. 利用改进的CNN-LSTM神经网络分离模型，当对设备进行故障监测时，仅需要对定向嵌入的特征进行调整，输入不同动力机械运行状态故障本征的特征，若动力机械发生该类型故障，则系统就会定向输出该类型故障对应的声波.

在本研究的动力机械故障智能监测方法中声波分离系统的网络模型由CNN、LSTM和全连接层（Fully Connected Layer，FC）组成，该模块中神经网络结构如表1所示.

从表1可知，本模块的网络模型是由8层卷积神经网络，1层长短时记忆网络和2层全连接层共同构成的. 在声波分离模块的网络模型中CNN、LSTM以及FC1中采用Mish激活函数，FC2采用Sigmoid激活函数，在最后一层中采用Sigmoid激活函数是为了输出（0，1）区间内的掩码矩阵图.

2　改进CNN-LSTM声波分离模型的构建

收起

在改进CNN-LSTM声波分离模型过程中需要注意的是，模型图中目标声波的声谱图与分离出的声谱图通过计算模型损失来调整预测参数，目的是以最小的损失函数值，达到更加准确的预测结果，该部分是用于神经网络模型训练的. 当训练得到最优模型后，实际的声波智能分离过程不需要该部分的参与. 而声纹嵌入模型的选取，直接影响声波特征信息的提取，进而影响整个网络模型的监测能力. 从图1中也可以看出，损失函数和声纹嵌入模型是该网络模型的关键参数，因此对上述两个参数进行改进，从而使得神经网络预测更加准确.

2.1　损失函数

机器学习中损失函数的作用是用来评价网络模型最终预测结果与目标值之间的误差，计算出损失值，它通过神经网络模型自动调整权重，从而使得模型具有更好的预测性能，同时损失值越小，证明该网络模型性能越优异. 在声波智能监测方法中，从众多声波进行智能分离声波时，损失函数表示的是模型输出声波与真实声波之间的不一致程度，同时也是网络模型在训练过程中所需最小化的目标函数，因此选取在声波领域中常用的均方误差函数（Mean Square Error）、幂律压缩频谱的均方误差函数（Power-Law Compression Loss）以及Scale invariant Signal-to-Noise Ratio（Si-SNR）函数作为损失函数，开展相应研究.

均方误差是一种基于距离测度的损失函数，从式（1）的均方误差公式得出其有着计算简单且处处可导的特点，即函数图像曲线连续且光滑，有利于使用梯度下降算法，参数的梯度也会随着误差值的降低而降低，有利于函数收敛，因此均方误差函数被广泛应用于神经网络的损失函数.

(1)

其中，Y_i指的是第i个样本对应的目标真实值，f（x_i）指的是第i个样本对应的网络模型预测结果，n代表的是该训练样本的个数.

幂指数压缩时频谱的均方误差函数如下：

(2)

其中，S表示时频谱幅度，0.3为幂指数压缩系数.

SI-SNR指的是不会受到信号变化影响的信噪比，一般来说SI-SNR和SDR都是客观衡量定向分离好坏的评价指标. SI-SNR的定义为：

(3)

其中，

，

和s分别代表预测信号和目标信号，

. SI-SNR通过对参考信号和目标信号进行均值归一化处理，使值趋近于0.

2.2　声纹嵌入模型选取

在基于声波特征的智能监测方法中，声纹模型的选择决定着声波特征的提取质量，也直接影响智能监测的效果. 为了提高监测效率，选取合适的声纹模型至关重要. 目前，声纹领域主流使用的模型包括d-vector模型、ResNet34模型以及最新的ECAPA-TDNN模型. 因此，本研究将选取上述三种声纹模型进行深入分析和比较.

d-vector的声纹模型是经过多层DNN结构或者搭建多层LSTM神经网络结构组成的，在模型中存在多层全连接层与一层线性层. 该模型中全连接隐藏层的最后两层设置dropout为0.5，目的在于减少中间特征的数量，从而减去冗余部分，通过多层对不同声波进行分类，在输出时去除输出层，将全连接层的最后一层作为特征向量输出. 由于该声纹模型去除了输出层，在一定程度上减少了网络参数，也降低了一定工作量.

ResNet34模型是采用BasicaBlock残差块组成的，BasicaBlock残差块示意图如图2所示.

从图2可以看出，BasicBlock由两个3×3的卷积核和1×1的步长卷积层构成，其中卷积核的个数均为64，右侧连接线输入和输出跳跃连接实现恒等映射，也称为shortcut分支. 本模型采用梅尔频谱作为特征进行提取，在卷积层后进行全局最大池化，这是为了更好地保存声纹特征信息. 全局最大池化后，两个独立的全连接层序列的内容是一致的，它们分别学习的是干净声波和降噪后的声波特征之间的区别，有助于得到含噪声数据中的声波特征. 但由于ResNet网络模型搭建的层数较多，因此会增加训练时间.

ECAPA-TDNN模型是基于时延神经网络的x-vector模型改进的，主要改进了信道相关帧的统计池模块，加强信息的上下层之间传递. ECAPA-TDNN网络结构模型示意图如图5所示.

从图3可以看出，ECAPA-TDNN网络模型是由conv1D+ReLU+BN、SE-Res2Block、Attentive Statistics Pooling和Multi-layer Feature Aggregation等组成的，AAM-Softmax为损失函数. 该网络模型更加注重信道之间的联系、信息的传播和聚合，因此ECAPA-TDNN是目前最新的声纹模型.

2.3　改进的CNN-LSTM声波分离模型训练

本文所有的模拟数据均采用故障工业机器调查的数据集^[39]（MIMII数据集）来进行模拟数据训练. MIMII数据集包括有风扇、泵、阀门和滑轨四种机械在正常运转时采集到的声波，不同类型工业噪声的运转声波，以及四种机械出现故障的声波，如风扇旋转不平衡、泵体泄露、阀门有异物堵塞以及滑轨出现失效破坏. 该数据集是通过采样率为16 kHz的八个麦克风组成的八通道的圆形环阵列对机械声波进行采集，采集得到的声波文件长度均为10秒，该数据集中各种机械正常运转状态的声波则作为特征嵌入的数据样本集，四种机械异常状态与它们各自的正常运行状态的声音样本进行合成产生训练集. 利用MIMII数据集中的声波片段，每两种不同机械声波进行合成混合声波，合成的每一个声波片段长度设定为3秒，采样率依旧为16 kHz，调用Python中的tqdm进度条模块，可以实时显示数据集合成进度. 在合成开始后，将每两种机械类型的声波进行组合，生成10万组训练数据. 当合成进度达到100%时，继续随机合成1000组测试数据，直至显示100%完成.

经过上述程序对训练集和测试集进行合成后，数据集样本配置如表2所示.

本研究采用Python3.8对损失函数和嵌入模型进行编程，其中计算机采用处理器AMD EPYC 7763，内存256G，显卡型号NVIDIA GeForce RTX 4090，操作系统为64位Windows10专业版，全部训练是在GPU模式下完成的. 在对故障声波进行监测过程中，通过调节损失函数和声波嵌入模型，能够提高故障监测精度. 具体来说：（1）通过改进神经网络训练中的损失函数，可以使得模型预测值和真实目标值之间的误差逐渐变小，将损失降到最小值，也就会使得预测更加准确，可以更好地通过智能监测系统尽早地监测到动力机械的异常状态，降低动力机械出现故障时带来的损失，提升动力机械的工作效率.（2）对于智能监测系统来说，关键一环也在于嵌入的声波特征的准确度，它会直接影响最终监测效果的好坏，因此选择好的声纹模型是很有必要的. 以下分别对三种损失函数和三种嵌入模型的监测结果进行讨论.

a. 三种损失函数的监测结果

模型数据训练采用PyTorch深度学习框架，模型采用CUDA并行计算. 为了使得最终预测结果可靠，需控制其它参数不变，设置为Adam优化器学习率为0.001，采用Mish激活函数以及d-vectoer声纹模型进行训练验证. 同时设置网络训练批数（batchsize）为16，每训练1000步保存一次训练模型，开始训练后，通过使用tensorboard工具，实时查看训练的相关参数信息，直至训练至满意结果，终止训练.

本文采用信号失真比（Signal to Distortion Ratio，SDR）作为指标来衡量监测系统的好坏，SDR的好坏与干扰、噪声以及伪影失真有着密切关系，因此SDR的定义为：

(4)

式中，‖x‖²=〈x，x〉代表x的能量值.

通过图4可以看出，使用SI-SNR损失函数来训练模型，SDR值明显高于使用MSE损失函数和幂指数压缩时频谱的均方误差函数，因此采用SI-SNR作为损失函数可以使得模型的监测效果更好.

b. 三种嵌入模型的监测结果

对于智能监测系统来说，关键一环就在于嵌入的声波特征的准确度，它会直接影响最终监测效果的好坏，因此选择好的声纹模型是很有必要的. d-vector作为早期深度学习的声纹模型，采用Mel谱图作为特征进行特征提取，发展相对成熟；Res-Net34模型在d-vector模型基础上进行升级，采用频谱图作为特征，不再像d-vector一样简单取平均，且层与层之间添加的残差连接可以增强嵌入，也使得反向传播能更快地收敛，避免了梯度消失等问题，在一定程度上优于d-vector模型；ECAPA-TDNN模型通过对时延网络（TDNN）进行优化，进行了多层特征融合，使得最终的特征提取更加精准，因此选择这三种模型作为声纹嵌入进行实验验证，通过对比SDR值，最终选择最为合适的模型作为声纹嵌入，可以在一定程度上提高监测效率.

本节对采用d-vector、ResNet34和ECAPA-TDNN三种不同声纹嵌入模型进行训练验证，为了确保训练后模型预测的准确度，需要保持其他参数不变，即采用Adam优化器、Mish激活函数和SI-SNR损失函数. 设置网络训练批数为16，训练每进行1000步保存一次训练好的模型，设置Adam优化器的学习率为0.001，开始训练后，通过tensorboard可视化工具，实时查看训练结果以及损失值和SDR值的变化. 主要通过查看SDR值在使用哪种嵌入模型时更高，即获得最优的网络模型.

ECAPA-TDNN声纹模型作为目前提取声纹最为精准的模型，将其作为嵌入模型融合在智能监测网络模型中，在一定程度上可以提高智能监测的效率. 通过图5也可以看出，使用ECAPA-TDNN模型作为嵌入特征模型，SDR值不断提升，直到训练至64000步时，达到最大值9.35. 此时智能监测到的谱图与目标谱图之间的差距最小.

综上所述，智能监测神经网络模型采用SI-SNR损失函数以及ECAPA-TDNN嵌入模型时，智能监测系统的训练损失能够迅速降低，达到最小的损失值以及最高的SDR值，此时基于声波特征的动力机械故障智能监测系统对动力机械声波的监测效率最为准确.

3　基于声波特征的智能监测可视化界面设计及数据验证

收起

3.1　监测系统总体架构设计

基于改进的CNN-LSTM声波分离网络模型，进行动力机械智能监测可视化界面设计. 该智能监测可视化界面基于PyQt5平台搭建，利用Qt Creator 5.0.5软件进行设计. 其中，PyQt本质上是Python的GUI库，它是Python语言和Qt库共同生成的用作创建UI界面的工具库. 本界面采用PyC-harm+PyQt5+Pyuic5，首先在Qt Creator 5.0.2中利用提供的Designer工具设计GUI界面，再采用Pyuic5将GUI界面编译成为Python语言代码，将界面与代码进行分离，最后在PyCharm中编辑相应功能的代码，最终完成智能监测可视化界面的构建. 利用PyQt5设计平台搭建的基于声纹特征的动力机械故障智能监测可视化主界面如图6所示.

通过该可视化界面进行输入，可对麦克风中采集到的声波进行处理，利用各种机械声波纯净的故障声波作为声纹嵌入码导入到系统中，若采集到的声波中包含有故障声波的部分，将会输出含故障声波的片段，若采集到的声波中不含有故障声波，则不进行输出. 系统输出的含故障声波的片段与现有故障声波的声纹库中的特征进行对比判断，最终输出该故障属于哪种机械的哪种故障. 该系统主要包含定向分离和故障识别两部分，其系统结构如图7所示.

3.2　智能监测系统模拟验证

对于动力机械进行智能监测是保障动力机械系统安全运行的前提，因此具有很大的研究价值. 本次由于无法实地实时获取得到实际运行中的动力机械设备所发出的声音，为了证实本文所研究的基于声纹特征的动力机械智能监测方法的有效性，通过利用MIMII数据集中的四种机械声音进行测试，该数据集包含有四种机械的故障状态下的声波，通过对合成的故障声波进行智能监测，分离得出故障本征相关的声波，并与声纹库中的特征进行分析比对，以此来判断动力机械的运转状态是否出现异常，若出现异常输出为哪一类型故障，实现智能监测的目的.

该监测方法采用处理器Inter（R）Core（TM）i9-10900XCPU@3.70GHz，内存容量为128G，采用NVIDIA GeForce RTX 4090的显卡，电脑操作系统为Windows10专业版，编译器软件采用PyCharm的社区版本. 本模拟验证采用的测试数据配置表如表3所示，建立相应的故障本征数据库. 图8展示了基于声波特征进行风扇叶片损坏智能监测的可视化界面. 上方的声谱图是含有故障的动力机械运行声波信号，下方则是通过该系统处理后剥离出只含故障声波的声谱图. 在处理完成时，系统会弹出窗口，提示该故障与风扇破坏的相似度为0.6338099，是最接近的预测结果.

通过智能监测可视化界面进行声波数据监测，得出合成数据集的定向监测结果如表4所列. 可以看出，利用两种不同的嵌入模型得到的定向监测结果的效果有显著差异，d-vector作为嵌入模型，几种故障类型的定向监测成功率分别为79.5%、71.7%、77.6%、71.1%；ECAPA-TDNN作为嵌入模型，几种故障的定向监测成功率为88.0%、83.7%、87.1%、80.7%. 通过测试数据，进一步验证了利用ECAPA-TDNN作为嵌入模型来改进训练网络模型的有效性，改进后的定向监测效果提高约11%.

综上所述，该智能监测可视化界面系统可实现以下几方面的功能：

（1）采集动力机械几种典型故障声波信号，分别建立故障本征声纹数据库；

（2）实时通过麦克风采集声波或将录音设备中的声波传入系统，对所得到的声波信号进行信号预处理，得到预处理模型；

（3）将故障本征声纹数据库中的数据作为声纹嵌入码进行智能监测，若采集得到的声波中含有故障本征，则输出相应的声波数据，否则将继续进行监测；

（4）若输出相应的故障声波数据，再与建立的故障本征声纹数据库进行比较，利用设定余弦相似度匹配的阈值，输出该故障声波与哪一类型故障的相似度接近，若近似度大于0.8，则认定监测到的声波为该故障类型，或者设定近似度阈值为0.5，输出故障类型按照相似度降序进行排列.

4　结论

收起

本文提出了一种基于声纹特征的动力机械故障智能监测方法，可实现对设备故障的智能监测. 相比现有的监测方法而言，该方法具有无接触、实时监测、对所处工况不敏感、低成本等优势，可有效降低动力机械设备损伤失效所带来的危害性. 其主要结论总结如下：

（1）提出的智能监测方法，将动力机械的正常运转声波作为输入，对采集到的声波进行定向分离，输出动力机械故障的声波，并建立故障本征声波数据库. 通过将故障本征数据库作为声纹嵌入，输入采集到的动力机械运转声波，即可输出与其同特征类型的一段无干扰的故障声波.

（2）结合CNN和LSTM神经网络模型，通过对模型的损失函数以及声纹嵌入模型进行改进，增强了网络模型的预测能力，同时也能够实现更准确的智能监测效果，在一定程度上提升了故障监测的效率.

（3）基于Qt Designer和PyCharm平台搭建了故障智能监测可视化界面系统，通过简单的界面操作实现动力机械的故障智能监测，得到智能监测到的故障声波，再通过声波识别功能复核，最终通过阈值的判定再次确定故障发生的类型，在一定程度上降低了误发预警的情况. 该故障智能监测方法具有成本低、结构部署容易、监测效率高等诸多优点，有望应用于各类复杂工况的动力机械系统中.

基金

收起

中央高校基本科研业务费(xzy012023021)
国家自然科学基金项目(12472081; 12172270)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

董铮. 机械故障诊断基础研究“何去何从”[J]. 科技创新导报, 2017, 14(32): 21.

(Dong

. Basic research on mechanical fault diagnosis: "Where to go"[J]. Science and Technology Innovation Guide, 2017, 14(32): 21. (in Chinese))

[2]

Singh

, Naikan

V N A

. Infrared thermography based diagnosis of inter-turn fault and cooling system failure in three phase induction motor[J]. Infrared Physics&Technology, 2017(75): 125-128.

[3]

钟先友. 旋转机械故障诊断的时频分析方法及其应用研究[D]. 武汉科技大学, 2014.

(Zhong

X Y

, Research on Time Frequency Analysis Method and Its Application in Fault Diagnosis of Rotating Machinery[D]. Wuhan University of Science and Technology, 2014. (in Chinese))

[4]

Hoang

D T

, Kang

H J

. Rolling element bearing fault diagnosis using convolutional neural network and vibration image[J]. Cognitive Systems Research, 2018, 53(1): 42-50.

[5]

杨静. 旋转机械早期故障诊断关键技术研究[D]. 西安理工大学, 2020.

(Yang

. Research on Key Technologies for Early Fault Diagnosis of Rotating Machinery[D]. Xi'an University of Technology, 2020. (in Chinese))

[6]

Qiao

, Elhattab

, Shu

, et al. A second-order stochastic resonance method enhanced by fractional-order derivative for mechanical fault detection[J]. Nonlinear Dynamics, 2021, 106: 707-723.

[7]

曹用. 亚航QZ8501航班失事的启示[J]. 大飞机, 2014(07): 80-83.

(Cao

. Inspiration from the crash of AirAsia QZ8501 flight[J]. Big Airplane, 2014 (07): 80-83. (in Chinese))

[8]

张玉彦. 基于深度自编码器的机械故障诊断方法研究[D]. 华中科技大学, 2019.

(Zhang

Y Y

. Research on Mechanical Fault Diagnosis Method Based on Deep Autoencoder[D]. Huazhong University of Science and Technology, 2019. (in Chinese))

[9]

沈丽琴. 物联网、大数据、云计算新技术助力“中国制造2025”[J]. 建设机械技术与管理, 2015, 28(11): 46-47.

(Shen

L Q

. New technologies of internet of things, big data, and cloud computing support "Made in China 2025"[J]. Construction Machinery Technology and Management, 2015, 28(11): 46-47. (in Chinese))

[10]

Nayana

B R

, Geethanjali

. Analysis of statistical time domain features effectiveness in identification of bearing faults from vibration signal[J]. IEEE Sensors Journal, 2017, 17(17): 5618-5625.

[11]

王志永, 杜伟涛, 王习文, 李超越. 基于振动信号时域分析法的铣齿机故障诊断[J]. 科学技术与工程, 2017, 17(32): 55-62.

(Wang

Z Y

, Du

W T

, Wang

X W

, Li

C Y

. Fault diagnosis of gear milling machine based on vibration signal time-domain analysis method[J]. Science, Technology and Engineering, 2017, 17(32): 55-62. (in Chinese))

[12]

王金福, 李富才. 机械故障诊断技术中的信号处理方法：时频分析[J]. 噪声与振动控制, 2013, 33(03): 198-202.

(Wang

J F

, Li

F C

. Signal processing methods in mechanical fault diagnosis technology: Time frequency analysis[J]. Noise and Vibration Control, 2013, 33(03): 198-202. (in Chinese))

[13]

钱济国. 机械故障的时域参数诊断法[J]. 煤矿机械, 2006(09): 192-193.

(Qian

J G

. Time domain parameter diagnosis method for mechanical faults[J]. Coal Mining Machinery, 2006 (09): 192-193. (in Chinese))

[14]

Pandey

A K

, Biswas

, Samman

M M

. Damage detection from changes in curvature mode shapes[J]. Journal of Sound and Vibration, 1991, 145(2): 321-332.

[15]

潘楠, 伍星, 迟毅林, 柳小勤, 刘畅. 基于频域盲解卷积的机械设备状态监测与故障诊断[J]. 振动与冲击, 2012, 31(12): 34-41.

(Pan

, Wu

, Chi

Y L

, Liu

X Q

, Liu

. Mechanical equipment state monitoring and fault diagnosis based on frequency domain blind deconvolution[J]. Vibration and Shock, 2012, 31(12): 34-41. (in Chinese))

[16]

时建峰. 基于时、频域—小波分析和神经网络方法的齿轮箱故障诊断研究[D]. 太原理工大学, 2008.

(Shi

J F

. Research on Gearbox Fault Diagnosis Based on Time and Frequency Domain Wavelet Analysis and Neural Network Methods[D]. Taiyuan University of Technology, 2008. (in Chinese))

[17]

Abdelkader

, Kaddour

, Derouiche

. Enhancement of rolling bearing fault diagnosis based on improvement of empirical mode decomposition denoising method[J]. International Journal of Advanced Manufacturing Technology, 2018, 97(13): 1-19.

[18]

杨志伊. 设备状态监测与故障诊断[M]. 中国计划出版社, 2006.

(Yang

Z Y

. Equipment Status Monitoring and Fault Diagnosis[M]. China Planning Press, 2006. (in Chinese))

[19]

杨毫鸽. 飞机发动机异常声音识别方法研究[D]. 南昌航空大学, 2018.

(Yang

H G

. Research on Abnormal Sound Recognition Method for Aircraft Engines[D]. Nanchang University of Aeronautics and Astronautics, 2018. (in Chinese))

[20]

Tandon

, Nakra

. Defect detection in rolling element bearings by acoustic emission method[J]. Journal of Acoustic Emission, 1990(9): 25-28.

[21]

, Song

, Li

. Bearing fault detection via wavelet packet transform and rough set theory[J]. Institute of Electrical and Electronics Engineers Inc, 2004(2): 1663-1666.

[22]

Lin

. Feature extraction of machine sound using wavelet and its application in fault diagnosis[J]. NDT & E International, 2001, 34(1): 25-30.

[23]

, Parkin

R M

, Coy

, et al. Acoustic based condition monitoring of a diesel engine using self-organizing map networks[J]. Applied Acoustics, 2002, 63: 699-711.

[24]

Amarnath

, Krishna

I R P

. Empirical mode decomposition of acoustic signals for diagnosis of faults in gears and rolling element bearings[J]. IET Science, Measurement & Technology, 2012, 6(4): 279-287.

[25]

Law

L S

, Kim

J H

, Liew

W Y H

, et al. An approach based on wavelet packet decomposition and Hilbert-Huang transform (WPD-HHT) for spindle bearings condition monitoring[J]. Mechanical systems and signal processing, 2012, 33: 197-211.

[26]

Maraaba

L S

, Memon

A M

, Abido

M A

, et al. An efficient acoustic-based diagnosis of inter-turn fault in interior mount LSPMSM[J]. Applied acoustics, 2021, 173: 107661.

[27]

Yao

J C

, Liu

, Song

K Y

, et al. Fault diagnosis of planetary gearbox based on acoustic signals[J]. Applied Acoustics, 2021, 181: 108151.

[28]

Shevchik

S A

, Zanoli

, Saeidi

, et al. Monitoring of friction-related failures using diffusion maps of acoustic time series[J]. Mechanical Systems and Signal Processing, 2021, 148(3): 107172.

[29]

Zhang

J M

, Hu

X T

, Zhong

X J

, et al. Fault Diagnosis of Axle Box Bearing with Acoustic Signal Based on Chirplet Transform and Support Vector Machine[J]. Shock and Vibration, 2022: 9868999.

[30]

欧阳可赛. 圆形阵列短时分析用于列车轴承道旁声学信号分离与校正的理论研究[D]. 中国科学技术大学, 2018.

(Ouyang

K S

. Theoretical Study on Short term Analysis of Circular Array for Separation and Correction of Acoustic Signals Along Train Bearing Tracks[D]. University of Science and Technology of China, 2018. (in Chinese))

[31]

李少波, 姚勇, 桂桂. 基于CNN与多通道声学信号的齿轮故障诊断[J]. 中国测试, 2019, 45(10): 1-5.

(Li

S B

, Yao

, Gui

. Gear fault diagnosis based on CNN and multi-channel acoustic signals[J]. China Testing, 2019, 45(10): 1-5. (in Chinese))

[32]

黄平平. 基于EMD的齿轮变速箱声学故障诊断[D]. 中北大学, 2012.

(Huang

P P

. Acoustic Fault Diagnosis of Gearbox Based on EMD[D]. North China University, 2012. (in Chinese))

[33]

Lei

, Jia

, Lin

, et al. An intelligent fault diagnosis method using unsupervised feature learning towards mechanical big data[J]. IEEE Trans. Industrial Electronics, 2016, 63(5): 3137-3147.

[34]

雷亚国, 贾峰, 周昕等. 基于深度学习理论的机械装备大数据健康监测方法[J]. 机械工程学报, 2015, 51(21): 49-56.

(Lei

Y G

, Jia

, Zhou

, et al. A big data health monitoring method for mechanical equipment based on deep learning theory[J]. Journal of Mechanical Engineering, 2015, 51(21): 49-56. (in Chinese))

[35]

, Liu

, Yang

, et al. A survey of convolutional neural networks: Analysis, applications, and prospects[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 33(12): 6999-7019.

[36]

蓝天, 彭川, 李森等. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(05): 928-953.

(Lan

, Peng

, Li

, et al. A review of research on monaural speech denoising and reverberation reduction[J]. Computer Research and Development, 2020, 57(05): 928-953. (in Chinese))

[37]

, Du

, Dai

, et al. An experimental study on speech enhancement based on deep neural networks[J]. IEEE Signal Processing Letters, 2014, 21(1): 65-68.

[38]

Wang

, Muckenhirn

, Wilson

, et al. VoiceFilter: Targeted voice separation by speaker-conditioned spectrogram masking[J]. arXiv preprint arXiv: 2018.

[39]

Purohit

, Tanabe

, Ichige

, et al. MIMII Dataset: Sound dataset for malfunctioning industrial machine investigation and inspection[J]. arXiv preprint arXiv: 2019.

2025年第46卷第2期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.19636/j.cnki.cjsm42-1250/o3.2024.050

接收时间：2024-10-29
首发时间：2026-03-20
出版时间：2025-04-23

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-10-29

基金

中央高校基本科研业务费(xzy012023021)

国家自然科学基金项目(12472081; 12172270)

作者信息

复杂服役环境重大装备结构强度与寿命全国重点实验室，西安交通大学航天航空学院，西安，710049

通讯作者:

**E-mail：junlhou@mail.xjtu.edu.cn.

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/gtlxxb/CN/10.19636/j.cnki.cjsm42-1250/o3.2024.050

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

Layer	Width		Dilation		Filters/Nodes
Layer	Time	Freq	Time	Freq	Filters/Nodes
CNN1	1	7	1	1	64
CNN2	7	1	1	1	64
CNN3	5	5	1	1	64
CNN4	5	5	2	1	64
CNN5	5	5	4	1	64
CNN6	5	5	8	1	64
CNN7	5	5	16	1	8
CNN8	1	1	1	1	8
LSTM	-	-	-	-	400
FC1	-	-	-	-	600
FC2	-	-	-	-	600

故障类型	定向监测结果
故障类型	d-vector模型	ECAPA-TDNN模型
风扇叶片损坏	785	869
泵体泄露	664	775
阀门泄露	657	738
滑轨损坏	637	723