包钢科技

声音识别技术在设备故障检测中的应用研究

PDF下载

芦建文 , 赵楠

包钢科技 | 设备与自动化 2022,48(3): 86-89

收起

包钢科技 | 设备与自动化 2022, 48(3): 86-89

声音识别技术在设备故障检测中的应用研究

全屏

芦建文, 赵楠

作者信息

内蒙古新联信息产业有限公司,内蒙古包头 014010

芦建文(1969-),男,山西省朔州市人,硕士,高级工程师,现从事计算机与自动化工作。

Application Research on Voice Recognition Technology in Equipment Fault Detection

Jian-wen Lu, Nan Zhao

Affiliations

Inner Mongolia Xinlian Information Industry Co., Ltd., Baotou 014010, Inner Mongolia Autonomous Region, China

出版时间: 2022-06-25

文章导航

摘要

收起

文章设计了工业设备故障音频智能识别系统,并将该技术集成到巡检机器人中,机器人在遂行巡检任务时,可以实时采集巡检区域设备发出的音频数据并传输到机器人内部的边缘计算模块,自动进行模型训练、声学特征提取与对比,出现异常特征及时报警,可实现设备内部故障的识别,解决了通过视觉检测的局限性问题,从而使得检测更加全面准确。

关键词

音频识别 / 巡检机器人 / 特征提取 / 智能诊断

Abstract

收起

In this paper, it is introduced the audio intelligent recognition system for industrial equipment fault is designed and integrated into the patrol robot. The robot could collect real-time audio data of equipment in inspection area and transmit them to the edge computing module inside itself to automatically carry out model training, extract and compare acoustic feature as well as give an alarm in time when there are abnormal characteristics when it is doing inspection tasks so that the recognition of internal fault of equipment could be realized. As a result, the detection is more comprehensive and accurate through solving the problem of limitation of visual detection.

Key words

audio recognition / patrol robot / feature extraction / intelligent diagnosis

引用本文

芦建文, 赵楠. 声音识别技术在设备故障检测中的应用研究. 包钢科技, 2022 , 48 (3) : 86 -89 .

Jian-wen Lu, Nan Zhao. Application Research on Voice Recognition Technology in Equipment Fault Detection[J]. Science & Technology of Baotou Steel, 2022 , 48 (3) : 86 -89 .

正文

收起

目前焦炉换气室由人工进行定时巡检,但由于环境复杂、空间狭小、空气质量差、同时还有高温情况,这些情况会给巡检人员带来一定的阻碍和干扰,进而造成巡检效率低、无法收集有效的数据情况。阀门是否正常开合,仪器仪表数值读取,设备表面温度异常变化,生产区巡检线路中异常气体变化,油泵运行声音异常等,若不能及时发现问题进行处理将引起更大的问题,造成很大的经济损失。

随着计算机视觉技术和巡检机器人的发展,目前已经可以替代人工完成大部分的巡检任务,大大提高了巡检效率和准确度。但是当前多数巡检内容都是基于图像来对检测目标进行状态识别,无法完成对设备内部状态的检测。鉴于这些设备工作时多数需要长时间振动、旋转或冲击,这种运行形式往往伴随着产生具有一定特征的噪音,因此可通过加入音频检测技术来对设备运行状态进行判断,以弥补机器人视觉检测的局限性^[1]。音频检测与图像识别的性质相同,都是利用对检测目标的特征识别来评估目标状态;音频检测技术安全可靠,能够实现无损检测,同时无需采集图像等隐私信息便可对设备内部运行状态进行检测,在消费类智能终端、汽车行业以及巡检机器人行业等领域,声纹识别技术都有所应用。

1 音频检测技术应用背景

收起

焦化厂的各种生产设备在正常工作时一般会发出各种各样的声音,但从发声机理来看,声音类别可以分为两种,一种是由于机械摩擦产生的谐波噪音,一种是由机械碰撞产生的冲击噪声。设备在正常运行时发出的噪声状态相对比较平稳,一般是谐波噪声或者冲击噪声,两种声音叠加后整体保持平衡。而设备在出现故障时,常常会发出异常噪声,这些异常噪声一般由于设备结构件异常振动产生的冲击噪声或者是非正常摩擦产生的谐波噪声。这种非正常噪声与设备正常运行音频特征的差异便可以作为设备工作状态的诊断依据。

2 机器人音频检测简介

收起

机器人实现音频检测需要加入音频采集传感器。本文采用专业的工业听诊探头,是一种基于MEMS技术制造的全指向麦克风,信噪比65 dB,灵敏度-36 dB,频响范围20~60 kHz,包含可听声和超声频段,可根据实际检测场景来设定具体的频段。工业听诊探头挂载在机器人的升降臂云台上,可根据检测对象特点来调整检测位置。

在部署阶段设定好巡检点,对机器人下发巡检任务后,机器人开始巡检。到达巡检点后机器人停止运动,听诊探头开始采集环境音频,采集到的生产现场声音数据会先经过机器人内部的音频采集板,进行滤波、去噪、信号放大、模数转换、特征提取等预处理,提取的音频特征输入到边缘计算模块进行模型训练、特征对比识别,并将检测结果上报。每个巡检点采集周期为10 s,音频信息经过处理和分析将频谱和检测结果实时回传至web端,检测过程若出现异常信息则报警,并通过巡检点来定位故障设备。机器人巡检结束后会生成巡检报告并存储,以方便后续查阅。

3 音频检测流程

收起

音频识别检测系统工作流程见图1,主要有两个阶段,一是样本训练阶段,二是模型识别阶段。在训练阶段,需要把预处理好的声音组成包含有效声音信息的训练样本,然后提取能代表声音特性信息的特征参数,并根据特征参数来训练声音模型,不同声音对应着不同的模型。在识别阶段,将待识别的声音信号进行与训练阶段相同的处理过程,然后把待识别声音的模型与模型库中的模型进行判别比较,得到识别结果。

3.1 音频特征提取

在声纹识别系统中,音频信号的特征提取是非常重要的一步。声音信号是随着时间不断变化的,本质上是非平稳的随机信号。经过麦克风等设备进行离散采样之后得到的数据是一个一维的波形信号。仅从一维波形信号只能获取声音的强弱和有无,无法捕捉到有用的规律。尽管音频信号整体是非平稳信号,但一般认为截取10~30 ms的片段可以近似看作是平稳信号(即短时平稳性),从而可以通过短时傅里叶近似来进行频谱特征分析^[2]。频谱分析的做法主要是模仿人类听觉机理,人们对不同频率的信号的感受是不同的,有一定的频率分辨能力,从而根据采集的音频信号在频域上的能量分布来辨别音频类型。梅尔倒谱系数(MFCC)特征值具有提取简单、预测精度高、抗噪性能好等特点,本文利用音频的MFCC特征进行模型训练和识别。

在音频检测识别系统中,为了能够得到符合标准的音频信号,要对原始信号进行预处理,如图2所示,该过程主要包括音频采样及量化、预加重、分帧、加窗等过程。

(1)音频采样及量化。该步骤将采集到的连续模拟信号转换为离散的数字信号,根据奈奎斯特采样定理,为保证信号在波形下不失真,采样频率大于声音频率的两倍。

(2)预加重。由于语音信号的能量在低频处大,高频处较小,会使得高频处信号不明显,造成高频信号传输困难。为解决该问题,在音频信号传输前对高频信号进行预加重处理,提高信号的高频部分,使得信号传输质量提高,高低频保持在平衡的状态下。预加重一般是在模数转换后通过一个数字滤波器,该滤波器特点是可以以6 dB/倍频程来提高高频的特性。

(3)加窗和分帧。音频信号是一种非平稳信号,但在短时间内可以认为是稳定的,也就是音频具有短时准平稳性。从一个固定特性的持续声音中截取一段短时平稳的声音段作为一帧,用这一帧声音信号来代替整段持续的声音,这样的处理叫做分帧。在对音频进行分帧处理后,为了保持声音每一帧两端的平滑性,要对声音帧再进行加窗处理。

经过以上的预处理后,再进行离散傅里叶变换、Mel频率滤波、离散余弦变化可实现获取MFCC特征值。

3.2 音频智能识别

设备音频特征提取之后,需要对检测目标的工况进行建模,对待测噪声信号进行比较判断,识别设备运行状态。油缸等设备在实际运行过程中,极少会发生异常故障现象,很难收集大量的负样本数据,因此本文着重于使用设备正常运行时的音频数据建模,只需对比识别样本与正常样本的区别即进行判断,避免样本采集不到位造成的问题遗漏。同时样本支持标记,对于一些如人为敲击、物体碰撞到设备而产生音频特征可标记为正常样本,出现故障特征时亦可以对故障类型进行标记。本文以深度神经网络DNN为基线,针对油缸等设备噪声特征改进DNN模型,在DNN模型训练完成后,移除最后一层分类层,将最后一层隐藏层的输出结果作为声纹模版进行对比^[3]。优化后的神经网络如图3所示。

3.3 声纹特征数据库

在大量模拟试验及现场测试的基础上,建立油缸工作状态声学特征数据库,该库包含油缸正常状态和不同故障状态下的声学特征,是声纹识别智能算法模型和状态诊断的重要样本数据。首先利用标记好的音频特征数据训练神经网络模型,模型会对输入特征进行比对,判断设备是否异常。对于运行过程中出现的非设备故障的异常特征,可对特征标记,再输入给神经网络,完成对神经网络模型的更新,不断优化检测效果。

4 机器人智能巡检平台

收起

音频智能识别系统作为巡检机器人检测平台的子模块,集成了音频信号存储、声纹特征提取、故障异常报警、声纹频谱展示、样本库等功能。在机器人检测平台可灵活设置音频巡检点、巡检时间,巡检结束形成设备运行状态诊断报告。通过音频识别技术融合机器人的高清图像智能检测模块、热成像仪温度检测模块、以及气体等环境信息检测模块,可实现对焦化厂焦炉地下室设备运行状况及运行环境的全方位综合诊断。

5 结束语

收起

工业企业中存在相当数量的设备,其运行状态需要通过声音进行判断。本文研究了声纹特征提取以及基于DNN的模型训练和识别算法等声音检测相关技术,采集制作了油缸运行声音样本集,实现了油缸设备运行异常状态的声音检测,解决了油缸及类似设备的运行状态判断问题。检出率与检出准确率均达到90%以上。在工业企业具有一定的实用价值与推广价值。

基金

收起

内蒙古自治区应用技术研究与开发资金计划资助项目(2021GG0356)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

余长厅, 黎大健, 陈梁远, 等. 基于声纹及振动的变压器故障诊断技术研究[J]. 高压电器, 2019, 55(11):256-262.

[2]

郑方, 李蓝天, 张慧, 等. 声纹识别技术及其应用现状[J]. 信息安全研究, 2016, 2(1);44-57.

[3]

余玲飞, 刘强. 基于深度循环网络的声纹识别方法研究及应用[J]. 计算机应用研究, 2019, 36(1):153-158.

2022年第48卷第3期

PDF下载

149

引用本文

BibTeX

文章信息

接收时间：2022-04-29
首发时间：2025-12-03
出版时间：2022-06-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2022-04-29

基金

内蒙古自治区应用技术研究与开发资金计划资助项目(2021GG0356)

作者信息

内蒙古新联信息产业有限公司,内蒙古包头 014010

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/bgkj/CN/1202984235985494741

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT