北京邮电大学学报

数据集	采样率/kHz	工况	采样距离/km	采样时间/min	文本描述
Tremor	1.0	10	55	1	无
Sgs	1.5	8	67	88	无
GmrT	2.4	12	3	30	无
Brienz	1.8	22	48	120	无
DVSAG	1.0～3.0	27	0～84	1～240	有

数据集	采样率/kHz	工况	采样距离/km	采样时间/min	文本描述
Tremor	1.0	10	55	1	无
Sgs	1.5	8	67	88	无
GmrT	2.4	12	3	30	无
Brienz	1.8	22	48	120	无
DVSAG	1.0～3.0	27	0～84	1～240	有

任务序号	任务名称	输入数据类型	输出数据格式	评估指标
1	故障检测	原始振动信号	正常/故障	准确率
2	可靠性分析	长期监测信号	概率评分	校准误差
3	异常预警	时序振动模式环境参数	低/中/高	误报率
4	故障诊断	振动信号工况元数据	故障类型分类标签	准确率/召回率/F₁
5	维护建议	振动信号历史维护记录	结构化文本建议	智能评估通过率
6	寿命预测	振动信号负载特征历程	数值预测	MAE/R²

任务序号	任务名称	输入数据类型	输出数据格式	评估指标
1	故障检测	原始振动信号	正常/故障	准确率
2	可靠性分析	长期监测信号	概率评分	校准误差
3	异常预警	时序振动模式环境参数	低/中/高	误报率
4	故障诊断	振动信号工况元数据	故障类型分类标签	准确率/召回率/F₁
5	维护建议	振动信号历史维护记录	结构化文本建议	智能评估通过率
6	寿命预测	振动信号负载特征历程	数值预测	MAE/R²

层类型	结构参数	激活函数	输出维度
C1	卷积核大小5×5 卷积通道128	ReLU	64×74×128
B1	—	—	64×74×128
CBAM1	CAM+SAM	—	64×74×128
P1	池化大小2×2	—	32×37×128
C2	卷积核大小5×5 卷积通道64	ReLU	32×37×64
B2	—	—	32×37×64
CBAM2	CAM+SAM	—	32×37×64
P2	池化大小2×2	—	16×18×64
C3	卷积核大小5×5 卷积通道3	ReLU	16×18×3
B3	—	—	16×18×3
CBAM3	CAM+SAM	—	16×18×3
P3	池化大小2×2	—	1×1×3
F	—	—	3×3
LF1	9×128	ReLU	128
LF2	128	Softmax	—

层类型	结构参数	激活函数	输出维度
C1	卷积核大小5×5 卷积通道128	ReLU	64×74×128
B1	—	—	64×74×128
CBAM1	CAM+SAM	—	64×74×128
P1	池化大小2×2	—	32×37×128
C2	卷积核大小5×5 卷积通道64	ReLU	32×37×64
B2	—	—	32×37×64
CBAM2	CAM+SAM	—	32×37×64
P2	池化大小2×2	—	16×18×64
C3	卷积核大小5×5 卷积通道3	ReLU	16×18×3
B3	—	—	16×18×3
CBAM3	CAM+SAM	—	16×18×3
P3	池化大小2×2	—	1×1×3
F	—	—	3×3
LF1	9×128	ReLU	128
LF2	128	Softmax	—

模型	1	2	3	4	5	6
DCNN	47.32	44.07	26.98	62.12	67.82	70.18	72.42	65.86	51.45
QCNN	71.60	22.38	14.57	79.59	81.32	84.28	60.58	48.01	64.97
Swin Transformer	63.28	27.03	22.77	69.48	74.52	77.83	61.77	52.74	60.60
EfficientNetV1	88.92	15.47	15.25	85.98	89.43	88.72	76.14	34.67	80.60
DVSLLM	94.32	7.68	5.97	89.34	94.52	96.58	89.78	23.21	87.13

模型	1	2	3	4	5	6
DCNN	47.32	44.07	26.98	62.12	67.82	70.18	72.42	65.86	51.45
QCNN	71.60	22.38	14.57	79.59	81.32	84.28	60.58	48.01	64.97
Swin Transformer	63.28	27.03	22.77	69.48	74.52	77.83	61.77	52.74	60.60
EfficientNetV1	88.92	15.47	15.25	85.98	89.43	88.72	76.14	34.67	80.60
DVSLLM	94.32	7.68	5.97	89.34	94.52	96.58	89.78	23.21	87.13

任务4	Tremor	Sgs	GmrT	Brienz	DVSAG
DCNN	63.14	68.62	69.18	58.38	63.28	57.64	55.34	46.86	62.22	62.28	68.56	70.58	62.12	67.82	70.18
QCNN	79.39	71.32	74.48	68.59	57.77	71.12	59.96	63.21	67.43	71.34	77.76	79.92	79.59	81.32	84.28
Swin Transformer	64.88	67.46	75.81	66.28	69.18	68.45	67.51	65.52	62.02	63.48	59.84	65.59	69.48	74.52	77.83
EfficientNetV1	82.87	83.33	85.27	87.46	85.98	86.18	81.40	79.94	83.18	84.08	89.75	88.57	85.98	89.43	88.72
DVSLLM	79.34	84.57	86.54	88.41	87.88	89.07	83.21	80.62	87.68	85.54	86.76	90.86	89.34	94.52	96.58

任务4	Tremor	Sgs	GmrT	Brienz	DVSAG
DCNN	63.14	68.62	69.18	58.38	63.28	57.64	55.34	46.86	62.22	62.28	68.56	70.58	62.12	67.82	70.18
QCNN	79.39	71.32	74.48	68.59	57.77	71.12	59.96	63.21	67.43	71.34	77.76	79.92	79.59	81.32	84.28
Swin Transformer	64.88	67.46	75.81	66.28	69.18	68.45	67.51	65.52	62.02	63.48	59.84	65.59	69.48	74.52	77.83
EfficientNetV1	82.87	83.33	85.27	87.46	85.98	86.18	81.40	79.94	83.18	84.08	89.75	88.57	85.98	89.43	88.72
DVSLLM	79.34	84.57	86.54	88.41	87.88	89.07	83.21	80.62	87.68	85.54	86.76	90.86	89.34	94.52	96.58

模型	准确率
DVSLLM	96.20	97.50	95.60	94.70	98.20
Cross-Diffusion	72.15	87.32	78.10	86.30	87.24
CBAM	81.50	84.60	85.90	89.10	91.10
GCA	79.20	88.50	90.60	91.70	94.32

模型	准确率
DVSLLM	96.20	97.50	95.60	94.70	98.20
Cross-Diffusion	72.15	87.32	78.10	86.30	87.24
CBAM	81.50	84.60	85.90	89.10	91.10
GCA	79.20	88.50	90.60	91.70	94.32

超参数	优化范围	最优值
n_f	[6000,48000]	24000
卷积层数	[1,2,3,4,5]	3
卷积通道数	[32,64,128,256]	128
MLP层数	[1,2,3,4,5]	3

超参数	优化范围	最优值
n_f	[6000,48000]	24000
卷积层数	[1,2,3,4,5]	3
卷积通道数	[32,64,128,256]	128
MLP层数	[1,2,3,4,5]	3

基于先验知识增强的DVS振动信号语义表征方法

PDF下载

王艳红 ¹ , 王松 ¹ , 胡燕祝 ¹ , 曾滨 ²

北京邮电大学学报 | 论文 2025,48(5): 32-39

收起

北京邮电大学学报 | 论文 2025, 48(5): 32-39

基于先验知识增强的DVS振动信号语义表征方法

全屏

王艳红¹, 王松¹, 胡燕祝¹, 曾滨²

作者信息

^1．北京邮电大学　物联网监测预警应急管理部重点实验室，北京　100876

^2．中冶建筑研究总院有限公司，北京　100088

王艳红（2004—），女，博士生。

通讯作者:

王松（1988—），男，副教授，博士生导师，邮箱：wongsang@bupt.edu.cn。

A Prior Knowledge-Enhanced Semantic Representation Method for DVS Vibration Signals

Yanhong WANG¹, Song WANG¹, Yanzhu HU¹, Bin ZENG²

Affiliations

^1.Key Laboratory of IoT Monitoring and Early Warning of Ministry of Emergency Management, Beijing University of Posts and Telecommunications, Beijing 100876, China

^2.Central Research Institute of Building and Construction Company Limited, Beijing 100088, China

doi: 10.13190/j.jbupt.2025-060

文章导航

摘要

收起

针对分布式振动信号在复杂结构健康监测中面临的传感器节点异构采样、特征漂移和模型泛化能力不足等问题，本研究通过构建分布式振动信号文本增强（DVSAG）数据集，利用交叉扩散在保留原始信号时空相关性的基础上进行自适应采样，结合频域来统一输入尺寸，以及使用无故障参考信号计算残差来增强输入。设计故障诊断网络与卷积块注意力机制（CBAM）提取分布式振动信号多尺度特征，将特征转换为词嵌入并结合非结构化文本输入到分布式振动信号大模型（DVSLLM），最后通过特征对齐与语义映射框架实现振动信号到自然语言的细粒度交互。实验表明，该方法有效提升了多工况下的故障诊断准确率和模型泛化能力，为复杂结构健康监测多任务决策提供了可靠支持。

关键词

分布式振动信号 / 复杂结构健康监测 / 交叉扩散标准化 / 卷积块注意力机制 / 语义映射与表征

Abstract

收起

Addressing challenges in complex structural health monitoring arising from heterogeneous sensor node sampling, feature drift, and limited model generalization ability in distributed vibration signals, this study constructs a distributed vibration signal with augmented generation (DVSAG) dataset. It utilizes cross-diffusion for adaptive sampling while preserving the spatiotemporal correlation of the original signal, combines the frequency domain to unify input dimensions, and enhances inputs by calculating residuals using fault-free reference signals. A fault diagnosis network with a convolutional block attention module (CBAM) is designed to extract multi-scale features from distributed vibration signals. These features are converted into word embeddings, combined with user questions, and input into a distributed vibration signal large language model (DVSLLM). Finally, a feature alignment and semantic mapping framework is used to achieve fine-grained interaction from vibration signals to natural language. Experiments show that the proposed method effectively improves fault diagnosis accuracy and model generalization ability under multiple operating conditions, providing reliable support for multi-task decision-making in complex structural health monitoring.

Key words

distributed vibration signal / complex structural health monitoring / cross-diffusion normalization / cbam attention mechanism / semantic mapping

引用本文

王艳红, 王松, 胡燕祝, 曾滨. 基于先验知识增强的DVS振动信号语义表征方法. 北京邮电大学学报, 2025 , 48 (5) : 32 -39 . DOI: 10.13190/j.jbupt.2025-060

Yanhong WANG, Song WANG, Yanzhu HU, Bin ZENG. A Prior Knowledge-Enhanced Semantic Representation Method for DVS Vibration Signals[J]. Journal of Beijing University of Posts and Telecommunications, 2025 , 48 (5) : 32 -39 . DOI: 10.13190/j.jbupt.2025-060

正文

收起

结构健康监测^[1]（SHM，structural health monitoring）涉及的监测设备量大^[2]、监测点位多、数据采样频率高、服役时间长，由此得到海量的监测大数据^[3]。分布式光纤振动传感技术^[4]（DVS，distributed fiber-optic vibration sensor）沿着结构物表面或内部的关键支撑点、连接部位、承载面直接布设环形光纤，由其全分布式感知的优势可以覆盖复杂结构的整体振动监测^[5]，收集到的二维分布式振动信号的处理方法主要包括基于时域、频域和时频域的信息提取。时域信号分析方法包括统计均方根、峰值因子^[6]、振幅、均值、标准差等，能够有效捕捉振动信号中的瞬时变化和异常峰值。频域特征提取方法包括傅里叶变换^[7]、功率谱密度^[8-9]、相位谱分析，通过提取频率成分和谐波分析来识别不同频率下的故障模式，适用于周期性或准周期性的振动信号。时频域特征提取方法包括小波变换^[10]、希尔伯特-黄变换^[11]、分数阶傅里叶变换，兼具时频调控能力，更适合复杂、多变工况下的信号分析。随着大模型技术的发展，国内外学者逐渐探索将人工智能与SHM结合，基于深度学习和大模型的振动信号分析方法，可以更深入地分析分布式振动信号，利用卷积神经网络^[12]结合信号的置信度向量内积来判断不同振动事件，利用2层卷积神经网络分类器^[13]并引入时空矩阵通过信号时空连续性减少误报，利用嵌入时空注意力机制的双向长短期记忆网络模型^[14]聚焦非平稳响应与信号空间关联，利用贝叶斯网络分析^[15]信号故障模式与系统日志等非结构化信息之间的因果关系，这些方法克服了传统依赖人工经验和浅层次诊断模型的局限性。

笔者结合分布式振动信号处理和大语言模型优势，提出了一种将分布式振动信号与非结构化文本数据相结合的SHM语义表征方法。该方法通过交叉扩散标准化技术构建时空相似度矩阵，解决信号维度不一致的问题，同时结合频域归一化和残差信号增强，提升输入数据的质量与一致性。在特征提取阶段，设计故障诊断网络与卷积块注意力机制（CBAM，convolutional block attention module）双重注意力机制，实现多尺度特征的鲁棒提取与融合。进一步地，通过语义映射框架将振动信号特征与非结构化文本数据深度融合，利用门控交叉注意力机制挖掘信号与文本间的耦合关系，将融合后的特征输入增强检索模型（RAG，retrieval-augmented generation）中，从而生成细粒度的故障诊断与健康管理建议。概述来讲，1）笔者创新性地提出了交叉扩散标准化方法，解决了分布式振动信号的时空对齐问题；2）构建了首个文本增强的DVS数据集（DVSAG，DVSwith augmented generation），涵盖27种工况和1596组信号-文本配对数据，为后续研究提供了重要资源；3）依托双向变换器（BERT，bidirectional encoder representations from transformers）大语言模型和RAG检索增强框架设计了大模型低秩微调策略，显著提升了模型的泛化能力和语义解释性。本方法的核心优势在于能够克服深度学习模型对低质量数据的敏感性，利用信号和文本交叉特征完成故障机理耦合分析，实现对复杂结构健康状况的多任务诊断与预测。

1　先验知识增强的DVS信号语义表征方法

收起

如图1所示，所提出的DVS振动信号语义表征模型（DVSLLM，DVSlarge language model）的目的是管理多种工作条件下结构健康监测任务。在本研究中，笔者首先构建了多工况下文本增强的振动信号数据集DVSAG，接着通过二维信号预处理、频带归一化、特征提取、故障诊断网络、双层语义提取嵌入、多因素语义解释等步骤构建DVS振动信号统一的语义表征整体框架DVSLLM。

1.1　DVS振动信号预处理

笔者先构建了一个交叉扩散下分布式振动信号统一输入方法，引入共识矩阵，根据传感器采样率自适应地采样振动信号段，结合频域信息统一信号的输入维度，并使用无故障参考信号计算残差作为辅助输入，提高模型输入数据质量。

1.1.1　交叉扩散标准化

对于时间轴T和空间轴D，使用高斯核函数构建时间相似度矩阵W_time∈

和W_space∈

，由高斯核函数生成的W_time是Gram矩阵，天然满足半正定性。W_time，W_space中的元素定义为

其中：S_i，_：，_k∈

表示在第i个时间点处所有空间位置信号，S_：，_i_，_k∈

表示在第i个空间点处所有时间信号，同理，S_j，_：，_k∈

表示在第j个时间点处所有空间位置信号，共有T个时间点，S_：，_j_，_k∈

表示在第j个空间点处所有时间信号，共有D个空间点，σ_time和σ_space是高斯核带宽参数，控制时间轴和空间轴上相似性衰减速度。

将W_time（i，j）和W_space（i，j）中元素进行行列归一化得到时间和空间概率转移矩阵P_time和P_space，接着对概率转移矩阵进行交替扩散，第t次迭代的状态矩阵为P_time，_t₊₁和P_space，_t₊₁为

为确保算法效率，算法最大迭代次数为100次，由时空扩散矩阵均值生成共识矩阵，并利用线性归一化保证共识矩阵数据一致性。

1.1.2　多频带输入对齐

通过离散余弦变换（2D-DCT，twodimensional discrete cosine transform）将振动信号转换为频域信号F_v，接着对F_v进行离散小波变换完成频率分解，通过填充或裁剪将频率成分统一为n_f种，并使用N来归一化频带幅值，归一化后的频率表示为

其中：采样率s低于n_f的信号被0填充，而超过n_f的信号被截断，F_DWT表示离散小波变换。为了平衡计算资源和故障分类的准确性，按照经验值将n_f设为24000，同时为了增强训练的稳定性，频率序列的幅值被归一化到[-1，1]。

其中β是1个缩放因子，根据经验其值设计为0.02。

在复杂结构正常服役的工作条件下，收集无故障参考信号

，利用无故障参考信号计算残差信号E_res = E_v-

，增强模型对故障特征的敏感性，最后将处理后的信号E_v、无故障参考信号

、残差信号E_res拼接起来，构建统一的分布式振动信号W。

1.2　DVS振动信号特征提取

笔者设计了一种故障诊断网络（FCN，fault classification network），包含3个独立的2维卷积核，从统一振动信号W中提取多尺度特征，然后通过CBAM双重注意力模块来融合多尺度特征，并使用2个线性层进行故障分类。

1.2.1　CBAM双重注意力机制

对于初步提取的多尺度特征F_i（i =1，2，3），分别应用CBAM模块：

在多尺度特征中，不同通道可能包含不同重要性的信息，通道注意力模块（CAM，channel attention mechanism）可以强化输入特征矩阵关键信息，提高特定目标的特征提取能力，空间注意力模块（SAM，spatial attention mechanism）聚焦于特征图上的位置信息，通过G_AvgPool和G_MaxPool对多尺度特征进行全局平均池化和全局最大池化，将池化结果输入到1个共享的多层感知机（MLP，multi-layer perceptron）中，动态调整每个通道的权重，增强关键通道的特征表示，抑制不重要的通道。

其中σ（·）是Sigmoid函数，用于将权重归一化到[0，1]范围内。

接着将全局池化的结果拼接起来进行通道平均池化G_{ChannelAvgPool}和通道最大池化G_{ChannelMaxPool}，通过5×5的卷积层生成空间注意力权重。

最后将通道注意力权重、空间注意力权重与特征F_i逐步相乘，得到最终融合增强后的特征

为

其中⊗表示逐元素相乘，输出的3通道融合后的特征，是1个2维的矩阵。

1.2.2　线性层故障分类

CBAM增强后的特征

仍然是2维特征图（T′×D′×C），需要将其转换为1个固定长度的特征向量，通过全局平均池化G_{GlobalAvgPool}，将2维特征图压缩为1个全局特征向量F_Global：

接着将F_Global输入全连接层，利用线性整流函数（ReLU，rectified linear unit）对输入特征进行变换，将其映射到故障类别空间，学习特征之间的组合关系为

其中：W₁，W₂为权重矩阵，b₁，b₂为偏置项，ReLU为激活函数，H为隐藏层特征，Z为故障类别。

接着要将Z转换为概率分布以便输出故障类型，利用softmax函数将其归一化为

输出的P为故障类型，P的大小为[1，γ]，γ表示故障类型数量。

在整个模型训练过程中，定义交叉熵损失函数L来衡量预测结果P_i与真实故障标签L_r之间的差异：

1.3　DVS振动信号语义特征增强映射

1.3.1　故障特征-非结构化文本特征语义嵌入

为了将DVS振动信号的特征有效地映射到大语言模型的语义空间中，首先通过可学习投影矩阵W₁和W₂对故障特征F_Global进行处理。通过离散小波变换F_DWT对信号特征进行频域变换，再通过激活函数ReLU进行非线性变换，使用可学习的投影矩阵W₁和W₂将处理后的特征映射到与大语言模型的token维度对齐的空间U_LayerNorm，从而得到故障特征的嵌入表示e_fault，为后续的联合语义推理和故障分析奠定基础：

其中：W₁∈

，W₂∈

，与LLM的token维度对齐，确保信号特征能够在与文本语义空间一致的空间中进行处理。

接着对非结构化文本S_t进行动态分词，以提取文本语义特征e_text。在此过程中，文本输入首先通过U_Tokenizer将其转换为一系列token，然后通过与LLM嵌入空间相对应的词嵌入矩阵E_LLM进行投影，并与位置编码L_PE相结合，以保留上下文的时序信息，公式表示为

1.3.2　故障特征矫正与机理耦合分析

接着通过融合故障特征e_fault和非结构化文本特征e_text，生成矫正后的故障概率分布P_correct，在此过程中，利用信号-文本类别交叉注意力机制（GCA，grouped cross attention）关注融合后的特征，先通过1个可学习的权重矩阵W_g计算出1个融合系数α，并利用该系数对故障特征和文本特征进行加权融合，得到融合特征e_fused，然后通过1个2层全连接的MLP网络对融合特征进行处理，最终生成故障类别的概率分布P_correct为

其中：W_g为学习权重，MLP为2层全连接网络。

在矫正故障特征之后，接着进入因果推理模块进行故障原因的耦合分析，该模块通过交叉注意力机制挖掘故障信号和非机构化文本之间的因果关系A_causal，接着进行信号特征与文本语义的细粒度交互，并生成多因素语义解释H_reason，查询Q、键K、值V计算如下：

其中：W_q，W_k，W_v，W_h为投影矩阵，d为嵌入维度大小。

最后将特征融合后的表示H_reason作为输入传递给大语言模型的解码器Decoder，最终由DVSLLM解码器生成初步的自然语言回应R_t为

整个过程通过对比学习损失函数优化信号特征与文本语义融合映射的一致性：

其中：τ为温度系数，B为批次大小，f_sim为余弦相似度函数。

1.3.3　DVSLLM模型预训练与微调

笔者采用BERT作为基础语言模型进行预训练，使用Qwen2-1.5B参数作为主干模型，其参数规模为1.5B，包含24层Transformer解码器，隐藏层维度为2048，注意力头数为16。预训练任务包括掩码语言建模和下一句预测，以学习通用的语言表征能力。在领域适配阶段，笔者引入领域特定信号-文本数据集DVSAG对BERT进行继续增强训练，以增强其对结构健康监测领域术语和上下文的理解能力，接着使用自适应低秩投影对LLM和对齐层进行微调，权重更新矩阵ΔW可表示为

其中：r为低秩分解秩值，A_i为基向量矩阵，H_fusion为混合特征矩阵，f_θ为基于融合特征动态生成低秩矩阵的轻量网络，基于此网络生成B_i，仅训练0.03%参数即可适配多任务需求。

在模型对话问答环节，笔者引入检索增强生成RAG框架。根据用户输入的问题S_t，从预构建的领域知识库中检索Top-K关键信息，形成上下文集合C ={c₁，c₂，…，c_K}。在增强生成阶段，将检索到的上下文C与故障特征e_fused拼接，输入至预训练模型生成最终的自然语言回应R_t。整个训练过程中使用AdamW优化器，学习率设置为5×10 ^-5，批量大小设置为1024，最大训练轮次为300，通过调整学习率来保持训练的稳定性。

2　实验验证

收起

2.1　数据集描述

本研究通过在京秦高速北京段周边部署了相位敏感型光时域反射仪（φ-OTDR，phase sensitive optical time domain reflectometry）分布式光纤传感系统，在桥梁伸缩缝、涵洞接口、高填方段等易损区域采用螺旋缠绕布设，沿高速公路路基纵向布设光纤，光纤埋深30～50cm，避免施工机械直接损伤，总长度84km，每1km部署1个光纤耦合器，形成多个并行独立监测区段。收集不同负载类型、环境条件、运行状态、施工活动和地质条件下的DVS振动数据。总共收集到266组不同的分布式振动信号S_r，并同步记录信号工况标签（ID，identification），整个采集过程控制采样率变化范围为1k～3kHz，采样时间变化范围1～240min。用户提示S_t和文本响应R_t作为数据集的核心文本组成部分，分别对应输入和输出的自然语言信息。用户提示S_t通过自然问答明确模型需解决的健康管理子任务，确保与工程需求对齐。文本响应R_t根据用户提示利用DeepSeek-V3生成初步的文本响应，同时在对话语料、实体标注、事件标注、关系标注4个维度上进行文本标注。最终形成DVSAG数据集，如表1所示，包含分布式振动信号S_r-故障标签L_r-工作状态ID-用户提示S_t-文本响应R_t，配对1596种文本增强的DVS振动信号。

实验使用PyTorch实现所提出的方法，在预训练和微调时将数据集划分为7∶3的比例来验证故障标签诊断的准确性。

2.2　模型任务设置

基于DVSAG数据集，共设计了6种不同的健康管理任务来验证所提方法的有效性，诊断任务的详细信息如表2所示。以任务4为例，针对输入的振动信号和工况数据，采用DVSLLM模型进行故障类别的诊断，在模型训练阶段使用有标签的样本进行模型网络参数训练，并使用无标签测试集样本对模型的性能进行测试，并使用准确率、召回率、F₁分数、平均绝对误差（MAE，mean absolute error）等指标来定量评估模型的有效性。

2.3　网络结构参数设置

DVSLLM模型中构建的特征提取器FCN中包括3个依次相连的卷积模块，不同的卷积模块包含卷积层C、批量归一化层B、双重注意力模块CBAM、池化层P、全连接层F和激活函数等。其中，卷积层用于提取不同尺度和不同位置的特征，CBAM注意力模块用于自适应增强关键特征信息，最大池化层用于对输入特征图进行下采样，全连接层为多层感知机，将跨域数据由领域共享的特征空间映射到标签空间，激活函数用于学习和表示非线性关系，线性分类器包含2个全连接层LF1和LF2，具体网络结构参数如表3所示。

2.4　模型对比

为了验证所提方法的优越性，笔者将DVSLLM与深度卷积神经网络（DCNN，deep convolution neural network）、量子卷积神经网络（QCNN，quantum convolution neural network）、Swin Transformer和EfficientNetV1 4种方法进行对比实验。

EfficientNetV1和QCNN常用于交叉工作条件下的故障诊断，而Swin Transformer和DCNN则用于处理特定的工作条件，笔者重新实现了这些方法，同时为了避免模型训练带来的实验误差，采取10次实验结果的平均值作为最终的实验结果。同时，为了确保实验的公平性，基线模型通过各自骨干网络提取故障特征，并输出基础故障类型，随后将该特征向量与相同的领域文本数据共同输入统一的Qwen2-1.5B大语言模型解码器，生成可靠性分析、维护建议等6类健康管理任务的自然语言输出。最终的实验结果显示在表4中。通过实验结果分析来看，DVSLLM在所有指标中性能最优，相比于排名第2的EfficientNetV1，在任务1故障检测上的准确率提升5.40%，在任务2可靠性分析中的校准误差率降低7.79%，而对于任务3智能预警误报率降低9.28%，对于任务4故障诊断F₁值提升7.82%，对于任务5故障的维护建议评估通过率上升至89.78%，对于任务6寿命预测拟合程度R²达到87.13%，平均绝对误差降至23.21%。

同时为了验证模型的泛化性，笔者以最典型的任务4为例，故障诊断主要的任务是评估模型在多因素耦合环境下，对异常识别的机理分析能力，公开测试模型在其他数据集上的性能表现，具体的实验结果如表5所示，结果表明，DVSLLM在5个数据集全部指标上全面领先。在Tremor和GmrT数据集上，采样时间和采样距离较短，在数据的时空对齐上呈现难度，但DVSLLM通过交叉扩散标准化能够有效生成鲁棒性的共识矩阵，相较其他模型诊断性能普遍提升。在Sgs和Brienz数据集上，这2个数据集包含工况数据有明显的区别，但DVSLLM在任务4上仍表现出一定的优势，这一改进归因于非结构化文本的引入能够有效地对环境因素扩维，并结合交叉注意力机制挖掘多重故障因素间的关联关系，相较于性能排名第2的EfficientNetV1模型诊断精度提升了2.29%。

2.5　消融实验和超参数优化

表6给出了剔除交叉扩散、CBAM注意力机制和GCA注意力机制关键模块的消融实验结果。分析可知，剔除交叉扩散模块后模型准确率下降14.22%，在该机制被移除后，输入信号的时空相关性被破坏，特征表达不一致性加剧，显著削弱了下游特征提取与分类性能。剔除CBAM双重注意力机制后模型准确率下降10.00%，缺失CBAM后，模型对关键故障区域的关注度下降，导致特征提取能力减弱。剔除GCA交叉门控注意力机制后模型准确率下降7.58%，该模块的缺失使得模型在多任务响应中出现语义漂移，表现为语言输出一致性下降，任务边界模糊，进而影响整体性能表现。

在实验中，对关键的超参数剪裁频率n_f、卷积层数、卷积通道数和MLP层数进行参数最优性设置。合适的剪裁频率能够在保留主要频率成分的同时提升信噪比。卷积层数直接影响模型的深度，增加卷积层数可以提取更高阶的特征。MLP的层数决定了模型的复杂度，将MLP层数设置为1，2，3，4和5展开对比实验。通过网格搜索法寻找到的最优模型参数结果如表7所示。

3　结束语

收起

笔者针对复杂结构健康监测中的分布式振动信号进行研究，采用故障特征诊断和自然语言语义表征，通过理论分析和实验证明得到以下结论：构建了文本增强的分布式振动信号数据集DVSAG，使用无共享权重的2维卷积核提取多尺度特征，并设计CBAM双注意力模块融合特征，通过双线性层进行故障分类，特征提取运算效率和故障类型输出精度高于其他方法。通过可学习投影矩阵将振动信号特征和非结构化文本映射至LLM嵌入空间，设计的基于门控交叉注意力的故障原因耦合分析语义框架，实现DVS振动信号到自然语言问答的细粒度交互。

综上所述，所提出的DVSLLM对分布式振动信号健康管理是快速准确的，属于1次前向输入、多向任务输出的高效推理模型，但是笔者仍有研究不足。1）DVSAG数据集的工况样本虽已覆盖常规工业场景，但对于环境温湿度、地极磁场、蠕变位移多物理场中的多模态数据融合能力稍弱。2）关于模型的轻量化迁移，可采用动态神经网络剪枝或蒸馏技术实现自适应特征选择，结合对比学习增强小样本甚至零样本故障识别能力。3）关于融合领域知识图谱的语义表征范式，探索语义对齐框架在领域机理拓扑下的跨语言迁移能力。希望这些问题，可以在今后的研究中逐渐得到解决。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

罗尧治,赵靖宇.空间结构健康监测研究现状与展望[J].建筑结构学报, 2022, 43(10): 16-28.

LUO

Y Z

, ZHAO

J Y

. Research status and future prospects of space structure health monitoring[J]. Journal of Building Structures, 2022, 43(10): 16-28.

[2]

王惊华.结构健康监测国内外规范编制研究现状及展望[J].建筑安全, 2021, 36(4): 41-45.

WANG

J H

. Research status and prospects of domestic and international standards compilation for structural health monitoring[J]. Construction Safety, 2021, 36(4): 41-45.

[3]

LEI

, JIA

, LIN

, et al. An intelligent fault diagnosis method using unsupervised feature learning towards me chanical big data[J]. IEEE Transactions on Industrial Electronics, 2016, 63(5): 3137-3147.

[4]

张旭苹,张益昕,王亮,等.分布式光纤传感技术研究和应用的现状及未来[J].光学学报, 2024, 44(1): 11-73.

ZHANG

X P

, ZHANG

X Y

, WANG

, et al. Current status and future of research and applications for distributed fiber optic sensing technology[J]. Acta Optica Sinica, 2024, 44(1): 11-73.

[5]

何盈盈,黄正洪,张利凯,等.融合EEMD与BiLSTM深度网络的结构监测缺失数据重构[J].重庆大学学报, 2025, 48(2): 35-49.

Y Y

, HUANG

Z H

, ZHANG

L K

, et al. Reconstructing missing health monitoring data using a deep network integrating EEMD and BiLSTM[J]. Journal of Chongqing University, 2025, 48(2): 35-49.

[6]

陈彬,全宇轩,刘阁,等.旋转设备故障特征提取的研究[J].机械设计与研究, 2024, 40(1): 190-199.

CHEN

, QUAN

Y X

, LIU

, et al. Study on fault feature extraction for rotating equipment[J]. Machine Design and Research, 2024, 40(1): 190-199.

[7]

孔小红,张明,管翰林,等.基于分数阶傅里叶变换的分布式光纤振动识别[J].激光与光电子学进展, 2024, 61(5): 169-174.

KONG

X H

, ZHANG

, GUAN

H L

, et al. Distributed fiber optic vibration recognition based on fractional fourier transform[J]. Laser and Optoelectronics Progress, 2024, 61(5): 169-174.

[8]

, CHEN

, LUO

, et al. Deformation prediction model of large-span prestressed structure for health monitoring based on robust gaussian process regression[J]. Engineering Structures, 2024, 318: 118597.

[9]

VALLIFUOCO

, CERRI

, MINARDO

, et al. Lamb waves detection through phi-OTDR for structural health monitoring[C]//2022 IEEE 9th International Workshop on Metrology for Aerospace (Metroaerospace). Pisa, Italy: IEEE, 2022: 346-350.

[10]

YANG

, ZHAO

, CHEN

. Real-time Φ-OTDR vibration event recognition based on image target detection[J]. Sensors, 2022, 22(3): 1127.

[11]

LIAO

, LUO

, CAI

, et al. In situ measurement of rockfill dam settlement using fiber optic gyroscope monitoring system[J]. Structural Control and Health Monitoring, 2022, 29(4): e2917.

[12]

靳喜博,刘琨,江俊峰,等.基于卷积神经网络的多维度分布式光纤振动传感事件识别[J].光学学报, 2024, 44(1): 384-394.

JIN

X B

, LIU

, JIANG

J F

, et al. Multi-dimensional distributed optical fiber vibration sensing patterner cognition based on convolutional neural network[J]. Acta Optica Sinica, 2024, 44(1): 384-394.

[13]

, PENG

, LIU

. A surveillance system for urban buried pipeline subject to third-party threats based on fiber optic sensing and convolutional neural network[J].Structural Health Monitoring, 2021, 20 (4): 1704-1715.

[14]

YANG

, DING

, GENG

, et al. A multi-sensor mapping Bi-LSTM model of bridge monitoring data based on spatial-temporal attention mechanism[J]. Measurement, 2023, 217: 113053.

[15]

ADEMUJIMI

, PRABHU

. Fusion-learning of Bayesian network models for fault diagnostics[J]. Sensors, 2021, 21: 7633.

2025年第48卷第5期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.13190/j.jbupt.2025-060

接收时间：2025-06-10
首发时间：2026-04-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-06-10

基金

作者信息

^1．北京邮电大学　物联网监测预警应急管理部重点实验室，北京　100876

^2．中冶建筑研究总院有限公司，北京　100088

通讯作者:

王松（1988—），男，副教授，博士生导师，邮箱：wongsang@bupt.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/bjyddxxb/CN/10.13190/j.jbupt.2025-060

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

数据集	采样率/kHz	工况	采样距离/km	采样时间/min	文本描述
Tremor	1.0	10	55	1	无
Sgs	1.5	8	67	88	无
GmrT	2.4	12	3	30	无
Brienz	1.8	22	48	120	无
DVSAG	1.0～3.0	27	0～84	1～240	有

数据集

采样率/kHz

工况

采样距离/km

采样时间/min

文本描述

Tremor

1.0

无

Sgs

1.5

无

GmrT

2.4

无

Brienz

1.8

120

无

DVSAG

1.0～3.0

0～84

1～240

有

任务序号	任务名称	输入数据类型	输出数据格式	评估指标
1	故障检测	原始振动信号	正常/故障	准确率
2	可靠性分析	长期监测信号	概率评分	校准误差
3	异常预警	时序振动模式环境参数	低/中/高	误报率
4	故障诊断	振动信号工况元数据	故障类型分类标签	准确率/召回率/F₁
5	维护建议	振动信号历史维护记录	结构化文本建议	智能评估通过率
6	寿命预测	振动信号负载特征历程	数值预测	MAE/R²

任务序号

任务名称

输入数据类型

输出数据格式

评估指标

故障检测

原始振动信号

正常/故障

准确率

可靠性分析

长期监测信号

概率评分

校准误差

异常预警

时序振动模式
环境参数

低/中/高

误报率

故障诊断

振动信号
工况元数据

故障类型
分类标签

准确率/召
回率/F₁

维护建议

振动信号
历史维护记录

结构化文本
建议

智能评估
通过率

寿命预测

振动信号
负载特征历程

数值预测

MAE/R²

层类型	结构参数	激活函数	输出维度
C1	卷积核大小5×5 卷积通道128	ReLU	64×74×128
B1	—	—	64×74×128
CBAM1	CAM+SAM	—	64×74×128
P1	池化大小2×2	—	32×37×128
C2	卷积核大小5×5 卷积通道64	ReLU	32×37×64
B2	—	—	32×37×64
CBAM2	CAM+SAM	—	32×37×64
P2	池化大小2×2	—	16×18×64
C3	卷积核大小5×5 卷积通道3	ReLU	16×18×3
B3	—	—	16×18×3
CBAM3	CAM+SAM	—	16×18×3
P3	池化大小2×2	—	1×1×3
F	—	—	3×3
LF1	9×128	ReLU	128
LF2	128	Softmax	—

层类型

结构参数

激活函数

输出维度

卷积核大小5×5
卷积通道128

ReLU

64×74×128

—

64×74×128

CBAM1

CAM+SAM

—

64×74×128

池化大小2×2

—

32×37×128

卷积核大小5×5
卷积通道64

ReLU

32×37×64

—

32×37×64

CBAM2

CAM+SAM

—

32×37×64

池化大小2×2

—

16×18×64

卷积核大小5×5
卷积通道3

ReLU

16×18×3

—

16×18×3

CBAM3

CAM+SAM

—

16×18×3

池化大小2×2

—

1×1×3

—

3×3

LF1

9×128

ReLU

128

LF2

128

Softmax

—

模型	1	2	3	4	5	6
DCNN	47.32	44.07	26.98	62.12	67.82	70.18	72.42	65.86	51.45
QCNN	71.60	22.38	14.57	79.59	81.32	84.28	60.58	48.01	64.97
Swin Transformer	63.28	27.03	22.77	69.48	74.52	77.83	61.77	52.74	60.60
EfficientNetV1	88.92	15.47	15.25	85.98	89.43	88.72	76.14	34.67	80.60
DVSLLM	94.32	7.68	5.97	89.34	94.52	96.58	89.78	23.21	87.13

模型

准确率

校准误差

误报率

准确率

召回率

F₁分数

智能评估通过率

MAE

R²

DCNN

47.32

44.07

26.98

62.12

67.82

70.18

72.42

65.86

51.45

QCNN

71.60

22.38

14.57

79.59

81.32

84.28

60.58

48.01

64.97

Swin Transformer

63.28

27.03

22.77

69.48

74.52

77.83

61.77

52.74

60.60

EfficientNetV1

88.92

15.47

15.25

85.98

89.43

88.72

76.14

34.67

80.60

DVSLLM

94.32

7.68

5.97

89.34

94.52

96.58

89.78

23.21

87.13

任务4	Tremor	Sgs	GmrT	Brienz	DVSAG
DCNN	63.14	68.62	69.18	58.38	63.28	57.64	55.34	46.86	62.22	62.28	68.56	70.58	62.12	67.82	70.18
QCNN	79.39	71.32	74.48	68.59	57.77	71.12	59.96	63.21	67.43	71.34	77.76	79.92	79.59	81.32	84.28
Swin Transformer	64.88	67.46	75.81	66.28	69.18	68.45	67.51	65.52	62.02	63.48	59.84	65.59	69.48	74.52	77.83
EfficientNetV1	82.87	83.33	85.27	87.46	85.98	86.18	81.40	79.94	83.18	84.08	89.75	88.57	85.98	89.43	88.72
DVSLLM	79.34	84.57	86.54	88.41	87.88	89.07	83.21	80.62	87.68	85.54	86.76	90.86	89.34	94.52	96.58

任务4

Tremor

Sgs

GmrT

Brienz

DVSAG

准确率

召回率

F₁分数

准确率

召回率

F₁分数

准确率

召回率

F₁分数

准确率

召回率

F₁分数

准确率

召回率

F₁分数

DCNN

63.14

68.62

69.18

58.38

63.28

57.64

55.34

46.86

62.22

62.28

68.56

70.58

62.12

67.82

70.18

QCNN

79.39

71.32

74.48

68.59

57.77

71.12

59.96

63.21

67.43

71.34

77.76

79.92

79.59

81.32

84.28

Swin Transformer

64.88

67.46

75.81

66.28

69.18

68.45

67.51

65.52

62.02

63.48

59.84

65.59

69.48

74.52

77.83

EfficientNetV1

82.87

83.33

85.27

87.46

85.98

86.18

81.40

79.94

83.18

84.08

89.75

88.57

85.98

89.43

88.72

DVSLLM

79.34

84.57

86.54

88.41

87.88

89.07

83.21

80.62

87.68

85.54

86.76

90.86

89.34

94.52

96.58

模型	准确率
DVSLLM	96.20	97.50	95.60	94.70	98.20
Cross-Diffusion	72.15	87.32	78.10	86.30	87.24
CBAM	81.50	84.60	85.90	89.10	91.10
GCA	79.20	88.50	90.60	91.70	94.32

模型

准确率

Tremor

GmrT

Sgs

Brienz

DVSAG

DVSLLM

96.20

97.50

95.60

94.70

98.20

Cross-Diffusion

72.15

87.32

78.10

86.30

87.24

CBAM

81.50

84.60

85.90

89.10

91.10

GCA

79.20

88.50

90.60

91.70

94.32

超参数	优化范围	最优值
n_f	[6000,48000]	24000
卷积层数	[1,2,3,4,5]	3
卷积通道数	[32,64,128,256]	128
MLP层数	[1,2,3,4,5]	3

超参数

优化范围

最优值

n_f

[6000,48000]

24000

卷积层数

[1,2,3,4,5]

卷积通道数

[32,64,128,256]

128

MLP层数

[1,2,3,4,5]