中国图象图形学报

层	参数
Conv2d	（1，32，3，1，1）
Resblock1	（32，32，3，（2，1），1）
Resblock2	（32，32，3，1，1）
Resblock3	（32，32，3，（2，1），1）
Resblock4	（32，32，3，1，1）
Conv2d	（32，32，3，（2，1），1）

层	参数
Conv2d	（1，32，3，1，1）
Resblock1	（32，32，3，（2，1），1）
Resblock2	（32，32，3，1，1）
Resblock3	（32，32，3，（2，1），1）
Resblock4	（32，32，3，1，1）
Conv2d	（32，32，3，（2，1），1）

层	参数
RegB1	（512，512，3，2，8）
RegB2	（512，512，3，3，8）
RegB3	（512，512，3，4，8）
SE	（512，512）

层	参数
RegB1	（512，512，3，2，8）
RegB2	（512，512，3，3，8）
RegB3	（512，512，3，4，8）
SE	（512，512）

网络模型	EER/%	ACC/%	minDCF
FPB	9.41	86.15	0.42
FPB + HolB	9.37	87.02	0.39
FPB + HolB + RegBs	8.36	87.93	0.38
FPB + HolB + RegBs + FEB	7.50	89.97	0.38

网络模型	EER/%	ACC/%	minDCF
FPB	9.41	86.15	0.42
FPB + HolB	9.37	87.02	0.39
FPB + HolB + RegBs	8.36	87.93	0.38
FPB + HolB + RegBs + FEB	7.50	89.97	0.38

多尺度特征融合与动态增强的语音来源识别

PDF下载

苏兆品 1^,2^,3 , 方振 1 , 张国富 1^,3^,4^,^* , 王垚飞 1^,2^,3 , 臧怀娟 1^,2^,3

中国图象图形学报 | 图像分析和识别 2026,31(10): 3606-3617

收起

中国图象图形学报 |图像分析和识别 2026 , 31 (10) : 3606 -3617

多尺度特征融合与动态增强的语音来源识别

全屏

苏兆品1^,2^,3, 方振1, 张国富1^,3^,4^,^*, 王垚飞1^,2^,3, 臧怀娟1^,2^,3

作者信息

¹　合肥工业大学计算机与信息学院，合肥　230601

²　智能互联系统安徽省实验室（合肥工业大学），合肥　230009

³　工业安全与应急技术安徽省重点实验室（合肥工业大学），合肥　230009

⁴　音视频智能防识联合实验室，合肥　230000

通讯作者:

张国富，通信作者，男，教授，主要研究方向为语音安全。E-mail： zgf@hfut.edu.cn

作者简介:

苏兆品，女，副教授，主要研究方向为复杂智能系统和多媒体安全。E-mail： szp@hfut.edu.cn

方振，男，硕士研究生，主要研究方向为多媒体取证。E-mail：2023110474@mail.hfut.edu.cn

张国富，通信作者，男，教授，主要研究方向为语音安全。E-mail： zgf@hfut.edu.cn

王垚飞，男，副教授，主要研究方向为多媒体内容安全。E-mail： wyf@hfut.edu.cn

臧怀娟，女，实验师，主要研究方向为多媒体内容安全。E-mail： zanghj@hfut.edu.cn

Multiscale feature fusion and dynamic enhancement for voice source identification

Zhaopin Su1^,2^,3, Zhen Fang1, Guofu Zhang1^,3^,4^,^*, Yaofei Wang1^,2^,3, Huaijuan Zang1^,2^,3

Affiliations

¹ School of Computer and Information Technology，Hefei University of Technology，Hefei 230601，China

² Intelligent Interconnected System Anhui Laboratory （Hefei University of Technology），Hefei 230009，China

³ Anhui Province Key Laboratory of Industry Safety and Emergency Technology（Hefei University of Technology），Hefei 230009，China

⁴ Joint Laboratory of Intelligent Prevention and Recognition of Voice and Video，Hefei 230000，China

出版时间: 2026-10-16 doi: 10.11834/jig.250570

文章导航

摘要

收起

目的

在多媒体取证领域，语音证据的来源识别对于司法实践和信息安全至关重要。然而，现有方法大多仅能识别手机型号，而无法精确区分个体设备，导致语音证据多被视为辅助线索而非直接有效证据。为此，提出一种多尺度特征融合与动态增强的语音来源识别模型（multi-scale feature fusion and dynamic enhancement for voice source identification，VSI）。

方法

首先，通过残差—注意力协同网络，增强模型对不同设备相关特征的捕捉能力，提取语音信号的硬件指纹特征；其次，设计基于表达增强TDNN（time-delay neural network）的整体特征提取模块，能够更好地捕捉丰富的设备特征信息；并设计基于多级残差SE-Res2Net的局部特征提取模块，有效捕捉手机设备个体之间的细微特征差异；然后，设计基于特征重校准与动态全局滤波的特征增强模块，滤除与任务无关的信息，增强与设备个体相关的特征表示；最后，构建细粒度分类模型，实现从型号到个体的跨层级设备识别。

结果

为了验证所提模型的有效性，本文构建了包含14个手机品牌、121个不同个体设备的语音数据集。所提VSI模型的等错误率（equal error rate，EER）、准确率（accuracy，ACC）和最小检测代价函数（minimum detection cost function，minDCF）指标分别为7.50%、89.97%和0.38，相较于文中对比的其他4种方法，EER分别降低了4.75%、4.71%、5.44%和3.46%，ACC分别提升了3.98%、2.20%、4.90%和2.52%，minDCF分别下降了0.04、0.04、0.30和0.03。而且，模型在改变语音时长、采样率、编码格式和幅值环境下具有一定的鲁棒性。

结论

实验表明该模型能够将语音数据作为电子证据，为司法取证、智能终端设备身份认证等领域提供有力技术支持。

关键词

多媒体取证 / 语音来源识别 / 多尺度特征融合 / 动态增强 / 手机个体识别

Abstract

收起

Objective

In the field of multimedia forensics，identifying the source of voice evidence is crucial for judicial applications and information security. Voice recordings often serve as key evidence in legal investigations，yet their evidential value is limited by the capabilities of current analytical techniques. Most existing approaches focus on identifying the mobile phone model but lack the precision to differentiate between individual devices of the same model. This limitation considerably reduces the utility of voice evidence because it cannot be uniquely linked to a specific device. As a result，such evidence is often treated as supplementary in court proceedings rather than being considered direct and legally valid proof. Fine-grained device identification inability hinders digital forensics effectiveness and highlights the need for advanced methodologies.

Method

To address this challenge，this study proposes a novel voice source identification （VSI） model based on multiscale feature fusion and dynamic enhancement. The model is designed to capture and amplify the subtle hardware-specific fingerprints embedded in speech signals. These fingerprints arise from variations in microphone and circuit components，making them unique to each device. The proposed framework consists of several interconnected modules. First，a residual-attention collaborative network is employed to enhance feature representation. This network combines the strengths of residual learning and attention mechanisms，enabling the model to focus on device-related characteristics while suppressing irrelevant speech content and environmental noise. The residual connections facilitate training stability，while the attention mechanism dynamically weights important features，improving discriminability. Second，a dual-path feature extraction structure is implemented. The overall feature extraction module uses an expression-enhanced time delay neural network to capture broad，context-rich device characteristics. This module processes long-term temporal dependencies，which are essential for identifying model-level attributes. Simultaneously，a local feature extraction module based on a multilevel residual SE-Res2Net architecture is used to capture fine-grained，high-frequency details. This component excels at identifying minute differences between individual devices by leveraging hierarchical residual connections and channel-wise attention，enabling multiscale feature learning within a unified framework. Third，a feature enhancement module incorporating feature recalibration and dynamic global filtering is applied. This module refines the fused multiscale features by emphasizing task-relevant information and filtering out noise. Feature recalibration adjusts channel-wise feature responses adaptively，while dynamic global filtering performs content-aware smoothing and enhancement，further strengthening the device-specific representations. Finally，a fine-grained classification model is constructed to achieve cross-level device identification. This classifier is trained to distinguish devices at multiple hierarchical levels，from brand and model down to the individual unit，improving accuracy and generalization. The entire architecture is optimized end-to-end，ensuring seamless integration of all components.

Result

To evaluate the effectiveness of the proposed VSI model comprehensively，a large-scale voice dataset comprising 14 mobile phone brands and 121 different individual devices was constructed. This dataset is designed to cover a wide range of scenarios and conditions，thereby providing a rigorous testbed for assessing the model's performance. The VSI model was evaluated using three key metrics： equal error rate （EER），accuracy （ACC），and minimum detection cost function （minDCF）. Results demonstrate the superior performance of the VSI model compared with existing methods. Specifically，the VSI model achieved an EER of 7.50%，an ACC of 89.97%，and a minDCF of 0.38. These results are remarkably better than those obtained by four other state-of-the-art methods reported in the literature. Compared with these methods，the EER was reduced by 4.75%，4.71%，5.44% and 3.46%，respectively. The ACC was increased by 3.98%，2.20%，4.90%，and 2.52% respectively，and the minDCF was decreased by 0.04，0.04，0.30，and 0.03，respectively. These improvements highlight the effectiveness of the VSI model in accurately identifying individual devices from voice signals. Moreover，the VSI model demonstrated robustness under varying conditions of voice duration，sampling rate，and encoding format. This robustness is crucial for practical applications because voice signals in real-world scenarios often exhibit variations in these parameters. The ability of the VSI model to maintain high performance across different conditions indicates its potential for widespread adoption in forensic and security-related applications.

Conclusion

The findings demonstrate that the proposed VSI model remarkably advances the field of voice source identification by enabling precise，individual-level device recognition. By effectively extracting and enhancing hardware-specific fingerprints from speech signals，the model provides a reliable means of linking voice recordings to specific mobile devices. This capability enhances the evidentiary value of voice data in judicial contexts，allowing it to serve as direct and valid evidence. Furthermore，the model’s robustness to real-world variations ensures its practical applicability in diverse scenarios. These contributions offer strong technical support for judicial forensics，intelligent terminal authentication，and broader domains of multimedia security. Future work will focus on extending the model to handle more complex audio manipulations and integrating it with complementary forensic techniques.

Key words

multimedia forensics / voice source identification / multi-scale feature fusion / dynamic enhancement / individual mobile identification

引用本文

苏兆品, 方振, 张国富, 王垚飞, 臧怀娟. 多尺度特征融合与动态增强的语音来源识别. 中国图象图形学报, 2026 , 31 (10) : 3606 -3617 . DOI: 10.11834/jig.250570

Zhaopin Su, Zhen Fang, Guofu Zhang, Yaofei Wang, Huaijuan Zang. Multiscale feature fusion and dynamic enhancement for voice source identification[J]. Journal of Image and Graphics, 2026 , 31 (10) : 3606 -3617 . DOI: 10.11834/jig.250570

正文

收起

0　引言

收起

语音来源识别作为语音真实性验证的重要手段，是多媒体取证中的一个重要分支（许裕雄等，2024），其核心任务是从语音信号中提取能够表征录制设备的特征指纹，通过分析、比对实现对语音数据录制设备的来源识别。已有基于语音的设备来源识别从利用传统的手工特征提取方法到基于深度学习的技术，均是将手机录音文件映射为特征向量，在开集或者闭集模式下实现具体手机型号的识别。

Hanilci等人（2012）提取梅尔频率倒谱系数（Mel frequency cepstral coefficients，MFCC）作为手机设备类型识别特征，并利用支持向量机（support vector machine，SVM）作为分类器进行模型训练和测试。Luo等人（2018）利用不同生产商在语音采集管道上的不同带来的微小差异，提出一种新的带能量描述符特征，使用SVM进行手机设备类型识别。Zou等人（2014）采用高斯混合模型与通用背景模型，设计出一种基于梅尔频率倒谱系数和功率归一化倒谱系数的设备类型识别方法。裴安山等人（2017a）将本底噪声作为手机设备型号的指纹用于识别，后续（裴安山等，2017b）通过使用自适应端点检测算法得到语音的静音段，然后将静音段中对数域的Mel滤波器组系数进行降维，作为分类特征。Qin等人（2018）提出了一种基于常数Q变换域的语音特征，并配合使用卷积神经网络（convolutional neural network，CNN）进行手机设备类型识别模型的训练。苏兆品等人（2021）利用时间卷积网络（temporal convolutional network，TCN）对滤波器组特征（filter bank，fbank）进行了一系列的处理得到高维特征，再用线性判别分析对特征进行降维处理，最后使用SVM 进行训练，实现了闭集上手机型号的识别。岳峰等人（2025）基于SE-Res2Block和Fastformer对Fbank特征进行处理融合，设计基于注意力机制的确认网络在开集上实现了对未知手机型号的识别。

需要注意的是，已有研究均面向设备类型的识别，即通过语音信号识别出来源手机设备类型，但无法识别出其来自于该类型下的具体个体，导致语音证据多被视为辅助线索而非直接有效证据。为此，面向设备个体的语音来源识别已成为多媒体取证领域的热点问题之一。此问题要求通过分析语音信号的设备相关特征参数，实现语音设备个体的鉴别与认证，从而为司法取证提供更加直接的证据。

考虑到发展十分迅速的自动说话人验证（automatic speaker verification system，ASV）系统（Joshi和Dua，2024），其通过深度学习技术学习到不同说话人音色的细微差距来实现说话人识别，代表模型包括ECAPA-TDNN（emphasized channel attention，propagation and aggregation in time-delay neural network）（Desplanques等，2020）、DS-TDNN（dual-stream time-delay neural network with global-aware filter for speaker verification）（Li等，2024b）、CAM++（Wang等，2023）和SERes2BiLSTM（Weng等，2025）等。这与语音设备个体识别有一定的相似性。但是，相对于说话人验证问题中利用的说话人音色信息（王善敏等，2025），设备相关信息通常是一种弱信息，直接采用说话人识别模型很难达到识别效果。因此，如何有效提取语音中的设备个体信息，抑制设备个体无关信息成为语音设备个体识别的难点和重点。

基于此，本文提出一种面向设备个体的语音来源识别方法，实现从型号到个体的跨层级设备识别。主要工作如下：1）构建面向设备个体的语音来源识别模型，将任务聚焦于实现对未知设备个体的来源识别。2）提出一种多尺度特征融合与动态增强的语音来源识别方法（multiscale feature fusion and dynamic enhancement for voice source identification，VSI），首先通过基于残差块的特征预处理模块有效提取语音信号中不同层次的设备相关特征；然后利用基于表达增强TDNN的整体特征提取模块和基于多级残差SE-Res2Net（squeeze-and-excitation Res2Net）（Qi和Jiang，2025）的局部特征提取模块，捕捉丰富的设备特征信息及个体之间的细微差距；最后通过特征重校准与动态全局滤波的模块，滤除与任务无关的信息，增强与设备个体相关的特征表示。3）为了验证所提方法的有效性，构建包含14个手机品牌、121个不同设备个体的语音数据集；利用等错误率（equal error rate，EER）、准确率（accuracy，ACC）和最小检测代价函数（minimum detection cost function，minDCF）指标，从消融分析、对比实验和鲁棒性测试等多个方面进行全面评估。

1　面向设备个体的语音来源识别问题

收起

如前所述，面向设备个体的语音来源识别是通过分析语音信号的设备相关特征参数，构建模型或模板实现设备个体的鉴别与认证。该任务聚焦于实现对未知设备个体的语音来源识别，可通过判断两条语音是否来自同一设备个体进行实现。求解过程可以描述为：

1）从原始语音信号

x t

中提取时频特征

f ∈ R T × d

，T表示每一帧语音的特征维度，d表示语音的帧数，具体为

f = F E x (x t)

（1）

式中，

F E x ()

为特征提取算法。

2）利用数据集，训练深度神经网络模型

Ψ

，并利用训练好的模型

Ψ

对特征

f

进行编码，得到一个固定维度的嵌入向量

e

，并将

e

作为设备个体特征。具体为

e = Ψ (f), e ∈ R D

（2）

3）对于待测语音

x t e s t

，已知语音x_ref，分别经过上述流程得到嵌入向量

e t e s t

和

e r e f

，具体为

e r e f = Ψ f r e f

（3）

e t e s t = Ψ f t e s t

（4）

4）利用余弦相似度计算

e t e s t

和

e r e f

的相似性，具体为

S (e r e f, e t e s t) = e r e f ⋅ e t e s t e r e f e t e s t

（5）

5）如果

S (e r e f, e t e s t) ≥ t h

，则待测语音

x t e s t

与参考语音

x r e f

来自同一个设备个体；否则，它们为不同设备语音。其中，

t h

为预设阈值。

2　VSI方法

收起

VSI方法旨在实现对未知手机个体设备的准确识别，整体框架如图1所示。

首先，利用Librosa工具库对原始语音信号进行Fbank特征提取；其次，将提取到的Fbank特征输入特征预处理模块（feature preprocessing block，FPB），以增强设备相关特征的表达能力；接着，分别通过局部特征提取模块（regionalblocks，RegBs）、整体特征提取模块（holisticblock，HolB）和特征增强模块（feature-enhanced block，FEB）对特征进行有效融合，提升模型的整体表征能力；最后，通过基于注意力机制的判别网络将融合后的特征映射为固定维度的向量表示，并采用余弦距离度量两段语音是否来源于同一手机个体。

2. 1　特征预处理模块

由于设备个体的特征信息可能分布于语音信号的各个维度，为了增强模型对设备相关特征的捕捉能力，放大不同个体之间的细微差异性，本文设计了特征预处理模块FPB，主要由多个残差块（residual blocks）组成，如表1所示。该模块通过融合多种残差块结构，能够有效提取语音信号中不同层次的设备相关特征。

每个残差块包含两个卷积层、两个批量归一化层（batch normalization，BN）以及一个跳跃连接（skip connection），通过非线性变换和特征融合提升设备个体特征的表达能力，同时缓解深层网络的梯度消失问题。模块输入首先通过reshape进行调整为频率和时间的二维特征图，以适应二维卷积操作。接着通过一个3 × 3卷积层和批量归一化层进行初步特征提取，并经过ReLU（rectified linear unit）激活函数引入非线性。随后特征依次通过两个残差层，每个残差层包含两个残差块。每一个残差层中的残差块采用步长2降低时间维度，进一步压缩语音特征表示。这种分层设计能够逐步提取不同尺度的语音设备特征信息，从局部细节到全局上下文。然后，通过一个3 × 3卷积层和批量归一化层进一步细化设备特征表示，最后通过reshape操作将二维特征转换为一维特征序列，形成融合了通道和时间维度的语音设备特征表示，不仅保留了原始输入的关键信息，还通过多层次的特征提取引入了丰富的设备特性信息，有助于不同层次特征之间的互补，进一步提升模型的识别性能和泛化能力。

2. 2　整体特征提取模块

语音信号中的设备个体信息贯穿于整个录音过程，捕捉语音样本的全局信息至关重要。整体特征提取模块HolB由3个表达增强TDNN层（expression-enhanced time delay neural network，ETDNN）组成，每层输入道数逐步增加，通过密集连接将前一层的输出与当前层的输出拼接在一起，作为下一层的输入，逐步增强有关手机个体特征的表达能力，同时保留不同层次的全局特征信息。每一层ETDNN的网络结构如图2所示。

可以看出，ETDNN能够捕捉到设备在长时间跨度内的特征稳定性与一致性，增强与设备相关的特征通道，抑制无关特征通道。因此，整体特征提取模块可专注于全局特征的提取和差异增强，能够从宏观层面捕捉语音设备特征的全局差异性，为后续特征融合和设备个体识别提供坚实的全局特征基础。

2. 3　局部特征提取模块

为了有效捕捉语音信号中不同尺度的设备相关特征，并显著扩大设备特征之间的差异性，本文设计了基于多级残差的局部特征提取模块RegBs，多级残差模块（regionalblock，RegB）如图3所示，将每一段的输出都进行叠加作为下一段的输入，具体为

y i = C o n v x i + ∑ j = 1 i - 1 y j, i = 2, 3, ⋯, 8

（6）

这样可以保留更丰富的不同尺度的局部特征信息，充分挖掘设备个体之间的差异。优化后的残差网络每一层卷积的感受野都不同。压缩扩张网络（squeeze-excitation，SE）模块（Li等，2024a）又能对特征向量进行压缩和扩展，从而增强有关设备信息的特征，放大设备个体之间的差异。由此，多级残差块可专注于捕捉不同尺度下的局部特征差异性。

局部特征提取模块由3层多级残差模块组成，具体参数如表2所示，感受野逐层递增。

2. 4　特征增强模块

由于初始特征、局部特征和全局特征具有不同的分布和特性，直接相加会存在信息融合不充分的问题，另外融合后特征中也会存在与设备信息不相关的其他冗余信息。因此，VSI设计了基于ScConv和动态滤波器的特征增强模块FEB，具体可以描述为：

1）对于输入的特征

x

，通过reshape进行维度重塑，得到与ScConv模块（Li等，2023）相匹配的特征

x r e ∈ R B × C × H × W

，B表示批次大小，C表示通道维度，H表示高度维度，W表示宽度维度。

2）利用组归一化（group normalization，GN）层中的缩放系数

β = β 1, β 2, ⋯, β C

计算权重

W β

，用来量化特征

x r e

，具体为

W β = w i = β i ∑ j = 1 C β j, i = 1, 2, ⋯, C

（7）

同时，通过sigmoid函数和门控函数Gate输出权重分量

W 1

和

W 2

，具体为

W 1, W 2 = G a t e s i g m o i d W β G N x r e

（8）

最后，将输入特征

x r e

解耦为富含信息的特征

x 1 w ∈ R B × C × H × W

和信息匮乏的特征

x 2 w ∈ R B × C × H × W

，具体为

x 1 w = W 1 ⊗ x r e x 2 w = W 2 ⊗ x r e

（9）

式中，

⊗

表示逐元素相乘。

3）将

x 1 w ∈ R B × C × H × W

和

x 2 w ∈ R B × C × H × W

分别在通道维度均分为

x 11 w ∈ R B × C / 2 × H × W

、

x 12 w ∈ R B × C / 2 × H × W

和

x 21 w ∈ R B × C / 2 × H × W

、

x 22 w ∈ R B × C / 2 × H × W

，采用交叉重构操作融合不同信息密度的特征，增强信息交互，生成空间细化特征

x w ∈ R B × C × H × W

，具体为

x 11 w ⊕ x 22 w = x w 1 x 21 w ⊕ x 12 w = x w 2 x w 1 ⋃ x w 2 = x w

（10）

式中，

⊕

表示逐元素相加，

⋃

表示拼接。

4）采用拆分—变换—融合策略，对空间细化特征

x w

进行通道维度的冗余削减，拆分为

x u w ∈ R B × C / 2 × H × W

和

x d w ∈ R B × C / 2 × H × W

。对

x u w

同时使用分组卷积（group-wise convolution，GWC）（Guo等，2019）和点卷积（point-wise convolution，PWC）（Hong和Kim，2024）变换得到

x u ∈ R B × C × H × W

，具体为

x u = G W C x u w + P W C x u w

（11）

然后，对

x d w

只使用点卷积并进行拼接得到

x d ∈ R B × C × H × W

，具体为

x d = C o n c a t P W C x d w

（12）

同时，对

x u

和

x d

进行拼接，再使用自适应平均池化（Okabe等，2018）和softmax获得注意力加权值，再进行加权得到滤除冗余后的特征

x S c C o n v ∈ R B × C × H × W

，具体为

x u d = C o n c a t x u, x d

（13）

x S c C o n v = s o f t m a x x u d · x u d

（14）

5）将

x S c C o n v

通过reshape进行维度重塑，得到特征

x D G F 1 ∈ R B × C × N

，N表示序列长度；并利用动态稀疏全局滤波器 SparseDGF（Wu等，2018），从不同的角度捕捉不同设备特征之间的全局关系，得到特征

x D G F 2

，具体为

x D G F 2 = S p a r s e D G F x D G F 1

（15）

最后，卷积核残差连接获取最终输出

x D G F ∈ R B × C × N

，具体为

x D G F = B N R e L U C o n v x D G F 2 + x D G F 1

（16）

2. 5　判别网络

如图1所示，将局部特征和整体特征融合后的特征输入判别网络，用以判断两段语音是否来源于同一手机个体。判别网络的整体结构如图4所示。具体而言，首先在时间维度上对融合特征进行拼接，得到不同尺度的特征信息；随后通过注意力池化层对特征表示进行降维处理，并通过全连接层将特征映射为192维的向量表示；然后使用AAM-Softmax 损失函数（Deng等，2019；Xu等，2019）优化模型的分类能力；最后在判别层（type discrimination layer，TDL）采用余弦距离度量两段语音的特征相似性，从而判断其是否来源于同一手机个体。

3　实验结果与分析

收起

为了验证本文所提VSI模型的有效性，首先构建了包含多个手机品牌和多个个体设备的数据集。其次，考虑到本文任务是通过输入两条设备语音判断是否为同一个语音设备个体，而说话人验证也是通过输入两条说话人语音判断是否为同一个说话人，两个任务具有高度相关性，因此选择当前效果出色的ECAPA-TDNN（Desplanques等，2020）、DS-TDNN（Li等，2024b）、CAM++（Wang等，2023）和SERes2BiLSTM（Weng等，2025）作为对比模型，并从有效性和鲁棒性等多个方面将其与本文提出模型进行比较。

3.1　数据集与实验设置

本文在苏兆品等人（2021）方法基础上，构建了一个包含14个手机品牌、共计121部手机个体的语音数据集，其中每个手机型号不少于两个个体。数据集中的录音内容涵盖了静音、日常对话、背景噪声等多种场景，录音环境包括教室、寝室、高铁、实验室、田径场等多种真实场景。每个手机个体均包含不少于300条录音片段，每条录音时长为3 s，语音采样率为16 000 Hz。在数据集划分方面，将数据集随机划分为训练集和测试集，其中训练集包含106个手机个体，测试集包含15个手机个体，训练集与测试集中的手机个体互不重叠，以确保实验的开集识别设置。

所有模型代码均基于Python实现，在配备RTX 2070S显卡、32 GB内存、Windows 10的计算机上进行。模型训练采用Adam优化器，并将margin和scale分别设置为0.2和30。选用EER、ACC和minDCF作为模型性能的评价标准。

3.2　对比实验分析

图5为所提VSI方法与ECAPA-TDNN（Desplanques等，2020）、DS-TDNN（Li等，2024b）、CAM++（Wang等，2023）和SERes2BiLSTM（Weng等，2025）的对比结果，所有模型均在本文数据集上进行训练和测试。

与已有方法相比，VSI方法的EER分别降低了4.75%、4.71%、5.44%和3.46%；ACC分别提升了3.98%、2.20%、4.90%和2.52%；minDCF分别下降了0.04、0.04、0.30和0.03。因此，VSI方法在处理面向设备个体的语音来源识别任务时更具优势。这是因为VSI可以聚焦到不同手机个体的细微特征区别，增强不同手机个体的特征表示，抑制无关信息，因此可以提取到更具表现力的手机个体特征表示。

3.3　模块有效性分析

在VSI模型中，FPB、FEB、RegBs和HolB为核心模块。本小节将依次单独去除FPB、FEB、RegBs和HolB来验证每个模块的有效性，实验结果如图6所示，其中w/o *表示去除*模块的模型。

由图6可以看出，相比于完整VSI模型，去除FPB、FEB、RegBs和HolB后，EER分别提高了3.19%、2.05%、3.33%和1.31%；ACC分别降低了1.76%、4.53%、2.11%和1.15%；minDCF分别提高了0.08、0.10、0.13和0.06。因此，FPB、FEB、RegBs和HolB模块对VSI模型非常关键。FPB能够从不同尺度对原始特征进行处理，获得更多设备特征信息，FEB能够剔除特征中的冗余信息，RegBs能够捕捉不同尺度下的局部特征的差异性，从而放大不同个体的特征差异，HolB能够获取特征中任意两个位置的依赖情况，增强全局信息感知能力，从宏观层面捕捉设备特征的全局差异性。

3.4　消融分析

为了进一步验证各模块的性能，在已构建的数据集上进行消融实验，实验结果如表3所示，其中FPB表示只使用了特征预处理模块；FPB + HolB表示使用了特征预处理模块和整体特征提取模块；FPB + HolB + RegBs表示使用了特征预处理模块、整体特征提取模块和局部特征提取模块；FPB + HolB + RegBs + FEB表示完整的VSI方法。从表3可以看出，随着HolB、RegBs和FEB关键模块的加入，EER分别降低至9.37%、8.36%和7.50%；ACC提升到87.02%、87.93%和89.97%，minDCF降低到0.39、0.38和0.38。因此，VSI各个模块对于模型性能均有提升效果。

3.5　不同语音因素的影响分析

为了评估模型的抗攻击能力，设计了在不同语音因素下的攻击实验，其中包括不同时长、不同采样率、不同编码格式和幅值调整。

3.5.1　语音时长的影响分析

在实际应用过程中，手机录音时长可能小于3 s，为了衡量语音时长对VSI方法性能的影响，分别采用1 s、2 s和3 s的样本进行模型测试，实验结果如图7所示。

从图7可以看出，当测试语音时长减少时，ECAPA-TDNN、CAM++、DS-TDNN和SERes2BiLSTM模型性能均会降低。对于VSI来说，相较于3 s时长，当时长为2 s和1 s时，EER分别提高了0.59%和2.55%，ACC分别降低了2.20%和5.52%，minDCF分别提高了0.05和0.12，这是因为语音时长较短时语音内部包含的设备个体信息就会不足，模型能够提取到的有效信息也就不够充分。在相同时长的测试集语音中，VSI模型均表现出明显优势，并且性能指标均保持相对稳定，说明相较于其他模型，VSI能够从较短的语音中提取更多的设备信息，即VSI能够适应不同时长的语音样本。并且VSI模型的性能指标随语音时长变化的波动幅度最小，在1 s超短时极端场景下仍能保持较好性能，说明VSI模型鲁棒性也更好。

3.5.2　重采样攻击的影响分析

为了评估模型在不同采样率下的性能，分别使用22 050 Hz、32 000 Hz和48 000 Hz这3种采样率对测试集中的16 000 Hz测试语音进行重采样，实验结果如图8所示。从图8可以看出，当录音的采样率发生变化，会对模型的表现能力有一些影响，在EER指标上，VSI模型在各采样率下的数值远低于其他对比模型，平均EER较最优对比模型降低约30%，在ACC指标上，VSI模型在各种采样率下保持了89.00%～89.97%的高识别准确率，相比最优对比模型提升约1.5%，在minDCF指标上，VSI模型的数值始终维持在0.36～0.38之间，是所有模型最低的区间范围，说明VSI方法受采样率的影响较小，表现更加稳定，鲁棒性更好。

3.5.3　语音编码的影响分析

为了评估模型抗语音编码的攻击能力，将原有测试集的MP3编码分别转换为M4A、WAV、FLAC和AAC的编码，以模拟现实网络中的编码攻击。图9展示了不同编码格式下各模型的测试结果。可以看出，当录音的编码格式发生变化，会对模型的表现能力有一些影响，但是VSI模型对于录音语音编码格式转变的攻击时，相较于其他的模型，VSI模型在评价指标上仍均优于其他的模型。例如，在ACC指标上，VSI模型在各种编码格式下保持了89.17%～90.38%的高识别准确率，是所有模型中唯一ACC稳定在89%以上的模型，说明VSI模型在应对语音编码攻击时依旧表现较好。

3.5.4　幅值量化攻击的影响分析

为了评估模型的抗幅值量化攻击能力，分别按照0.8、0.9、1.1、1.2比例调整测试语音的幅值，模拟实际环境中可能出现的幅值量化攻击，测试结果如图10所示。可以看出，当语音幅值被等比例压缩至原值的80%或扩展至120%时，音频的响度范围和动态对比度发生显著改变，VSI模型的性能依旧保持稳定，各个指标的上下浮动变化非常小，EER指标始终维持在7.15%～7.50%的区间范围，ACC指标始终维持在89.47%～89.97%的区间范围，minDCF指标始终维持在0.35～0.38的区间范围，均是所有模型最低的区间范围，展现出了对于语音能量扰动攻击的鲁棒性。

4　结论

收起

为解决现有方法仅能识别设备型号而无法区分个体设备的关键问题，本文围绕面向设备个体的语音来源识别任务开展了深入研究，构建了面向设备个体的语音来源识别模型VSI，设计了一种多尺度特征融合与动态增强的识别框架。在包含14个手机品牌、121个手机个体数据集上的实验结果表明，本文方法在等错误率、准确率和最小检测代价函数指标上均显著优于现有方法，而且在不同时长、不同采样率、改变编码格式和幅值下均表现较好，验证了本文所提方法的有效性和优越性。这是因为，相较于现有方法，VSI通过多尺度特征融合策略有效整合了局部细节与全局上下文信息，通过动态增强机制自适应地强化设备相关特征、抑制语音内容和环境噪声干扰，从而能够聚焦于不同手机个体的细微硬件特征差异。这使得模型在极短语音和多种攻击场景下仍能保持稳定的识别性能，显示出较强的泛化能力，为提升语音证据在司法实践中的有效性提供技术支持，同时也为后续相关研究提供了借鉴思路。

由于在实际取证应用中可能会遇到各种各样的极端复杂情景，下一步研究将重点关注如何进一步提高模型在复杂社交场景下的抗攻击能力和鲁棒性。

基金

收起

国家自然科学基金项目（62302146）；教育部人文社会科学研究规划基金项目（24YJA870011）；中央高校基本科研业务费专项资金资助（PA2025IISL0104，PA2025GDSK0078）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Deng

J K

，Guo

，Xue

N N

and Zafeiriou

. 2019. ArcFace： additive angular margin loss for deep face recognition//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA： IEEE： 4690-4699 ［DOI： 10.1109/CVPR.2019.00482］

Desplanques

，Thienpondt

and Demuynck

. 2020. ECAPA-TDNN： emphasized channel attention，propagation and aggregation in TDNN based speaker verification//Proceedings of the 21st Annual Conference of the International Speech Communication Association. Shanghai，China： ISCA： 3830-3834 ［DOI： 10.21437/Interspeech.2020-2650］

Guo

X Y

，Yang

W K

，Wang

X G

and Li

H S

. 2019. Group-wise correlation stereo network//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA： IEEE： 3273-3282 ［DOI： 10.1109/CVPR.2019.00339］

Hanilci

，Ertas

and Eskidere

. 2012. Recognition of brand and models of cell-phones from recorded speech signals. IEEE Transactions on Information Forensics and Security，7（2）： 625-634 ［DOI： 10.1109/TIFS.2011.2178403］

Hong

H S

and Kim

. 2024. Implementation of tiled point-wise convolution in MobileNet for parallel processing//Proceedings of 2024 International Conference on Electronics，Information，and Communication. Taipei，China： IEEE： 1-6 ［DOI： 10.1109/ICEIC61013.2024.10457207］

Joshi

and Dua

. 2024. Noise robust automatic speaker verification systems： review and analysis. Telecommunication Systems，87（3）： 845-886 ［DOI： 10.1007/s11235-024-01212-8］

J F

，Wen

and He

L H

. 2023. SCConv： spatial and channel reconstruction convolution for feature redundancy//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver，Canada： IEEE： 6153-6162 ［DOI： 10.1109/CVPR52729.2023.00596］

M B

，Zheng

Y Z

，Li

D C C

，Wu

Y L

，Wang

Y X

and Fei

H J

. 2024a. MS-SENet： enhancing speech emotion recognition through multi-scale feature fusion with squeeze-and-excitation blocks//Proceedings of 2024 IEEE International Conference on Acoustics，Speech and Signal Processing. Seoul，Korea（South）： IEEE： 1-5 ［DOI： 10.1109/ICASSP48485.2024.10447232］

Y F

，Gan

J P

，Lin

X D

，Qiu

Y Q

，Zhan

H J

and Tian

. 2024b. DS-TDNN： dual-stream time-delay neural network with global-aware filter for speaker verification. IEEE/ACM Transactions on Audio，Speech，and Language Processing，32： 2814-2827 ［DOI： 10.1109/TASLP.2024.3402072］

Luo

，Korus

and Huang

J W

. 2018. Band energy difference for source attribution in audio forensics. IEEE Transactions on Information Forensics and Security，13（9）： 2179-2189 ［DOI： 10.1109/TIFS.2018.2812185］

Okabe

，Koshinaka

and Shinoda

. 2018. Attentive statistics pooling for deep speaker embedding//Proceedings of Interspeech 2018. Hyderabad，India： ISCA： 2252-2256 ［DOI：10.21437/Interspeech.2018-993］

Pei

A S

，Wang

R D

and Yan

D Q

. 2017a. Cell-phone origin identification based on spectral features of device self-noise. Telecommunications Science，33（1）： 85-94

裴安山，王让定，严迪群. 2017a. 基于设备本底噪声频谱特征的手机来源识别. 电信科学，33（1）： 85-94 ［DOI： 10.11959/j.issn.1000-0801.2017019］

Pei

A S

，Wang

R D

and Yan

D Q

. 2017b. Source cell-phone identification from recorded speech using non-speech segments. Telecommunications Science，33（7）： 103-111

裴安山，王让定，严迪群. 2017b. 基于语音静音段特征的手机来源识别方法. 电信科学，33（7）： 103-111 ［DOI： 10.11959/j.issn.1000-0801.2017123］

and Jiang

Y S

. 2025. Enhancing Res2Net with cross-scale feature association and attention optimization for speaker recognition. Biomedical Signal Processing and Control，110： #108219 ［DOI： 10.1016/j.bspc.2025.108219］

Qin

T Y

，Wang

R D

，Yan

D Q

and Lin

. 2018. Source cell-phone identification in the presence of additive noise from CQT domain. Information，9（8）： #205 ［DOI： 10.3390/info9080205］

Z P

，Wu

Z Q

，Yue

，Wu

Q F

and Zhang

G F

. 2021. Source cell-phone identification under background noise based on low-dimensional deep features. Acta Electronica Sinica，49（4）： 637-646

苏兆品，吴张倩，岳峰，武钦芳，张国富. 2021. 自然环境背景噪声下基于低维深度特征的手机来源识别. 电子学报，49（4）： 637-646 ［DOI： 10.12263/DZXB.20200658］

Wang

，Zheng

S Q

，Chen

Y F

，Cheng

L Y

and Chen

. 2023. CAM++： a fast and efficient network for speaker verification using context-aware masking//Proceedings of the 24th Annual Conference of the International Speech Communication Association. Dublin，Ireland： ISCA： 5301-5305 ［DOI： 10.21437/Interspeech.2023-1513］

Wang

S M

，Liu

C G

，Chen

S Y

and Liu

Q S

. 2025. A survey of multimodal emotion recognition from facial expressions，audios，and language. Journal of Image and Graphics，30（6）： 2120-2138

王善敏，刘成广，陈胜宇，刘青山. 2025. 面向表情、语音和语言的多模态情感识别综述. 中国图象图形学报，30（6）： 2120-2138 ［DOI： 10.11834/jig.250168］

Weng

S L

，Yang

and Mao

. 2025. Effective modeling of critical contextual information for TDNN-based speaker verification ［EB/OL］. ［2025-11-12］. https://arxiv.org/pdf/2509.09932.pdf

H K

，Zheng

，Zhang

J G

and Huang

K Q

. 2018. Fast end-to-end trainable guided filter//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA： IEEE： 1838-1847 ［DOI： 10.1109/cvpr.2018.00197］

，Wang

，Huang

H J

，Qian

Y M

and Yu

. 2019. Margin matters： towards more discriminative deep neural network embeddings for speaker recognition//Proceedings of 2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Lanzhou，China： IEEE： 1652-1656 ［DOI： 10.1109/APSIPAASC47483.2019.9023039］

Y X

，Li

，Tan

S Q

and Huang

J W

. 2024. Research progress on speech deepfake and its detection techniques. Journal of Image and Graphics，29（8）： 2236-2268

许裕雄，李斌，谭舜泉，黄继武. 2024. 语音深度伪造及其检测技术研究进展. 中国图象图形学报，29（8）： 2236-2268 ［DOI： 10.11834/jig.230476］

Yue

，Peng

，Su

Z P

，Zhang

G F

，Lian

C S

，Yang

，et al. 2025. Open-set source cell-phone identification method based on feature interaction and representation enhancement. Journal of Computer Applications，45（12）： 3813-3819

岳峰，彭洋，苏兆品，张国富，廉晨思，杨波，等. 2025. 基于特征交互与表示增强的语音手机来源开集识别方法. 计算机应用，45（12）： 3813-3819 ［DOI： 10.11772/j.issn.1001-9081.2024121815］

Zou

，Yang

J C

and Huang

T S

. 2014. Automatic cell phone recognition from speech recordings//Proceedings of 2014 IEEE China Summit and International Conference on Signal and Information Processing. Xi’an，China： IEEE： 621-625 ［DOI： 10.1109/ChinaSIP.2014.6889318］

2026年第31卷第10期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11834/jig.250570

接收时间：2025-11-12
首发时间：2026-10-30
出版时间：2026-10-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-11-12
修回日期：2026-02-11

基金

National Natural Science Foundation of China（62302146）；MOE （Ministry of Education in China） Project of Humanities and Social Sciences（24YJA870011）；Fundamental Research Funds for the Central Universities of China（PA2025IISL0104，PA2025GDSK0078）

国家自然科学基金项目（62302146）；教育部人文社会科学研究规划基金项目（24YJA870011）；中央高校基本科研业务费专项资金资助（PA2025IISL0104，PA2025GDSK0078）

作者信息

¹　合肥工业大学计算机与信息学院，合肥　230601

²　智能互联系统安徽省实验室（合肥工业大学），合肥　230009

³　工业安全与应急技术安徽省重点实验室（合肥工业大学），合肥　230009

⁴　音视频智能防识联合实验室，合肥　230000

通讯作者:

张国富，通信作者，男，教授，主要研究方向为语音安全。E-mail： zgf@hfut.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgtxtxxb/CN/10.11834/jig.250570

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT