科学技术与工程

模型	参数量/10³	时间/ms
FaceNet	140 694	—
WebFace	5 015	—
VGG	134 251	581
SeetaFace	50 021	245
CenterLoss	19 596	160
Light CNN-4	4 095	75
Light CNN-9	5 556	67
Light CNN-29	12 637	121

模型	参数量/10³	时间/ms
FaceNet	140 694	—
WebFace	5 015	—
VGG	134 251	581
SeetaFace	50 021	245
CenterLoss	19 596	160
Light CNN-4	4 095	75
Light CNN-9	5 556	67
Light CNN-29	12 637	121

文献	生物特征	发表年份	特征融合方法
文献[10]	人脸、虹膜	2018	直接串联
文献[11]	指纹、虹膜	2019	标准化后串联
文献[12]	虹膜、掌纹	2019	直接串联
文献[13]	心电图、虹膜、人耳	2019	直接串联
文献[14]	人脸、指静脉	2022	利用注意力机制串联
文献[15]	人脸、虹膜、指纹	2023	直接串联

文献	生物特征	发表年份	特征融合方法
文献[10]	人脸、虹膜	2018	直接串联
文献[11]	指纹、虹膜	2019	标准化后串联
文献[12]	虹膜、掌纹	2019	直接串联
文献[13]	心电图、虹膜、人耳	2019	直接串联
文献[14]	人脸、指静脉	2022	利用注意力机制串联
文献[15]	人脸、虹膜、指纹	2023	直接串联

文献	生物特征	发表年份	分数融合方式
张瑛杰等^[16]	声纹、人脸	2018年	线性加权融合
Gunasekaran等^[17]	人脸、虹膜、指纹	2019年	加权等级融合
Conti等^[18]	视网膜、虹膜	2020年	线性加权融合
陈俊等^[19]	掌纹、虹膜	2020年	线性加权融合
李小敏等^[20]	掌纹、虹膜	2021年	线性加权融合
李永刚^[21]	眼周、虹膜	2022年	自适应线性加权

文献	生物特征	发表年份	分数融合方式
张瑛杰等^[16]	声纹、人脸	2018年	线性加权融合
Gunasekaran等^[17]	人脸、虹膜、指纹	2019年	加权等级融合
Conti等^[18]	视网膜、虹膜	2020年	线性加权融合
陈俊等^[19]	掌纹、虹膜	2020年	线性加权融合
李小敏等^[20]	掌纹、虹膜	2021年	线性加权融合
李永刚^[21]	眼周、虹膜	2022年	自适应线性加权

混淆矩阵	预测类别
实际类别	Positive	TP	FP
Negative	FN	TN

混淆矩阵	预测类别
实际类别	Positive	TP	FP
Negative	FN	TN

模态	Macro-F₁/%	Micro-F₁/%
左虹膜	99.18	99.20
右虹膜	97.97	98.00
人脸	93.85	94.00

模态	Macro-F₁/%	Micro-F₁/%
左虹膜	99.18	99.20
右虹膜	97.97	98.00
人脸	93.85	94.00

是否归一化	评价指标
未归一化	95.08	95.20
归一化	99.79	99.80

是否归一化	评价指标
未归一化	95.08	95.20
归一化	99.79	99.80

左右虹膜融合策略	Macro-F₁/%	Micro-F₁/%
最大值	99.17	99.20
最小值	99.37	99.40
平均值	99.39	99.40

左右虹膜融合策略	Macro-F₁/%	Micro-F₁/%
最大值	99.17	99.20
最小值	99.37	99.40
平均值	99.39	99.40

左右虹膜融合策略	虹膜与人脸融合策略
最大值	95.6	99.6	96.2
最小值	95.2	99.4	99.8
平均值	95.4	99.4	99.8

左右虹膜融合策略	虹膜与人脸融合策略
最大值	95.6	99.6	96.2
最小值	95.2	99.4	99.8
平均值	95.4	99.4	99.8

基于轻量级卷积神经网络的多模态生物特征识别系统设计

PDF下载

刘丰华 ¹ , 马秋平 ¹ , 张琪 ¹^,^* , 王财勇 ²

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(11): 4673-4681

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(11): 4673-4681

基于轻量级卷积神经网络的多模态生物特征识别系统设计

全屏

刘丰华¹, 马秋平¹, 张琪¹^,^*, 王财勇²

作者信息

¹ 中国人民公安大学信息网络安全学院, 北京 100038

² 北京建筑大学智能科学与技术学院, 北京 102616

刘丰华(1999—),男,汉族,河南焦作人,硕士研究生。研究方向:多模态生物特征识别。E-mail:2334317519@qq.com。

通讯作者:

* 张琪(1988—),女,汉族,河北迁安人,博士,副教授。研究方向:模式识别。E-mail:qi.zhang@ppsuc.edu.cn。

Multimodal Biometric Recognition System Design Based on Lightweight Convolutional Neural Network

Feng-hua LIU¹, Qiu-ping MA¹, Qi ZHANG¹^,^*, Cai-yong WANG²

Affiliations

¹ School of Information and Cyber Security, People's Public Security University of China, Beijing 100038, China

² School of Intelligence Science and Technology, Beijing University of Civil Engineering and Architecture, Beijing 102616, China

出版时间: 2025-04-18 doi: 10.12404/j.issn.1671-1815.2404922

文章导航

摘要

收起

为了解决单模态生物特征信息采集不全、易被攻击以及特定识别场景下受限等问题,构建了一个针对人脸和虹膜的多层次融合识别模型,设计并实现多模态生物特征识别系统将所提模型以模块的方式进行集成。所提模型使用轻量级卷积神经网络作为特征提取器,在特征层利用不同模态特征之间的类内相关性,对不同模态的特征归一化后串联;在分数层使用最小值策略融合左右虹膜得分,使用平均值策略融合虹膜得分和人脸得分。从CASIA-IrisV4-Distance数据集中提取同源多模态数据集进行实验验证,特征层融合算法和分数层融合算法准确率均达到99.8%。实验表明,该系统具有鲁棒性和泛化性。

关键词

生物特征识别 / 多模态融合 / 系统设计 / 轻量级卷积神经网络

Abstract

收起

In order to address the issues of incomplete collection, vulnerability to attacks, and limitations in specific recognition scenarios in single modal biometric information, a multi-level fusion recognition model for faces and iris was proposed, a multi-modal biometric recognition system was designed and implemented to integrate the proposed model in a modular manner. The lightweight convolutional neural networks was used as feature extractors, intra class correlations between different modal features was utilized on the feature level, normalizing and concatenating the features of different modalities. The minimum strategy was used to fuse left and right iris scores on the score layer, the average strategy was used to fuse iris scores and face scores. Homologous multi-modal datasets was extracted from the CASIA-IrisV4-Distance dataset for experiment verification, feature layer fusion algorithm and score layer fusion algorithm both achieves an accuracy of 99.8%. It is observed in the experiment that this system has robustness and generalization.

Key words

biometric recognition / multimodal fusion / system design / lightweight convolutional neural network

引用本文

刘丰华, 马秋平, 张琪, 王财勇. 基于轻量级卷积神经网络的多模态生物特征识别系统设计. 科学技术与工程, 2025 , 25 (11) : 4673 -4681 . DOI: 10.12404/j.issn.1671-1815.2404922

Feng-hua LIU, Qiu-ping MA, Qi ZHANG, Cai-yong WANG. Multimodal Biometric Recognition System Design Based on Lightweight Convolutional Neural Network[J]. Science Technology and Engineering, 2025 , 25 (11) : 4673 -4681 . DOI: 10.12404/j.issn.1671-1815.2404922

正文

收起

随着科技的进步,身份验证和数据安全逐渐成为关注的焦点。传统的身份验证方法,如用户名和密码,由于其固有的脆弱性,已经不能满足现代安全需求。相较于传统方法,生物特征识别技术作为一种基于个体独特的生理特征(如人脸、虹膜等)或行为特征(如步态、笔迹等)的身份验证方法,具有更高的安全性和便利性,因此得到了更广泛的应用^[1]。例如,在网上银行进行线上转账操作时使用指纹识别进行身份认证;大型商超中结算可以使用刷脸支付;煤矿工人上下矿井时使用虹膜识别进行考勤等。

虽然单模态生物特征识别技术方兴未艾,但是面对身份认证场景逐渐复杂化、多样化的发展现状,特别是非接触、非配合场景下,获取到的单模态生物特征信息可能不完整或质量较差,从而导致识别精度低及鲁棒性差,不能有效满足一些复杂应用场景下的身份识别实际需求。例如,用户在3 m外进行虹膜识别属于远距离虹膜识别问题,用户通常不需要像使用近距离设备那样弯腰凑近,这可能导致用户配合度降低,虹膜识别的精度下降,在这个场景下加入其他生物特征信息进行身份识别就能够解决远距离虹膜识别的问题;在大规模传染病流行时期,人们为了防止被传染,选择带着口罩上下班,在使用人脸识别技术进行打卡时,存在人脸被遮挡导致识别精度低的问题,这种场景下如果使用人脸和虹膜这两个模态进行身份识别就能够解决人脸图像采集不全的问题;单一模态除了在采集时容易出现信息采集不全的问题,还面临重放攻击、呈现攻击的威胁,使用黏性材料在生活场景中提取出用户指纹,可以骗过指纹传感器,使用3D打印机制作仿真人脸面具,可以骗过人脸识别系统,基于多个模态的生物特征进行身份认证加大了伪造的难度,可以提升身份认证的准确性与安全性。

针对上述问题,选取人脸和虹膜两种生物特征为研究对象,从CASIA-IrisV4-Distance数据集中提取人脸图像和虹膜图像,构造了一个同源多模态数据集;以轻量级卷积神经网络为基础构建了一个基于特征层和分数层的多模态生物特征识别模型;采用模块化设计并集成特征层、分数层的融合方法,设计并实现了一个多模态生物特征识别系统。

1 相关工作

收起

1.1 轻量级卷积神经网络

卷积神经网络在生物特征识别领域中扮演着重要的角色,从特征提取、数据降维、模型训练到多模态融合和鲁棒性增强等方面都有着广泛的应用。卷积神经网络能够自动从原始数据中学习和提取有用的特征,为生物特征识别提供有力支持。从AlexNet到ResNet卷积神经网络的发展过程^[2-5]中,可以发现卷积神经网络的网络结构越来越深,参数量越来越大。

相比于使用单一生物特征进行识别,多模态生物特征融合识别技术的优势在于利用不同模态间的互补性来减少可能存在的干扰,从而具有较高的识别精度和稳定性,但是缺点就是需要使用更大的数据量进行训练,如果在训练时使用较深的神经网络,就会存在模型参数量过大导致识别速度过慢。常用神经网络参数量、提取单张图像特征耗费时间等指标对比,如表1所示,跟其他更深层次的卷积模型相比,Light- CNN9^[6]模型具有参数量小、运算速度较快的优势,并且该模型在每个卷积层中引入的名为MFM (max-feature-map)的maxout激活函数变体可以在两幅特征图中进行特征选择。权衡多个模型的利弊后,本系统采用Light- CNN9卷积神经网络作为骨干网络。

1.2 特征层融合

在多模态生物特征识别中,特征层融合是至关重要的一个环节,它可以有效地将不同模态的特征信息整合在一起,提高识别精度和稳定性,同时增强系统的鲁棒性和安全性。特征层融合的方法主要是用传统方法或深度学习的方法提取特征^[7-8],利用不同模态的特征向量包含的信息进行识别^[9],常用的特征层融合方法如表2所示。

相比于对原始图像直接进行融合,在特征层融合过程中,需要计算处理的是不同模态的特征向量,特征向量往往比原始数据数据量小,所以能够有效地减少待处理的数据量。另外,融合后的特征向量包含了原始各个模态的特征向量所表达的信息,因此融合后的特征向量具有更强地泛化性。

1.3 分数层融合

利用余弦距离或欧氏距离等作为特征向量之间的度量方式,可以获得特征向量间的比对分数,一般认为相似分数最高的两个特征向量所代表的图片是最相似的两张图片。对多模态生物特征分数层融合方法进行总结,如表3所示,发现分数层常用的融合方法是利用线性关系进行映射,并且对不同模态的对比分数赋予不同的权重。

分数层融合的常用策略为:乘积策略、加法策略、最大值策略、最小值策略,在目前的工作中,有一些新的线性映射策略,如指数策略、双曲正切策略,在分数层融合实验中取得了较为优异的结果。

2 实验过程与分析

收起

2.1 研究框架

本研究使用轻量级卷积神经网络作为骨干网络提取不同模态特征,对提取出的不同模态特征进行特征层融合,计算融合后的特征向量之间的相似度得分得到特征层融合识别结果,对不同模态的得分按照分数层融合策略进行融合,计算融合后的相似度得分得到分数层融合识别结果。整体研究实验框架如图1所示。

2.2 实验数据

2.2.1 实验数据获取

本实验选取虹膜、人脸这两种常见生物特征作为研究对象,使用CASIA-IrisV4-Distance数据集中的人脸图像和虹膜图像构造同源多模态数据集。由于CASIA-IrisV4-Distance数据集存在大量带有眼镜、眼睛斜视等困难样本,故此次实验使用了100个身份ID,500张图片作为原始数据库,对其中每张图片分别进行人脸预处理与虹膜预处理后,组成包含虹膜和人脸的共100个身份ID,1 500张图片的数据库。

2.2.2 数据预处理

人脸图像预处理是为了将人脸图像中的眼睛和鼻子的位置固定,从而减少由于位置原因对数据造成的影响。本文中采用手动标点的方式获得眼睛和鼻子的坐标,由于三个点确定一个平面,手动标注的三个点可以看作是原始图片空间的一组入口基,由于ID为008的第一张图片中眼睛和鼻子的位置符合人脸对齐的标准,所以设置ID为008的第一张图片中眼睛、鼻子的坐标作为对齐后图片空间的出口基,计算出入口基到出口基的映射矩阵,利用该映射矩阵进行仿射变换矩阵即可获得对齐后的人脸图像,如图2所示。

虹膜图像预处理是利用OpenCV 自带的 Haar 级联特征分类器^[22]来实现眼周定位。对每张图片提取出左右两张大小为640×480的眼周图片,之后通过Adaboost级联虹膜检测器^[23]进行虹膜定位,最后基于Daugman的rubber sheet模型^[24]将定位到的虹膜提取出来并归一化为540×70大小,如图3所示。

2.3 评价指标

在生物特征识别问题中,评价算法分类性能的常用模型为混淆矩阵,也被称为可能性表格,是一种可以用来可视化分类器分类性能优劣的工具,如表4所示。其中,TP(true positive)表示实际为正类且被正确预测为正类的样本数量,FN(false negative)表示真实为正类但被错误预测为负类的样本数量,FP(false positive)表示真实为负类但被错误预测为正类的样本数量,TN(true negative)表示真实为负类且被正确预测为负类的样本数量。

混淆矩阵中各一级指标表示对于测试集结果的统计,通过对于一级指标的延伸计算可以获得精确率P(precision),预测类别为正类在全部样本中的比例;召回率R(recall),实际类别为正类在全部样本中的比例。F₁-score的计算是对P(精确率)和R(召回率)进行调和平均,从而更好地反应分类结果的分布,更好地反映分类算法的性能。表达式分别为

(1)

P = T P T P + F P R = T P T P + F N F 1 - s c o r e = 2 P R P + R

本实验属于多分类任务,将生成多个混淆矩阵,因此引入宏平均评价指标(Macro-average)和微平均评价指标(Micro-average)。宏平均F₁-score(Macro-F₁)是对每个类别单独计算F₁-score评价指标,然后对所有的类别指标取平均,能够反映整体的分类性能;微平均F₁-score(Micro-F₁)是将所有类别的分类结果汇总到一个混淆矩阵中,所以能够关注到数据占比较大类别的性能。表达式为

(2)

M a c r o_P = ∑ i = 1 n P i n M a c r o_R = ∑ i = 1 n R i n M a c r o_F 1 = 2 M a c r o_P × M a c r o_R M a c r o_P + M a c r o_R × 100 % M i c r o_P = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F P i M i c r o_R = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F N i M i c r o_F 1 = 2 M i c r o_P × M i c r o_R M i c r o_P + M i c r o_R × 100 %

2.4 融合实验

2.4.1 单模态实验

由于数据集规模较小,因此仅作为测试集使用。单模态生物特征识别实验是使用人脸和虹膜预训练好的模型参数分别提取人脸、虹膜的特征,之后对提取的特征计算余弦相似度,公式为

(3)

S (A, B) = A B A × B

式(3)中:A、B均为256维的特征向量;S(A,B)表示计算A和B两个特征向量间的余弦相似度。单模态实验结果如表5所示。

从单模态实验结果中可以看出,左虹膜的识别精度最高,并且根据宏平均F₁-score指标判断,左虹膜识别中错误的类别最少。

2.4.2 特征层融合实验

特征层融合实验使用Light-CNN9模型作为特征提取器,分别将两个不同模态的图像作为输入,输出是一个512维的特征向量。具体地,对于每个模态图像的输入,通过卷积层后将特征向量拉平,使用两个全连接层对特征进行整合,提取全连接层中256维的图像特征作为该模态输入的特征向量,将两个256维的特征向量串联融合为512维的特征向量,通过计算融合后特征向量的余弦相似度进行识别。网络结构如图4所示。

本文对人脸和虹膜提取的特征进行可视化分析(图5),发现虹膜图片提取出的特征分布与人脸图片提取出的特征分布明显不同,故对虹膜和人脸提取的特征进行归一化后再进行特征串联作为对比试验,归一化方式选择最大最小值归一化,表达式为

(4)

y = x - A m i n A m a x - A m i n

式(4)中:x为属于特征向量A的特征值;A_min为一组特征向量中的最小值;A_max为一组特征向量中的最大值;y为归一化后的特征值。

特征层融合实验结果,如表6所示。实验结果表明,在识别精度上,归一化后的虹膜、人脸特征融合比未使用归一化的虹膜、人脸特征融合有明显提高。故本系统设计在特征层采用将不同模态的特征向量归一化后在进行融合的策略。

2.4.3 分数层融合实验

分数层融合实验同样使用Light-CNN9模型作为特征提取器,分别将两个不同模态的图像作为输入,输出为匹配分数。具体地,对于每个模态图像的输入,通过卷积模型后,提取最后一个全连接层之前的256维向量作为该输入图像的特征向量,计算特征向量间的余弦相似度作为得分,将不同模态的得分按照融合策略融合后得到最终的相似分数。分数层融合策略分别采取最大值策略、最小值策略、平均值策略,融合策略计算公式为

(5)

M a x (a, b) = a, a ≥ b b, a < b M i n (a, b) = a, a ≤ b b, a > b A v e r a g e (a, b) = a + b 2

式(5)中:Max、Min、Average分别为最大值策略,最小值策略,平均值策略,a、b为不同模态的得分。

分数层融合实验的顺序是先对左右虹膜进行分数层融合,再将虹膜与人脸进行分数层融合。左右虹膜分数层融合结果如表7所示,实验结果表明,采用平均值策略对左右虹膜分数进行分数层融合效果最好。

虹膜与人脸分数层融合实验结果如表8所示,实验结果表明,使用平均值融合策略或最小值融合策略融合左右虹膜对比分数后再与人脸对比分数按照取平均值融合策略进行分数层融合效果最好。故在分数层融合系统设计部分采取最小值融合策略进行左右虹膜对比分数融合,然后使用平均值融合策略将虹膜与人脸对比分数融合。

3 系统设计

收起

3.1 设计目标

面向实际应用,集成了特征层、分数层融合方法,设计了一个多生物特征融合系统,能够可视化展示多模态生物特征融合结果。首先,该系统有清晰的界面交互,界面布局简单明了,功能选择区与结果展示区分开,方便使用者操作;然后,该系统采取模块化的设计,不同模态的匹配操作统一封装、统一展示,界面具有出色的扩展性;最后,该系统集成了虹膜、人脸、分数层融合、特征层融合等四个不同模式的识别过程,并展示效果。本节对多生物特征融合演示系统的设计目标可以总结为如下几点。

(1)简洁的操作界面。该系统的界面应当简洁易操作,将选择模式区域与展示结果区域分开,方便用户进行界面交互。

(2)系统模块化设计。本系统在设计时考虑到后续工作中还可能增加眼周识别或其他融合方式,将各种系统功能进行模块化封装,方便后续增加系统内容。

(3)展示融合识别模式效果。设计多生物特征融合演示系统时,考虑到融合效果的展示,尽可能将融合的过程与效果可视化展示。

3.2 设计方案

整个实验系统分为功能选择和结果展示两部分,功能选择部分的作用是和用户交互,获得实验使用的参数;结果展示部分是通过用户给定的参数,完成用户所要求的实验过程并展示。该系统最重要的功能就是实现多模态融合的选择和匹配结果的展示,在运行程序后,用户需要选择不同模态的原始数据,然后根据需要选择不同层次的融合方式,在点击开始按钮后,融合识别结果将会清晰地、动态地展示在系统界面中。多模态生物特征识别系统操作流程,如图6所示。

该系统界面整体设计共有选择图库、模式选择、控制台、单模态识别结果、多模态识别结果这五个部分。整体界面设计,如图7所示。

(1)选择图库。选择图库部分的作用是选择原图像所在数据库,在确定数据库位置后,后续可以在控制台中选择人脸图片和虹膜图片。

(2)模式选择。模式选择部分集成了本研究中的单模态、多模态生物特征检索模型,共设计了4种模型选择:人脸识别、虹膜识别、特征层融合、分数层融合。

人脸识别、虹膜识别指的是使用轻量级卷积进行单一模态识别,这个模式会在结果展示区域中的匹配结果区域展示相应的单模态识别结果,而特征层融合、分数层融合是本研究中不同层次的融合结果的展示,利用用户选择的虹膜、人脸原始数据,按照用户选择的层次进行融合,并将融合结果展示在融合结果识别区域。

(3)控制台。控制台区域设置有四个控件,分别是选择人脸图像、选择虹膜图像、开始、清空。前两个控件的作用是根据数据库的位置,选择待识别的人脸、虹膜图像;后两个控件负责操作控制,开始控件的作用是开始融合并显示进程,清空控件的作用是清空当前所有参数。

(4)单模态识别结果。单模态识别结果展示分为输入数据和匹配结果两个区域,输入数据区域负责展示用户选择的不同模态的原始数据与ID;匹配结果区域负责展示根据用户选择的原始数据对应的单模态识别结果与ID。

(5)多模态识别结果。为了展示多模态融合的效果,在系统界面设计时将多模态融合结果与单模态识别结果分开,单模态识别结果会对应该模态原始数据显示在匹配结果展示区域,多模态融合结果则实时展示在融合识别结果展示区域,以展示匹配分数的方式突出融合结果。

3.3 可视化结果展示

人脸识别结果演示,如图8所示。对ID为008的第一张图片进行识别,经过与数据库的匹配得到最高相似分数分别是0.904 1,识别类别为008,识别结果正确。

虹膜识别结果演示,如图9所示。对ID为008的第一张图片进行识别,经过与数据库的匹配得到最高相似分数是0.925 8,识别类别为008,识别结果正确。

特征层融合结果演示,如图10所示。选取ID为097的第五张图片,该ID人脸识别结果为081,识别结果错误;虹膜识别结果为066,识别结果错误,经过本研究中的特征层融合方法得出的特征层融合识别结果为097,识别结果正确。

分数层融合结果演示,如图11所示。分数层融合选取ID为064的第11张图片,该ID人脸识别结果为061,识别结果错误;虹膜识别结果为005,识别结果错误,经过本研究中的分数层融合方法得出的分数层融合识别结果为064,识别结果正确。

4 结论

收起

以虹膜和人脸为研究对象,构建了一个基于特征层和分数层的多模态生物特征识别模型;设计并实现了一个多模态生物特征识别系统。得到如下结论。

(1)该模型在特征层和分数层对不同模态的生物特征进行融合,利用不同模态之间的互补性,提供更高的安全性和可靠性,识别性能比单一模态生物特征识别更优越,具有更强的鲁棒性。

(2)该系统集成特征层、分数层的融合方法,不受限于特定的模态和融合方法,用户可以根据不同需求来选取不同层次的融合算法,同时,采用模块化设计,能够根据需求的不同更换模态和融合层次,具有良好的泛化性与可扩展性。该系统用户界面设计直观,操作流程简单明了,系统响应速度快,用户无需花费过多时间学习和适应,具有较好的易用性。

基金

收起

国家自然科学基金(61906199)
国家自然科学基金(62106015)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

孙哲南, 赫然, 王亮, 等. 生物特征识别学科发展报告[J]. 中国图象图形学报, 2021, 26(6): 1254-1329.

Sun

Zhenan

, He

Ran

, Wang

Liang

, et al. Overview of biometrics research[J]. Journal of Image and Graphics, 2021, 26(6): 1254-1329.

[2]

Krizhevsky

, Sutskever

, Hinton

G E

. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[3]

Simonyan

, Zisserman

. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2015: DOI: 10.48550/arXiv.1409.1556.

[4]

, Zhang

, Ren

, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 770-776.

[5]

Huang

, Liu

, Van

Der Maaten L

, et al. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Hawaii: IEEE, 2017: 2261-2267.

[6]

, He

, Sun

, et al. A light CNN for deep face representation with noisy labels[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2884-96.

[7]

李俊屿, 卜凡亮, 谭林, 等. 基于多模态共享网络的自监督语音-人脸跨模态关联学习方法[J]. 科学技术与工程, 2024, 24(7): 2804-2812.

Junyu

, Bu

Fanliang

, Tan

Lin

, et al. Self-supervised voice-face cross-modal association learning method via multi-modal shared network[J]. Science Technology and Engineering, 2024, 24(7): 2804-2812.

[8]

袁陆, 陶庆, 刘景轩, 等. 改进的双流多模态信息融合坐姿识别方法[J]. 科学技术与工程, 2024, 24(5): 1980-1988.

Yuan

, Tao

Qing

, Liu

Jingxuan

, et al. Improved dual-stream multi-modal information fusion method for sitting posture recognition[J]. Science Technology and Engineering, 2024, 24(5): 1980-1988.

[9]

金益锋, 赵晓蕊, 崔均健, 等. 基于特征分块的赤足足迹人身识别算法[J]. 科学技术与工程, 2024, 24(3): 1125-1130.

Jin

Yifeng

, Zhao

Xiaorui

, Cui

Junjian

, et al. Barefoot footprint person identification algorithm based on feature partitioning[ J]. Science Technology and Engineering, 2024, 24(3): 1125-1130.

[10]

Ammour

, Bouden

, Boubchir

. Face-iris multi-modal biometric system using multi-resolution Log-Gabor filter with spectral regression kernel discriminant analysis[J]. IET Biometrics, 2018, 7(5): 482-489.

[11]

Siddiqui

A M N

, Telgad

R L

, Lothe

S A

, et al. Development of secure multimodal biometric system for person identification using feature level fusion: fingerprint and iris[M]. Recent Trends in Image Processing and Pattern Recognition, 2019: 406-432.

[12]

Hariprasath

, Santhi

. Bimodal biometric pattern recognition system based on fusion of iris and palmprint using multi-resolution approach[J]. Signal, Image and Video Processing, 2019, 14(3): 519-527.

[13]

Regouid

, Touahria

, Benouis

, et al. Multimodal biometric system for ECG, ear and iris recognition based on local descriptors[J]. Multimedia Tools and Applications, 2019, 78(16): 22509-22535.

[14]

王阳. 基于特征层融合的双模态生物识别技术研究[D]. 天津: 天津科技大学, 2022.

Wang

Yang

. Research on dual-modal biometric identification technology based on feature layer fusion[D]. Tianjin: Tianjin University of Science and Technology, 2022.

[15]

李卓容, 唐云祁. 基于深度学习的多模态生物特征融合模型[J]. 计算机工程与应用, 2023, 59(7): 180-189.

Zhuorong

, Tang

Yunqi

. Multimodal biometric fusion model based on deep learning[J]. Computer Engineering and Applications, 2023, 59(7): 180-189.

[16]

张瑛杰, 彭亚雄. 基于人脸和声纹的多生物特征融合技术研究[J]. 电子科技, 2018, 31(5): 40-43.

Zhang

Yingjie

, Peng

Yaxiong

. Research on multimodal biometric fusion technology based on face and voiceprint[J]. Electronic Science and Technology, 2018, 31(5): 40-43.

[17]

Gunasekaran

, Raja

, Pitchai

. Deep multimodal biometric recognition using contourlet derivative weighted rank fusion with human face, fingerprint and iris images[J]. Automatika, 2019, 60(3): 253-265.

[18]

Conti

, Rundo

, Militello

, et al. A multimodal retina-iris biometric system using the Levenshtein distance for spatial feature comparison[J]. IET Biometrics, 2020, 10(1): 44-64.

[19]

陈俊, 赵子恺, 朱梁俊. 基于进化策略的多模态生物特征融合识别研究[J]. 智能计算机与应用, 2020, 10(5): 26-29.

Chen

Jun

, Zhao

Zikai

, Zhu

Liangjun

. Research on multimodal biometric feature fusion recognition based on evolutionary strategy[J]. Intelligent Computer and Applications, 2020, 10(5): 26-29.

[20]

李小敏, 陈英. 基于分数层融合的多生物特征融合识别[J]. 长江信息通信, 2021, 34(10): 7-11.

Xiaomin

, Chen

Ying

. Multi-biometric feature fusion recognition based on fractional layer fusion[J]. Changjiang Information & Communications, 2021, 34(10): 7-11.

[21]

李永刚. 基于深度模型的虹膜和眼周融合识别方法研究[D]. 西安: 西安工业大学, 2022.

Yonggang

. Research on iris and periocular fusion recognition method based on depth model[D]. Xi'an: Xi'an Technological University, 2022.

[22]

Lienhart

, Maydt

. An Extended Set of Haar-like Features for Rapid Object Detection[C]// Proceedings of the International Conference on Image Processing (ICIP). Rochester: IEEE, 2002: 1-9.

[23]

, Tan

, Sun

, et al. Toward accurate and fast iris segmentation for iris biometrics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(9): 1670-1684.

[24]

Daugman

. How iris recognition works[M]// The essential guide to image processing. Amsterdam: Elsevier: 2009: 715-739.

2025年第25卷第11期

PDF下载

370

163

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2404922

接收时间：2024-07-01
首发时间：2025-07-09
出版时间：2025-04-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-07-01
修回日期：2024-10-28

基金

国家自然科学基金(61906199)

国家自然科学基金(62106015)

作者信息

¹ 中国人民公安大学信息网络安全学院, 北京 100038

² 北京建筑大学智能科学与技术学院, 北京 102616

通讯作者:

* 张琪(1988—),女,汉族,河北迁安人,博士,副教授。研究方向:模式识别。E-mail:qi.zhang@ppsuc.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2404922

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模型	参数量/10³	时间/ms
FaceNet	140 694	—
WebFace	5 015	—
VGG	134 251	581
SeetaFace	50 021	245
CenterLoss	19 596	160
Light CNN-4	4 095	75
Light CNN-9	5 556	67
Light CNN-29	12 637	121

模型

参数量/10³

时间/ms

FaceNet

140 694

—

WebFace

5 015

—

VGG

134 251

581

SeetaFace

50 021

245

CenterLoss

19 596

160

Light CNN-4

4 095

Light CNN-9

5 556

Light CNN-29

12 637

121

文献	生物特征	发表年份	特征融合方法
文献[10]	人脸、虹膜	2018	直接串联
文献[11]	指纹、虹膜	2019	标准化后串联
文献[12]	虹膜、掌纹	2019	直接串联
文献[13]	心电图、虹膜、人耳	2019	直接串联
文献[14]	人脸、指静脉	2022	利用注意力机制串联
文献[15]	人脸、虹膜、指纹	2023	直接串联

文献

生物特征

发表年份

特征融合方法

文献[10]

人脸、虹膜

2018

直接串联

文献[11]

指纹、虹膜

2019

标准化后串联

文献[12]

虹膜、掌纹

2019

直接串联

文献[13]

心电图、虹
膜、人耳

2019

直接串联

文献[14]

人脸、指静脉

2022

利用注意力
机制串联

文献[15]

人脸、虹
膜、指纹

2023

直接串联

文献	生物特征	发表年份	分数融合方式
张瑛杰等^[16]	声纹、人脸	2018年	线性加权融合
Gunasekaran等^[17]	人脸、虹膜、指纹	2019年	加权等级融合
Conti等^[18]	视网膜、虹膜	2020年	线性加权融合
陈俊等^[19]	掌纹、虹膜	2020年	线性加权融合
李小敏等^[20]	掌纹、虹膜	2021年	线性加权融合
李永刚^[21]	眼周、虹膜	2022年	自适应线性加权

文献

生物特征

发表年份

分数融合方式

张瑛杰等^[16]

声纹、人脸

2018年

线性加权融合

Gunasekaran等^[17]

人脸、虹膜、指纹

2019年

加权等级融合

Conti等^[18]

视网膜、虹膜

2020年

线性加权融合

陈俊等^[19]

掌纹、虹膜

2020年

线性加权融合

李小敏等^[20]

掌纹、虹膜

2021年

线性加权融合

李永刚^[21]

眼周、虹膜

2022年

自适应线性加权

混淆矩阵	预测类别
实际类别	Positive	TP	FP
Negative	FN	TN

混淆矩阵

预测类别

Positive

Negative

实际类别

Positive

Negative

模态	Macro-F₁/%	Micro-F₁/%
左虹膜	99.18	99.20
右虹膜	97.97	98.00
人脸	93.85	94.00

模态

Macro-F₁/%

Micro-F₁/%

左虹膜

99.18

99.20

右虹膜

97.97

98.00

人脸

93.85

94.00

是否归一化	评价指标
未归一化	95.08	95.20
归一化	99.79	99.80

是否归一化

评价指标

Macro-F₁/%

Micro-F₁/%

未归一化

95.08

95.20

归一化

99.79

99.80

左右虹膜融合策略	Macro-F₁/%	Micro-F₁/%
最大值	99.17	99.20
最小值	99.37	99.40
平均值	99.39	99.40

左右虹膜融合策略

Macro-F₁/%

Micro-F₁/%

最大值

99.17

99.20

最小值

99.37

99.40

平均值

99.39

99.40

左右虹膜融合策略	虹膜与人脸融合策略
最大值	95.6	99.6	96.2
最小值	95.2	99.4	99.8
平均值	95.4	99.4	99.8

左右虹膜
融合策略

虹膜与人脸融合策略

最大值/%

最小值/%

平均值/%

最大值

95.6

99.6

96.2

最小值

95.2

99.4

99.8

平均值

95.4

99.4

99.8