农业机械学报

数据集	数据增强前	数据增强后
训练集	12 240	48 960
验证集	1 360	5 440
测试集	2 482	9 928

数据集	数据增强前	数据增强后
训练集	12 240	48 960
验证集	1 360	5 440
测试集	2 482	9 928

组件	规格
CPU	Intel i9-14900k
GPU	NVIDIA GeForce RTX4090显卡
操作系统	Windows11
CUDA版本	11.0
Cudnn版本	8.1.0加速
PyTorch版本	1.11.0
Python环境	3.6

组件	规格
CPU	Intel i9-14900k
GPU	NVIDIA GeForce RTX4090显卡
操作系统	Windows11
CUDA版本	11.0
Cudnn版本	8.1.0加速
PyTorch版本	1.11.0
Python环境	3.6

图像预处理MSRCR	主干网络	融合方法直接相加聚合	注意力机制	准确率/%	帧率/（f·s^-1）
×	√	×	√	×	×	85.31	26.24
√	√	×	√	×	×	86.60	27.96
√	×	√	√	×	×	86.32	29.63
√	×	√	×	√	×	90.47	29.83
√	×	√	×	√	√	93.86	30.02

图像预处理MSRCR	主干网络	融合方法直接相加聚合	注意力机制	准确率/%	帧率/（f·s^-1）
×	√	×	√	×	×	85.31	26.24
√	√	×	√	×	×	86.60	27.96
√	×	√	√	×	×	86.32	29.63
√	×	√	×	√	×	90.47	29.83
√	×	√	×	√	√	93.86	30.02

算法	准确率/%	帧率/（f·s^-1）
FMF	93.86	2.50×10⁹
FaceNet^[23]	91.65	2.85×10⁹
SK_ResNet^[24]	91.05	1.65×10⁹
ECCSA-MFC^[25]	88.03	4.47×10⁸

算法	准确率/%	帧率/（f·s^-1）
FMF	93.86	2.50×10⁹
FaceNet^[23]	91.65	2.85×10⁹
SK_ResNet^[24]	91.05	1.65×10⁹
ECCSA-MFC^[25]	88.03	4.47×10⁸

注意力机制	准确率/%	验证率/%	模型内存占用量/MB	帧率/（f·s^-1）
FMF+M_CBAM	93.86	84.88	101.73	30.02
FMF+SE	91.55	86.63	101.66	22.57
FMF+CBAM	93.37	82.02	101.79	22.44
FMF+ECA	92.53	84.97	101.53	22.67
FMF+CA	92.17	83.13	101.73	25.30

注意力机制	准确率/%	验证率/%	模型内存占用量/MB	帧率/（f·s^-1）
FMF+M_CBAM	93.86	84.88	101.73	30.02
FMF+SE	91.55	86.63	101.66	22.57
FMF+CBAM	93.37	82.02	101.79	22.44
FMF+ECA	92.53	84.97	101.53	22.67
FMF+CA	92.17	83.13	101.73	25.30

基于多尺度融合网络的轻量化牛脸识别算法

PDF下载

齐咏生 ¹^,² , 全家乐 ¹ , 栾浩天 ¹ , 刘利强 ¹^,² , 刘慧文 ¹^,²

农业机械学报 | 农业信息化工程 2025,56(12): 615-622

收起

农业机械学报 |农业信息化工程 2025 , 56 (12) : 615 -622

基于多尺度融合网络的轻量化牛脸识别算法

全屏

齐咏生¹^,², 全家乐¹, 栾浩天¹, 刘利强¹^,², 刘慧文¹^,²

作者信息

^1.内蒙古工业大学电力学院，呼和浩特　010080

^2.大规模储能技术教育部工程研究中心，呼和浩特　010080

作者简介:

齐咏生（1975—），男，教授，博士，主要从事机器人协同控制技术研究，E-mail：qys@imut.edu.cn

Lightweight Cattle Face Recognition Algorithm Based on Multi-scale Fusion Network

Yongsheng QI¹^,², Jiale QUAN¹, Haotian LUAN¹, Liqiang LIU¹^,², Huiwen LIU¹^,²

Affiliations

^1.School of Electric Power, Inner Mongolia University of Technology, Hohhot 010080, China

^2.Center for Intelligent Energy Technology and Equipment Engineering, Hohhot 010080, China

出版时间: 2025-12-25 doi: 10.6041/j.issn.1000-1298.2025.12.056

文章导航

摘要

收起

在牛场智能化养殖中，牛只面部识别技术的运用至关重要。然而，由于牛场养殖环境复杂多变以及牛脸形态的非平面特性，使得面部识别技术在实际应用中常面临识别精度不足、鲁棒性较差等问题。针对上述问题，提出一种基于FaceNet的多尺度融合网络（FaceNet based on multi-scale fusion，FMF），通过牛只面部特征识别牛只身份。采用MSRCR方法对输入牛脸图像进行色彩恢复预处理，降低光照对FMF算法的影响；在主干特征提取网络中引入更加轻量化的MobileNetV3，在保证较高特征提取能力的前提下减小模型参数量和计算量；提出一种对于特征多尺度融合的注意力机制M_CBAM（Composite dual-branch adaptive attention），M_CBAM可依据特征图重要特征调整加权系数，自适应加权串行CBAM与并行CBAM的权重，然后进行牛脸局部细微特征和全局特征的多尺度特征融合，提升牛脸识别精度。为探索本文算法的有效性和实时性，在自制牛脸数据集上进行消融实验，并将所得结果与当前主流的识别算法进行对比，最后将其部署至Jetson AGX Xavier嵌入式平台上进行算法应用测试。结果表明，本文算法在其他奶牛场采集的开集测试集上准确率达到93.86%，帧率达到30.02 f/s，在模型推理速度较快的条件下，识别精度明显优于原网络与对比网络。

关键词

牛脸识别 / FaceNet / 特征提取 / 注意力机制

Abstract

收起

In intelligent cattle farming, the application of facial recognition technology for cattle is crucial. However, due to the complex and variable farming environment and the non-planar characteristics of cattle faces, facial recognition technology often faces challenges such as insufficient recognition accuracy and poor robustness in practical applications. To address these issues, a FaceNet based on multi-scale fusion network (FMF) was proposed, which identified cattle through facial features. Firstly, the MSRCR method was used for color restoration preprocessing of the input cattle face images to reduce the impact of lighting on the FMF algorithm. Subsequently, a more lightweight MobileNetV3 was introduced into the main feature extraction network to reduce the model parameters and computation while ensuring high feature extraction capability. Finally, a composite dual-branch adaptive attention mechanism (M_CBAM) was proposed for multi-scale feature fusion. M_CBAM adjusted the weighting coefficients based on important features of the feature maps, adaptively weighting serial CBAM and parallel CBAM weights, then performed multi-scale feature fusion of local fine features and global features of cattle faces, improving facial recognition accuracy. To explore the effectiveness and real-time performance of the proposed algorithm, ablation experiments were conducted on a self-made cattle face dataset, and the results were compared with current mainstream recognition algorithms. Finally, the algorithm was deployed on the Jetson AGX Xavier embedded platform for application testing. The test results showed that the proposed algorithm achieved an accuracy of 93.86% and an FPS of 30.02 f/s on an open test set collected from other dairy farms. Under the condition of fast model inference speed, the recognition accuracy was significantly better than that of the original network and comparison networks.

Key words

cow face recognition / FaceNet / feature extraction / attention mechanism

引用本文

齐咏生, 全家乐, 栾浩天, 刘利强, 刘慧文. 基于多尺度融合网络的轻量化牛脸识别算法. 农业机械学报, 2025 , 56 (12) : 615 -622 . DOI: 10.6041/j.issn.1000-1298.2025.12.056

Yongsheng QI, Jiale QUAN, Haotian LUAN, Liqiang LIU, Huiwen LIU. Lightweight Cattle Face Recognition Algorithm Based on Multi-scale Fusion Network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2025 , 56 (12) : 615 -622 . DOI: 10.6041/j.issn.1000-1298.2025.12.056

正文

收起

0　引言

收起

近年来，基于深度学习的面部识别技术已成为计算机视觉领域内的研究热点，被广泛应用于智慧安防^[1-2]、AI养殖^[3-4]、自助服务^[5-6]等领域。目前，随着面部识别算法在人脸识别方面已较为成熟，基于深度学习的牲畜个体识别技术也随之发展到一个新阶段^[7]，涌现出各种个体识别算法^[8-9]。

KUMAR等^[10-12]将稀疏堆叠去噪自动编码器与群稀疏表示技术相结合，构建了自动识别系统，在自建数据集上识别准确率达到96.85%。为进一步提升特征提取能力，WENG等^[13]设计了双分支卷积神经网络，通过融合不同角度的牛脸特征，在多个牛种数据集上均实现了99.7%以上的识别率。ZHANG等^[14]提出基于孪生组块胶囊网络的SGCCN方法，在测试集上识别准确率达到88.73%，在减少参数量的同时增强了模型表达能力。邢永鑫等^[15]对SSD算法进行改进，以MobileNetV2替换VGG16作为主干网络，有效拓宽了浅层特征感受野，识别精度提升至94.91%。刘世峰等^[16]引入RGB-D信息融合并实施背景分离，使识别精度提升2.3个百分点。司永胜等^[17]融合深度特征与传统特征，使站立与躺卧姿态下奶牛识别准确率分别达到98.66%与94.06%，显著优于单一特征方法。针对遮挡条件下的识别难题，LI等^[18]在MobileNet中嵌入新型注意力机制，在遮挡率低于50%时仍保持80%以上的识别精度。姚冲等^[19]则基于ResNet框架结合神经网络架构搜索，提出NAS-Res自适应优化算法，在局部遮挡奶牛数据集上实现90.18%的闭集识别准确率，仅需6.18 h即可完成架构搜索，有效解决了人工调参成本高、模型泛化能力不足的问题。综上所述，基于深度学习的牛脸识别算法设计仍是目前研究热点问题，仍存在难题有待进一步解决：①由于牧场养殖大都在室外，导致牛脸受到光照影响较大。②考虑到牛脸具有非平面性，而现有牛脸识别算法大都采用直接相加聚合方式，无法较好突出每一头牛的特点，导致现有识别算法对于牛脸识别精度较低。③现有牛脸识别算法结构仍较为复杂，当数据集较大时相应的运算复杂度高，难以移植于嵌入式平台。

针对上述问题，本文提出一种基于FaceNet的多尺度融合网络。引入一种改进带颜色恢复的多尺度Retinex（MSRCR）方法对输入牛脸进行色彩恢复预处理；将主干特征提取网络由Inception-ResNetV1替换为更加轻量化的MobileNetV3；设计一种结合新型注意力机制M_CBAM的多尺度融合结构，M_CBAM可依据特征图重要特征调整加权系数，自适应加权串行CBAM与并行CBAM的权重，然后进行多尺度特征融合，输出牛脸特征。并将本文算法移植到Jetson AGX Xavier上进行测试，以验证算法在牛场实际嵌入式环境中部署的可行性。

1　基于自适应加权聚合网络的牛脸识别算法

收起

1.1　FaceNet算法

FaceNet是一种图像匹配方法，通过提取牛脸特征信息，并运用端对端的学习方式将这些特征向量直接映射到欧氏空间中，即学习到一个从牛脸图像到欧氏空间图像的编码识别方法，再基于这个图像编码来做牛脸特征比对，若2幅牛脸图像对应的特征向量之间的欧氏距离较小且低于预设阈值，则判定二者属于同一头牛。此外，该算法没有限制需要目标面部对齐，只需对图像进行少量预处理，即可作为模型输入。

1.2　总体框架

本文提出的高精度牛脸识别算法FMF框架示意图如图1所示，主要分为3个模块：牛脸图像预处理模块、牛脸特征提取及融合模块、损失函数模块。首先，采用FMF算法对牛脸数据集进行图像预处理；之后，采用MobileNetV3主干特征网络进行特征提取，采用结合新型注意力机制的多尺度融合结构进行特征融合；最后，依据三元组损失使算法模型收敛。

1.3　图像预处理模块

由于牛群所处环境通常在室外，受到逆光影响导致牛脸图像存在细节模糊、对比度低、色偏等问题，使用传统图像增强算法已满足不了目前对于牛只身份高精度识别的需求。因此本文采用MSRCR算法，降低光照影响，提高牛脸图像对比度，计算步骤为：

（1）将牛脸图像分解成实际图像和光线照射图像，其中光线照射图像通过对牛脸图像进行多尺度高斯滤波得到，计算式为

(1)

(2)

(3)

(4)

式中

i——红、绿、蓝三通道

R_i（x，y）——实际的牛脸图像

S_i（x，y）——光线照射图像

F_i（x，y）——环境光照下的牛脸图像

·——点乘运算

*——卷积运算

———高斯滤波函数

σ——高斯尺度参数

φ——归一化因子

M——尺度维数

（2）在步骤（1）基础上对ln（R_i（x，y））进行归一化处理，将灰度值映射到0~255范围内，并通过增强灰度级别来校正图像的色彩平衡，公式为

(5)

(6)

(7)

(8)

式中

W、H——牛脸图像宽、高

ln（R_i（x，y））_BN——归一化值

ε——红、绿、蓝三通道归一化后平均值

——校正后牛脸像素

ω^m——每个尺度系数对应权重

R_MSR_，_i（x，y）——不同尺度下校正牛脸像素累加平均

（3）通过R_MSR_，_i（x，y）对R_MSRCR_，_i（x，y）进行线性增益调整与色彩均衡优化，计算式为

(9)

(10)

令

(11)

(12)

式中

B_i（x，y）——色彩平衡函数

α——非线性变换的调节因子

β——线性增益常数

1.4　特征提取及融合模块

为提高牛脸识别精度，设计一种新型的特征提取及特征融合结构，该结构由特征提取模块以及多尺度特征融合模块组成。首先采用MobileNetV3主干特征提取网络对牛脸进行特征提取；之后将提取到的浅层细微特征与深层全局语义特征进行多尺度特征融合，有效提高细微特征的表达能力，提高网络在复杂场景下的牛脸识别精度。

1.4.1　特征提取模块

原始FaceNet网络使用的主干特征提取网络为Inception-ResNetV1，本文将其替换为更加轻量级的MobileNetV3，该模型汲取MobileNetV1和MobileNetV2的优势，进一步提高了模型精度。MobileNetV3包括Large和Small 2个版本，二者在整体架构上保持一致，但在基础单元的数量及内部参数设置上有所差异^[20]。为使模型能够在空间受限的嵌入式设备上部署，本文选择MobileNetV3-Small，其结构如图2所示。

由图2可知，该结构第1阶段为一个3×3的标准卷积层，该卷积层主要作用是从输入图像中提取关键特征，并通过对图像的空间维度进行下采样，从而生成一组新的特征图；第2阶段由11个基础单元构成，这些基础单元利用多个1×1的标准卷积来增加特征的通道数，同时，通过采用深度可分离卷积的方式，降低模型在特征提取过程中的计算复杂度和参数量，之后经过平均池化层和全连接层，输出更为高级和抽象的全局特征表示；第3阶段通过组合1×1的普通卷积和平均池化操作，旨在缩减图像高度、宽度以及增加通道数，最终，经由Softmax分类器，输出各分类的概率值。

1.4.2　多尺度特征融合模块

考虑到深度神经网络中网络层数的加深会导致牛脸图像中局部细微特征在多次卷积运算后变得越来越模糊甚至丢失；而浅层网络拥有较小的感受野，可增强局部细微特征的表达能力。因此，本文设计一种以注意力机制为基础的多尺度特征融合模块，以达到高效识别牛脸的目的，多尺度特征融合模块结构图如图1所示。

已知浅层局部细微特征的维度为

，深层全局特征的维度为

，将2种特征分别依次按照H和W的方向展开为

(13)

(14)

式中

C——图像通道数

将展开后的特征直接在通道上拼接，得到新特征

。

1.4.3　新型注意力机制模块

由于CBAM^[21]采用串行结构，将通道注意力加权后的特征传递给空间注意力，无法充分考虑通道和空间注意力之间的交互，导致模型对于复杂特征的表达能力减弱；另一方面，考虑到当采用并行结构将通道注意力和空间注意力融合后的特征传递给输出层时，可以同时捕获特征图的空间和通道信息并提高模型的表达能力。为此，本文提出一种新型注意力机制M_CBAM，通过设计自适应特征加权聚合结构，将串行结构与并行结构融合，有效加强相应结构的权重，使模型更好地抓住输入数据的重要信息，减少冗余信息干扰，提高模型的鲁棒性。图3为M_CBAM结构示意图，图中F表示输入特征，F₁、F₂表示F经过串行结构和并行结构得到的中间特征，ω₁、ω₂表示重要度，W表示加权聚合模值。

为有选择性地区分串行结构和并行结构在不同牛脸特征下的权重，本文设计了自适应特征加权聚合结构。结合不同牛脸的复杂性，强化相应串行结构和并行结构权重，使网络针对不同牛脸特征实现动态调整，以此来增加模型表达能力，解决传统CBAM针对不同牛脸适应性差的问题。

考虑到在粗糙集理论中，知识表示为对论域的一种划分能力，而知识自身具有粒度，通过将特征映射到一个知识库中，可以用知识粒度的粗细来表示不同局部特征对牛脸识别的重要程度，从粒度原理^[22]可知，知识粒度越粗，知识划分能力越弱，代表该部分局部特征的重要度越低，进而分配的权重越小，反之亦然。将该理论运用到网络中，可以使网络有选择性地强调牛脸特征，进而提升识别精度。

设牛脸知识库为K=（V，X），每一部分牛脸中间特征的知识粒度为

(15)

式中

x_i——由中间特征转化得到的I维特征向量X（x₁，x₂，…，x_I）的元素

V——牛脸集合论域

通过式（15）将中间特征F₁和F₂映射到知识库中。

定义知识划分能力为

(16)

Sigmoid函数对该能力进行归一化得到重要度为

(17)

自适应加权聚合公式定义为

(18)

2　实验与结果分析

收起

2.1　数据集制作

本数据集于2023年3月在内蒙古自治区呼和浩特市欧太牧场采集，在自然条件下，随机选取1 360头成年牛只进行视频拍摄，每头牛只视频时长为6~8 s，分辨率为1 920像素×1 080像素。利用Open CV对采集的视频流进行分帧处理，将同一头牛只的图像整理到一个文件夹下，并手动剔除相似图像。研究对象是自然光照下牛脸图像，数据集制作分为3个部分：数据采集、数据筛选和数据增强。

2.1.1　数据采集

共录制1 360头牛脸视频，牛脸采集过程如图4所示。

2.1.2　数据筛选

对于模糊不清或牛脸信息不完整图像，选择人工剔除；对于因视频分帧造成的冗余图像，采用欧氏距离度量牛脸图像之间相似度，找到相似度过高的图像并剔除。ED考虑2幅相似图像转化为向量A、B之后的维度，其表达式为

(19)

式中

a₁、a₂、…、a_n——向量A维度取值

b₁、b₂、…、b_n——向量B维度取值

数据筛选后在1 360头牛只中，每头牛脸图像各10幅，总计为13 600幅。

2.1.3　数据增强

为提升模型鲁棒性和样本多样性，本文对数据集通过5°、10°旋转、镜像反转、增加椒盐噪声等方法对数据集进行扩充。在扩充之后共得到54 400幅牛脸图像，并按比例9∶1划分为训练集、验证集，为了验证本文所提算法泛化能力，本文增加了其他牛场牛只图像数据作为测试集，测试集中包含100头荷斯坦奶牛2 482幅牛只面部图像，同样对测试集进行扩充，最终得到9 928幅测试集图像，应用本文算法在测试集上测试算法准确性。数据集如表1所示。

2.2　训练过程

使用准确率、验证率、浮点运算量、帧率、模型内存占用量作为模型性能评价指标。选择台式计算机作为模型训练平台，组件及其相应规格如表2所示。

为了验证本文提出的FMF算法，基于自制的牛脸数据集进行实验。为公平比较，使用权重衰减为0.005的SGD训练100个轮次的所有模型。学习率设置为0.001，批大小设置为36。最后，将训练好的模型移植到嵌入式主板Jetson AGX Xavier进行测试。模型在自制牛脸数据集的性能如图5所示。

在模型训练过程中，本文使用欧氏距离作为度量方式。随着训练次数增加，准确率在前20个轮次呈迅速上升趋势，然后逐渐趋于稳定。在模型前15个轮次中，模型准确率已基本达到95%，可见本文模型训练速度较快。

2.3　消融实验

通过消融实验验证各模块有效性。通过去除MSRCR色彩恢复预处理、多尺度特征融合、M_CBAM比较算法准确率与帧率，表3为FMF在自建验证集上的结果。

（1）色彩恢复预处理验证结果

相较于传统FaceNet算法，增加对牛脸数据集的色彩恢复预处理，可降低光照对牛脸识别的影响，因此识别精度高于原对比网络，同时算法帧率增加1.72 f/s。

（2）主干网络验证结果

MobileNetV3相较Inception-ResNetV1具有模型参数量及浮点运算量少的优点，因此使用MobileNetV3主干特征提取网络使得算法帧率增加1.72 f/s。

（3）融合方法验证结果

由于直接相加融合方法为直接将牛脸特征等比例融合，未突出牛脸局部细微特征；而当使用多尺度融合方法时，通过将牛脸浅层局部细微特征与深层全局特征融合，使得模型能够拥有良好的细节特征表达能力，因此识别精度相较前者提高4.15个百分点。

（4）注意力机制验证结果

针对不同牛脸特征动态调整信息重要度，增加M_CBAM注意力机制，提高了主干网络对于重要特征的提取能力，使得模型在算法识别精度提高3.31个百分点，算法帧率增加0.19 f/s。图6为采用传统FaceNet、色彩恢复预处理、MobileNetV3主干网络、多尺度特征融合以及注意力机制的方法，对比不同身份和相同身份的牛只向量之间的欧氏距离。

由图6可以看出，在网络增加色彩恢复预处理后，对于不同身份特征向量之间欧氏距离更远，相同身份则更近，证明其区分能力更强。网络增加多尺度特征融合后，相同牛脸特征向量的欧氏距离大幅缩小，不同牛脸特征向量的欧氏距离大幅增大。在加入M_CBAM注意力机制后，4组相同牛脸图像特征向量欧氏距离均达到最小，不同牛脸图像特征向量欧氏距离均达到最大。综上，消融实验结果与牛脸特征向量的欧氏距离对比可证明本文算法改进的有效性。

2.4　算法对比实验

针对算法精度和算法时间复杂度，将本文算法分别与其他先进算法做对比，包括文献[23] FaceNet、文献[24] SK_ResNet和文献[25] ECCSA-MFC进行比较，进而验证所提算法的有效性。其中，FaceNet是将牛脸嵌入为一个高维度的向量，使得相似牛脸在向量空间中距离较近，而不相似牛脸距离较远，主干网络采用Inception-ResNetV1，损失函数使用triplet loss；SK_ResNet为ResNet-50的改进算法，使用不同数量的SK_Bottleneck来融合多个感知信息，并在多个尺度上提取牛只面部特征；ECCSA-MFC算法在MobileFaceNet的主干网络引入融合空间信息的高效通道注意力机制，增加特征提取范围，并使用余弦退火进行动态学习率调优。

为更好地说明本文算法针对牛脸特征可以根据重要区域自适应选择性表达，对部分牛脸进行热力图可视化展示。如图7所示，相较于其他3种算法，本文算法的热力图深色集中在牛只面部区域，验证了牛脸识别算法模型泛化能力强，准确性较高。

上述算法的训练环境、训练世代均相同，最终得到每个算法的识别精度和时间复杂度（表4）。由表4可知，本文算法加入了结合新型注意力机制的多尺度融合，因此识别精度远高于其他面部识别算法，由于本文算法在改进过程中提出了M_CBAM注意力机制，导致浮点运算量略高。ECCSA-MFC算法时间复杂度相对较小，但无法适应光照变化干扰，导致识别准确率偏低，无法应用于实际环境。SK_ResNet由于使用多个SK_Bottleneck来融合多个感知信息，算法复杂度低于本文算法，但识别准确率稍低于本文算法。相较于模型较为复杂的FaceNet，本文算法在保证网络轻量化的同时，识别精度比FaceNet网络高2.21个百分点。综上所述，从对比结果来看，本文算法在识别精度上和算法复杂度上均具有极大优势，可更好地应用于实际复杂场景。

2.5　不同注意力机制对比实验

插入不同注意力机制的网络在牛脸验证集上的结果如表5所示。与具有其他经典注意机制的网络相比，具有M_CBAM块的网络具有最高的精度，并且可以忽略内存和计算开销。此外，这再次证实了M_CBAM注意力机制可以比其他注意力机制更好地帮助网络提取特征。

2.6　算法移植测试

为了保证算法在提升检测与识别精度的同时满足移植要求，将本文算法训练好的模型移植到嵌入式平台Jetson AGX Xavier上进行测试，识别效果如图8所示。将牛只面部图像输入到FMF网络进行牛只身份识别。图中右下角数字为FMF网络识别出的牛只身份编号，通过与牛只耳边编号对比显示，通过牛脸进行牛只身份识别均正确，验证了FMF算法在Jetson AGX Xavier上的可行性。

3　结论

收起

（1）提出了一种高精度、轻量化的牛只面部识别模型，旨在解决牛脸识别任务中可能遇到的光线变化、牛脸特征复杂、牛脸局部细微特征丢失等问题。为降低室外逆光对牛只的影响，在进行特征提取之前对牛脸图像进行MSRCR色彩恢复预处理。处理后牛脸图像相较于处理前，其识别精度提高1.29个百分点。

（2）将FaceNet的主干特征提取网络由Inception-ResNetV1替换为更加轻量化的MobileNetV3。并利用多尺度融合方法，将由主干网络提取到的浅层局部细微特征与深层全局特征进行特征交互。

（3）提出一种M_CBAM注意力机制，将串行结构与并行结构融合，有效加强相应结构的权重，减少冗余信息的干扰，提高模型的鲁棒性。实验结果表明，FMF网络在参数量显著降低的前提下，准确率达到93.86%。实验证明了该网络可应用于实际复杂场景，为非接触式开集牛脸识别提供了参考。

基金

收起

国家自然科学基金项目(62363029)
内蒙古自治区科技计划项目(2020GG0283; 2021GG0256)
内蒙古自治区自然科学基金项目(2022MS06018)
呼和浩特市高校院所协同创新项目(XTCX2023-16)
自治区直属高校基本科研业务费项目(ZTY2024024)
呼和浩特市科技创新领域人才项目(2023RC-联合体-10)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

NAVARRO

P J

, MILLER

, ROSIQUE

, et al. End-to-end deep neural network architectures for speed and steering wheel angle prediction in autonomous driving[J]. Electronics, 2021, 10(11): 1266.

[2]

于景鑫, 杜森, 吴勇, 等. 基于云原生技术的土壤墒情监测系统设计与应用[J]. 农业工程学报, 2020, 36(13): 165-172.

Jingxin

, DU

Sen

, WU

Yong

, et al. Design and application of soil moisture content monitoring system based on cloud-native technology[J]. Transactions of the CSAE, 2020, 36(13): 165-172. (in Chinese)

[3]

许兴时, 王云飞, 华志新, 等. 融合YOLOv5s与通道剪枝算法的奶牛轻量化个体识别方法[J]. 农业工程学报, 2023, 39(15): 152-162.

Xingshi

, WANG

Yunfei

, HUA

Zhixin

, et al. Light-weight recognition network for dairy cows based on the fusion of YOLOv5s and channel pruning algorithm[J]. Transactions of the CSAE, 2023, 39(15): 153-163. (in Chinese)

[4]

齐咏生, 焦杰, 鲍腾飞, 等. 基于自适应注意力机制的复杂场景下牛脸检测算法[J]. 农业工程学报, 2023, 39(14): 173-183.

Yongsheng

, JIAO

Jie

, BAO

Tengfei

, et al. Cattle face detection algorithm in complex scenes using adaptive attention mechanism[J]. Transactions of the CSAE, 2023, 39(14): 173-183. (in Chinese)

[5]

滕光辉, 冀横溢, 庄晏榕, 等. 深度学习在猪只饲养过程的应用研究进展[J]. 农业工程学报, 2022, 38(14): 235-249.

TENG

Guanghui

, JI

Hengyi

, ZHUANG

Yanrong

, et al. Research progress of deep learning in the process of pig feeding[J]. Transactions of the CSAE, 2022, 38(14): 235-249. (in Chinese)

[6]

GAO

, XU

, CHEN

, et al. R1-2-DPCA and face recognition[J]. IEEE Transactions on Cybernetics, 2019, 49(4): 1212-1221.

[7]

ZHANG

Rui

, ZHENG

Yan

. A survey on biometric authentication: toward secure and privacy-preserving identification[J]. IEEE Access, 2019, 7: 5994-6009.

[8]

KIM

H T

, IKEDA

, CHOI

H L

. The identification of Japanese black cattle by their faces[J]. Asian-Australasian Journal of Animal Sciences, 2005, 18(6): 868-872.

[9]

ABDELWAHAB

M M

, YOUSRY

, MIKHAEL

. A novel algorithm for simultaneous face detection and recognition[J]. Midwest Symposium on Circuits & Systems, 2012, 59(5): 670-673.

[10]

KUMAR

, TIWARI

, SINGH

S K

. Face recognition for cattle[C]//2015 Third International Conference on Image Information Processing (ICIIP). IEEE, 2015: 65-72.

[11]

KUMAR

, TIWARI

, SINGH

S K

. Face recognition of cattle: can it be done?[J]. Proceedings of the National Academy of Sciences, India Section A: Physical Sciences, 2016, 86: 137-148.

[12]

KUMAR

, KUMAR

, SHAFI

, et al. A novel multimodal framework for automatic recognition of individual cattle based on hybrid features using sparse stacked denoising autoencoder and group sparse representation techniques[J]. Multimedia Tools and Applications, 2022, 81(21): 31075.

[13]

WENG

, MENG

, LIU

, et al. Cattle face recognition based on a two-branch convolutional neural network[J]. Computers and Electronics in Agriculture, 2022, 196: 106871.

[14]

ZHANG

, GAO

, XU

, et al. Siamese GC capsule networks for small sample cow face recognition[J]. IEEE Access, 2023, 11: 125918.

[15]

邢永鑫, 孙游东, 王天一. 基于改进SSD算法对奶牛的个体识别[J]. 计算机工程与应用, 2022, 58(2): 208-214.

XING

Yongxin

, SUN

Youdong

, WANG

Tianyi

. Individual identification of cows based on improved SSD algorithm[J]. Computer Engineering and Application, 2022, 58(2): 208-214. (in Chinese)

[16]

刘世锋, 常蕊, 李斌, 等. 基于脸部RGB-D图像的牛只个体识别方法[J]. 农业机械学报, 2023, 54(增刊1): 260-266.

LIU

Shifeng

, CHANG

Rui

, LI

Bin

, et al. Individual identification of cattle based on RGB-D images[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(Supp. 1): 260-266. (in Chinese)

[17]

司永胜, 王朝阳, 张艳, 等. 基于深度与传统特征融合的非限制条件下奶牛个体识别[J]. 农业机械学报, 2023, 54(6): 272-279.

Yongsheng

, WANG

Zhaoyang

, ZHANG

Yan

, et al. Individual identification of dairy cows under unrestricted conditions based on fusion of deep and traditional features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(6): 272-279. (in Chinese)

[18]

, LEI

. Cattle face recognition under partial occlusion[J]. Journal of Intelligent & Fuzzy Systems, 2022, 43(1): 67-73.

[19]

姚冲, 李前, 刘刚, 等. 基于NAS-Res的局部遮挡荷斯坦奶牛个体识别[J]. 农业机械学报, 2023, 54(增刊1): 252-259.

YAO

Chong

, LI

Qian

, LIU

Gang

, et al. Individual identification of partially occluded holstein cows based on NAS-Res[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(Supp. 1): 252-259. (in Chinese)

[20]

袁培森, 欧阳柳江, 翟肇裕, 等. 基于MobileNetV3Small-ECA的水稻病害轻量级识别研究[J]. 农业机械学报, 2024, 55(1): 253-262.

YUAN

Peisen

, OUYANG

Liujiang

, ZHAI

Zhaoyu

, et al. Lightweight identification of rice diseases based on improved ECA and MobileNetV3Small[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(1): 253-262. (in Chinese)

[21]

CHEN

, ZHANG

, CHEN

, et al. Research on recognition of fly species based on improved RetinaNet and CBAM[J]. IEEE Access, 2020, 8: 102911-102912.

[22]

耿志强, 朱群雄, 李芳. 知识粗糙性的粒度原理及其约简[J]. 系统工程与电子技术, 2004(8): 1112-1116.

GENG

Zhiqiang

, ZHU

Qunxiong

, LI

Fang

. Granularity principle and reduction of roughness of knowledge[J]. System Engineering and Electronic Technology, 2004(8): 1112-1116. (in Chinese)

[23]

SCHROFF

, KALENICHENKO

, PHILLBIN

. FaceNet: a unified embedding for face recognition and clustering[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 815-820.

[24]

GONG

, PAN

, CHEN

, et al. Facial recognition of cattle based on SK-ResNet[J]. Scientific Programming, 2022, 2022(1): 5773721.

[25]

张宏鸣, 周利香, 李永恒, 等. 基于改进MobileFaceNet的羊脸识别方法[J]. 农业机械学报, 2022, 53(5): 267-274.

ZHANG

Hongming

, ZHOU

Lixiang

, LI

Yongheng

, et al. Sheep face recognition method based on improved MobileFaceNet[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(5): 267-274. (in Chinese)

2025年第56卷第12期

PDF下载

152

引用本文

BibTeX

文章信息

doi: 10.6041/j.issn.1000-1298.2025.12.056

接收时间：2024-07-09
首发时间：2026-09-30
出版时间：2025-12-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-07-09
修回日期：2024-08-15

基金

国家自然科学基金项目(62363029)

内蒙古自治区科技计划项目(2020GG0283; 2021GG0256)

内蒙古自治区自然科学基金项目(2022MS06018)

呼和浩特市高校院所协同创新项目(XTCX2023-16)

自治区直属高校基本科研业务费项目(ZTY2024024)

呼和浩特市科技创新领域人才项目(2023RC-联合体-10)

作者信息

^1.内蒙古工业大学电力学院，呼和浩特　010080

^2.大规模储能技术教育部工程研究中心，呼和浩特　010080

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/nyjxxb/CN/10.6041/j.issn.1000-1298.2025.12.056

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

数据集	数据增强前	数据增强后
训练集	12 240	48 960
验证集	1 360	5 440
测试集	2 482	9 928

数据集

数据增强前

数据增强后

训练集

12 240

48 960

验证集

1 360

5 440

测试集

2 482

9 928

组件	规格
CPU	Intel i9-14900k
GPU	NVIDIA GeForce RTX4090显卡
操作系统	Windows11
CUDA版本	11.0
Cudnn版本	8.1.0加速
PyTorch版本	1.11.0
Python环境	3.6

组件

规格

CPU

Intel i9-14900k

GPU

NVIDIA GeForce RTX4090显卡

操作系统

Windows11

CUDA版本

11.0

Cudnn版本

8.1.0加速

PyTorch版本

1.11.0

Python环境

3.6

图像预处理MSRCR	主干网络	融合方法直接相加聚合	注意力机制	准确率/%	帧率/（f·s^-1）
×	√	×	√	×	×	85.31	26.24
√	√	×	√	×	×	86.60	27.96
√	×	√	√	×	×	86.32	29.63
√	×	√	×	√	×	90.47	29.83
√	×	√	×	√	√	93.86	30.02

图像预处理MSRCR

主干网络

融合方法直接相加聚合

注意力机制

准确率/%

帧率/（f·s^-1）

Inception-ResNetV1

MobileNetV3

多尺度特征交互

M_CBAM

√

85.31

26.24

√

86.60

27.96

√

86.32

29.63

√

90.47

29.83

√

93.86

30.02

算法	准确率/%	帧率/（f·s^-1）
FMF	93.86	2.50×10⁹
FaceNet^[23]	91.65	2.85×10⁹
SK_ResNet^[24]	91.05	1.65×10⁹
ECCSA-MFC^[25]	88.03	4.47×10⁸

算法

准确率/%

帧率/（f·s^-1）

FMF

93.86

2.50×10⁹

FaceNet^[23]

91.65

2.85×10⁹

SK_ResNet^[24]

91.05

1.65×10⁹

ECCSA-MFC^[25]

88.03

4.47×10⁸

注意力机制	准确率/%	验证率/%	模型内存占用量/MB	帧率/（f·s^-1）
FMF+M_CBAM	93.86	84.88	101.73	30.02
FMF+SE	91.55	86.63	101.66	22.57
FMF+CBAM	93.37	82.02	101.79	22.44
FMF+ECA	92.53	84.97	101.53	22.67
FMF+CA	92.17	83.13	101.73	25.30

注意力机制

准确率/%

验证率/%

模型内存占用量/MB

帧率/（f·s^-1）

FMF+M_CBAM

93.86

84.88

101.73

30.02

FMF+SE

91.55

86.63

101.66

22.57

FMF+CBAM

93.37

82.02

101.79

22.44

FMF+ECA

92.53

84.97

101.53

22.67

FMF+CA

92.17

83.13

101.73

25.30