农业机械学报

模型	背部	躯干左侧	躯干右侧	臀部
Alexnet	90.15	91.38	91.73	83.29
Vgg16	92.08	92.21	92.68	85.14
MobileNetV3	91.26	92.42	93.23	81.56
ResNet34	93.37	93.68	94.02	88.89
DAM-ResNet	96.13	96.56	96.94	93.14

模型	背部	躯干左侧	躯干右侧	臀部
Alexnet	90.15	91.38	91.73	83.29
Vgg16	92.08	92.21	92.68	85.14
MobileNetV3	91.26	92.42	93.23	81.56
ResNet34	93.37	93.68	94.02	88.89
DAM-ResNet	96.13	96.56	96.94	93.14

模型	DCN	AFF	MC-Loss	背部	躯干左侧	躯干右侧	臀部
ResNet34	×	×	×	93.37	93.68	94.02	88.89
DCN-ResNet	√	×	×	95.35	95.32	96.08	91.25
DCN-AFF-ResNet	√	√	×	95.83	96.34	96.82	92.57
DCN-MC-ResNet	√	×	√	95.89	95.94	96.56	92.31
DAM-ResNet	√	√	√	96.13	96.56	96.94	93.14

模型	DCN	AFF	MC-Loss	背部	躯干左侧	躯干右侧	臀部
ResNet34	×	×	×	93.37	93.68	94.02	88.89
DCN-ResNet	√	×	×	95.35	95.32	96.08	91.25
DCN-AFF-ResNet	√	√	×	95.83	96.34	96.82	92.57
DCN-MC-ResNet	√	×	√	95.89	95.94	96.56	92.31
DAM-ResNet	√	√	√	96.13	96.56	96.94	93.14

拍摄距离/m	准确率/%	精确率/%	召回率/%
0~10	99.63	99.38	99.14
10~20	97.54	97.67	97.02
20~30	90.72	91.14	90.57
30~40	82.17	84.11	79.73

拍摄距离/m	准确率/%	精确率/%	召回率/%
0~10	99.63	99.38	99.14
10~20	97.54	97.67	97.02
20~30	90.72	91.14	90.57
30~40	82.17	84.11	79.73

识别方法	识别区域	奶牛数量	识别准确率/%
YOLO v3^[18]	臀部左右侧	4	66.00
RetinaNet+CNN^[32]	背部	46	93.75
ShuffleNet-Triplet^[33]	奶牛整体	87	82.93
Mask-RCNN+DAM-ResNet（本文）	背部、躯干、臀部	57	95.86

识别方法	识别区域	奶牛数量	识别准确率/%
YOLO v3^[18]	臀部左右侧	4	66.00
RetinaNet+CNN^[32]	背部	46	93.75
ShuffleNet-Triplet^[33]	奶牛整体	87	82.93
Mask-RCNN+DAM-ResNet（本文）	背部、躯干、臀部	57	95.86

基于DAM-ResNet的广视野下牛舍奶牛个体识别方法

PDF下载

司永胜 ¹^,² , 鲁文柯 ¹^,² , 王克俭 ¹^,² , 马亚宾 ³ , 袁明 ³ , 王斌 ¹^,² , 王振存 ⁴

农业机械学报 | 农业信息化工程 2025,56(12): 581-590

收起

农业机械学报 |农业信息化工程 2025 , 56 (12) : 581 -590

基于DAM-ResNet的广视野下牛舍奶牛个体识别方法

全屏

司永胜¹^,², 鲁文柯¹^,², 王克俭¹^,², 马亚宾³, 袁明³, 王斌¹^,², 王振存⁴

作者信息

^1.河北农业大学信息科学与技术学院，保定　071001

^2.河北省农业大数据重点实验室，保定　071001

^3.河北省畜牧良种工作总站，石家庄　050061

^4.唐山市锦程牧业有限公司，唐山　064000

通讯作者:

马亚宾（1975—），男，研究员，主要从事奶牛生产性能测定和高效养殖研究，E-mail：dhimyb@163.com

作者简介:

司永胜（1973—），男，副教授，主要从事农业领域机器视觉应用和无损检测研究，E-mail：siyongsheng@hebau.edu.cn

Individual Identification Method of Dairy Cows in Cowsheds under Wide Field of View Based on DAM-ResNet

Yongsheng SI¹^,², Wenke LU¹^,², Kejian WANG¹^,², Yabin MA³, Ming YUAN³, Bin WANG¹^,², Zhencun WANG⁴

Affiliations

^1.College of Information Science and Technology, Hebei Agricultural University, Baoding 071001, China

^2.Key Laboratory of Agricultural Big Data of Hebei Province, Baoding 071001, China

^3.Hebei Provincial Station for Livestock Varieties Producing and Spreading, Shijiazhuang 050061, China

^4.Tangshan Jincheng Animal Husbandry Co., Ltd., Tangshan 064000, China

出版时间: 2025-12-25 doi: 10.6041/j.issn.1000-1298.2025.12.053

文章导航

摘要

收起

针对牛舍内广视野下奶牛图像存在遮挡、变形较大而造成个体识别困难等问题，提出了一种基于DAM-ResNet模型的广视野下牛舍奶牛个体识别方法。采用Mask R-CNN模型对奶牛背部、躯干左侧、躯干右侧以及臀部4类奶牛部位进行分割。在ResNet34残差网络的基础上引入第二代可变形卷积，以加强对分割结果中奶牛花纹变形的图像特征提取；将AFF注意力特征融合模块融入到残差结构中，实现对远距离小目标奶牛图像的准确识别；采用细粒度分类损失函数互通道损失MC-Loss提高模型对花纹相似奶牛的识别准确率。利用奶牛分割后的图像构建奶牛多部位数据集，并训练DAM-ResNet模型。对57头奶牛共12 864幅图像数据集进行了奶牛个体识别测试，结果表明，奶牛背部、躯干左侧、躯干右侧、臀部识别准确率分别为96.13%、96.56%、96.94%、93.14%，比ResNet原模型分别提高2.76、2.88、2.92、4.25个百分点。本文方法在10~20 m、20~30 m和30~40 m范围内识别准确率分别为97.54%、90.72%和82.17%。研究结果可为奶牛智能化养殖提供技术支持。

关键词

奶牛个体识别 / 广视野 / 可变形卷积 / 注意力特征融合 / 细粒度分类

Abstract

收起

Aiming at the problems such as occlusion and large deformation of cow images in the cowshed under a wide field of view, which cause difficulties in individual identification, a method for individual identification of cows in the cowshed under a wide field of view based on the DAM-ResNet model was proposed. The Mask R-CNN model was used to segment four types of dairy cow parts: the back, the left side of the trunk, the right side of the trunk and the buttocks. Based on the ResNet34 residual network, the second-generation deformable convolution was introduced to enhance the extraction of deformed image features of cow patterns in the segmentation results. Integrating the AFF attention feature fusion module into the residual structure to achieve accurate recognition of images of small target cows at a distance. The fine-grained classification loss function, interchannel loss (MC-Loss), was adopted to improve the recognition accuracy of the model for cows with similar patterns. The multi-part dataset of dairy cows was constructed by using the segmented images of dairy cows, and the DAM-ResNet model was trained. Individual cow recognition tests were conducted on a dataset of 12 864 images of 57 dairy cows. The results showed that the recognition accuracy rates of the back, left trunk, right trunk and buttocks of dairy cows were 96.13%, 96.56%, 96.94% and 93.14%, respectively, which were 2.76, 2.88, 2.92 and 4.25 percentage points higher than those of the original ResNet model. The recognition accuracy rates of the method proposed within the ranges of 10~20 m, 20~30 m and 30~40 m were 97.54%, 90.72% and 82.17%, respectively. The research results can provide technical support for intelligent dairy cow breeding.

Key words

cow individual identification / wide-field / deformable convolution / attentional feature fusion / fine-grained classification

引用本文

司永胜, 鲁文柯, 王克俭, 马亚宾, 袁明, 王斌, 王振存. 基于DAM-ResNet的广视野下牛舍奶牛个体识别方法. 农业机械学报, 2025 , 56 (12) : 581 -590 . DOI: 10.6041/j.issn.1000-1298.2025.12.053

Yongsheng SI, Wenke LU, Kejian WANG, Yabin MA, Ming YUAN, Bin WANG, Zhencun WANG. Individual Identification Method of Dairy Cows in Cowsheds under Wide Field of View Based on DAM-ResNet[J]. Transactions of the Chinese Society for Agricultural Machinery, 2025 , 56 (12) : 581 -590 . DOI: 10.6041/j.issn.1000-1298.2025.12.053

正文

收起

0　引言

收起

奶牛个体识别是实现奶牛精准管理的前提^[1-3]，对奶牛健康监测、自动行为分析、体况评分和产品溯源等方面具有重要作用^[4]。

基于计算机视觉的奶牛个体识别具有自动化程度高、成本低、对奶牛无应激等优点^[5-7]。部分研究利用奶牛虹膜、口鼻、面部特征识别奶牛个体^[8-10]，得到了较高的准确率，但此类方法采集图像困难、抗干扰性弱，不利于推广^[11]。

荷斯坦奶牛身体花纹更易采集，多项研究利用花纹特征实现了奶牛的个体识别^[12]。何东建等^[13]在挤奶厅通道采集奶牛背部图像，使用基于改进的YOLO v3模型识别奶牛个体，识别准确率为95.91%。LI等^[14]计算尾根部的Zernike不变矩特征识别奶牛个体。HU等^[15]在挤奶厅通道拍摄奶牛侧视图像，提取头部、躯干和腿部3个部位的特征并融合，最后使用支持向量机分类奶牛个体。

上述研究均为特定场景下奶牛个体识别，摄像机和奶牛间位置不变，奶牛花纹在图像中形变较小，此外，拍摄画面仅出现1头奶牛。为尝试在非限制条件下奶牛个体识别，XIAO等^[16]采集非限制性环境下奶牛背部图像，利用SVM算法对奶牛识别分类。司永胜等^[17]提取奶牛的深度特征和传统特征，然后特征融合进行奶牛个体识别。上述方法是对非限制场景下的多头奶牛进行个体识别，但摄像机和地面的角度接近垂直，拍摄范围较小。TASSINARI等^[18]对范围较大的牛舍内奶牛进行个体识别，准确率为66%，准确率较低，且研究对象只有4头奶牛，样本较少。奶牛大部分时间生活在牛舍中，奶牛在牛舍中个体识别是躺卧率自动计算和行为识别等智慧养殖环节的基础。在牛舍中布设过多摄像机，将降低方法的实用性，不利于推广，因此，类似文献[18]采集广视野图像的方案更有利于牛场的实际应用。在牛舍广视野情况下，如何处理由于奶牛姿态、拍摄角度变化导致的花纹形变较大及部分奶牛花纹相似，仍是奶牛个体识别的难题^[19]。

针对上述问题，本文采集广视野下非限制牛舍内的奶牛视频，构建包含多种姿态的奶牛部位图像数据集，提出一种基于DAM-ResNet分类网络和广视野下奶牛个体识别方法，以期为奶牛智能化养殖提供技术支持。

1　实验材料

收起

1.1　视频图像采集

视频图像数据采集于河北省保定市弘达牧业股份有限公司，采集时间为2023年6月8—12日08:00—18:00。共采集57头荷斯坦奶牛在牛舍自由活动的图像。牛舍总长100 m，宽15 m，为使拍摄视角足够广，覆盖牛舍更大的面积，本文将2个广角摄像机（DH-IPC-HFW8449K-ZFR型，浙江大华技术股份有限公司）安装在牛舍中部，如图1a所示，安装高度为6 m，两两相对的摄像机间距离为14 m，摄像机俯视角（水平向下倾斜角度）约为15°。摄像机焦距为3.6 mm，拍摄视频帧率为25 f/s，分辨率为2 688像素×1 520像素。图1b为图像采集现场环境。

1.2　图像预处理与数据集制作

将每个摄像机采集的视频逐帧转化成图像并进行去重处理，采用结构相似性指数算法^[20]去除相似度大于0.85的图像，随机选取1 500幅图像，2个摄像机共选取3 000幅图像作为Mask R-CNN^[21-22]模型的数据集，按比例7∶2∶1划分为训练集、验证集、测试集。使用Labelme标注软件对数据集进行标注。当拍摄距离超过30 m时，由于拍摄角度和距离原因，奶牛在图像中易相互遮挡且目标太小，造成人工标注难度较大，因此本文标注距离为30 m内的奶牛（设定拍摄距离为摄像机垂直投影到地面的点与奶牛的直线距离）。在广视野条件下，奶牛姿态和尺度变化较大，即分类的类内差异较大，如果将奶牛整体图像直接作为分类数据，腿部姿态变化等将降低识别准确率。将奶牛图像按特征固定的几个部位分别输入模型，有利于模型聚焦特定的特征，提高识别效果。国内最常见荷斯坦奶牛黑白花纹是良好的个体识别特征。奶牛背部、躯干左右侧面积较大，易采集，具有稳定的花纹特征，多项研究利用上述部位实现了奶牛个体识别^[13-14,23]。牛脸也是奶牛个体识别的主要部位，但是在广视野环境下，很难采集到清晰牛脸，本文在摄像机斜视拍摄角度下，可以拍摄到牛脸时，往往是采集到花纹更为清晰的背部。此外，当奶牛远离摄像头方向时，易采集到的是臀部图像。综上，将奶牛图像按照背部、臀部和躯干两侧作为模型的识别依据。标注奶牛的背部、躯干左侧、右侧和臀部共4个部位，生成4类标签，选取的4类部位能包含所有姿态下奶牛图像。图2为Mask R-CNN奶牛分割结果。

利用分割后的各个部位图像制作奶牛个体识别数据集，包含奶牛在牛舍各种姿态图像。数据集分为奶牛背部、躯干左侧、右侧和臀部图像共4个子数据集，每个子数据集包含57头奶牛对应的身体部位图像。整个数据集共12 864幅图像，每头奶牛背部、躯干左侧和躯干右侧每类图像约60幅。监控图像中出现奶牛背部、躯干左侧和躯干右侧部位的几率大于臀部，每头奶牛臀部图像45幅左右。将各子数据集均按比例7∶3划分训练集和验证集。

图3为部分奶牛的个体识别数据集示例。同一个子数据集中同1头奶牛图像，形变较大且差异明显，部分奶牛距离摄像机较远，在图像中目标较小，此外部分不同奶牛花纹相似，这些都给网络模型提取有效特征增加了难度。

2　研究方法

收起

本文提出的广视野下无约束牛舍奶牛个体识别方法流程如图4所示。首先，将牛舍视频帧输入Mask R-CNN模型，对奶牛背部、单侧躯干和臀部进行实例分割，然后将奶牛部位图像分别输入对应DAM-ResNet模型，通过融入DCN和AFF的ResNet残差网络提取有效特征，利用MC-Loss学习到更有区分度的特征指导模型参数更新，最终输出奶牛个体识别结果。

2.1　DAM-ResNet网络模型设计

2.1.1　ResNet网络结构

深层网络能够捕捉到奶牛图像中的复杂细节，提取更丰富的特征信息。ResNet网络利用残差学习思想，逐层计算残差，用更简单清晰的框架训练深度网络，解决深层网络训练中梯度消失和梯度爆炸问题。在残差结构中，残差块将输入直接加到非线性变换的输出中，通过不断堆叠网络层数，获得深度较大的网络模型和更优越的网络性能。本文选择ResNet34作为原模型进行训练和调优，模型共有5个阶段，16个残差结构，包括33个卷积层和1个全连接层。

2.1.2　第二代可变形卷积

针对图像中奶牛花纹形变问题，引入第二代可变形卷积。对不同尺度或感受野自适应调整，更好地提取输入的特征。可变形卷积在标准卷积规则网络采样点上添加可学习的偏移量，实现采样网格的自适应变形。

标准卷积运算过程是使用规则网格R对输入特征图x进行采样，然后在每个采样点处乘以权值W并求和。第一代可变形卷积在传统卷积操作上加入了一个采样点的偏移量Δp_n，以调整关键元素的采样位置。第二代可变形卷积在其基础上对偏移量添加一个权重系数Δm_n，增大网络对于卷积操作的自由度，在学习中降低无关的采样点权重^[24]，下文中可变形卷积指第二代变形卷积。在卷积运算过程中，对于中心采样点位置p₀，可变形卷积为

(1)

式中

y——输出特征图

R——感受野区域

p_n——R中所有采样位置

w（p_n）——p_n位置权重矩阵

Δp_n——采样点偏移量

Δm_n——不同偏移量权重系数

以3×3卷积采样为例，可变形卷积与标准卷积在奶牛图像采样方式如图5所示。可变形卷积通过增加可训练的偏移量，对花纹形变有适应能力，增加偏移量后自适应感受野不再是方形，在采样时可更贴近奶牛花纹形状，提高模型提取能力。

2.1.3　注意力特征融合

图像中奶牛尺度不一，目标较小的奶牛特征提取难度较大。特征融合方法能更好地提取不同尺度的特征，传统特征融合是通过组合不同卷积核、分组或网络层的特征实现，组合时不考虑是否适合特定对象，这会削弱目标区域的精细特征信息，影响网络模型的识别效果^[25-26]。

注意力特征融合^[27]（Attentional feature fusion，AFF）以上下文规模感知的方式动态地、自适应地融合接收到的特征。为解决尺度变化导致的小目标识别困难问题，AFF模块聚合来自不同尺度、不同接受野的上下文信息，通过沿通道维度聚合多尺度上下文信息，解决特征融合不同尺度特征不一致的问题。如图6所示，H和W表示每个特征通道高度和宽度，C表示特征通道个数，X和Y表示两个不同特征映射。AFF模块在关注全局通道的基础上增加分支提取局部特征，采用逐点卷积获取多尺度特征上下文信息，保留和突出底层特征中的精细细节，并在关注模块中完成局部特征与全局特征的融合。

全局通道上下文信息G（X）和局部通道上下文信息L（X）的计算式为

(2)

(3)

式中

GAP——全局平均池化

BN——批归一化

δ——ReLU激活函数

PWConv₁、PWConv₂——逐点卷积

对于给定的2个特征映射X、Y∈R^H^×^W^×^C，注意力特征融合可以表示为

(4)

式中

Z——加权特征融合后的输出

⊕——广播加法 ⊗——元素乘法

M（X⊕Y）——AFF生成的融合信道权值，用于对输入的特征映射进行加权

2.1.4　Mutual-Channel Loss损失函数

针对类内差异性和类间相似性，引入细粒度分类任务的互通道损失函数^[28]（Mutual-Channel Loss，MC-Loss），其由判别性组件和多样性组件2个协同作用的组件组成。判别性组件通过约束每个类别对应的特征通道挖掘对应其类别信息的细粒度特征区域，多样性组件使同一组特征通道内的多个特征互斥以学习不同特征区域。

MC-Loss通过超参数μ将互通道损失函数与交叉熵损失函数进行聚合，形成本文模型最终的损失函数

(5)

式中

L_CE——传统的交叉熵损失函数，使网络专注于全局性判别区域

L_MC——互通道损失函数，使网络专注于局部判别区域

将卷积神经网络提取到的深度特征图表示为F∈R^C^×^W^×^H，L_MC计算式为

(6)

式中

F_i——第i个类别一组特征图

y′——样本期望输出

c——分类任务的类别数

λ——标量超参数

Softmax——归一化指数函数

g（F）——判别性组件函数

h（F）——多样性组件函数

2.1.5　DAM-ResNet模型

提出的DAM-ResNet模型整体结构如图7所示。Stage表示ResNet34中由卷积层组成的一组块，它们输出相同空间分辨率特征，但通道数不同。将Stage 2和Stage 3中2个基础残差模块ID_Block和ConvBlock中的传统3×3卷积替换成可变形卷积，并在每个可变形卷积层后增加批归一化（BatchNorm）层，以加快模型的收敛速度，减轻梯度消失情况。引入AFF模块，通过融合不同网络层的语义信息，生成网络映射和残差的融合权值。得到2种新的网络模块DAR_Block_a和DAR_Block_b。网络输入为224像素×224像素的3通道RGB奶牛图像。图像进入网络首先经过一个步距为2，卷积核为7×7的卷积层，再经过批归一化处理、ReLU激活函数以及1个3×3最大池化层，输入图像被转换为56像素×56像素特征图像。Stage 2~5为添加了残差结构的卷积块，4个卷积模块组进行浅层至深层的特征提取。Stage 2和Stage 3中新的残差模块通过DCN和AFF模块，针对不同尺寸和形状的花纹自适应地提取有效特征。随后经过连续融入AFF残差卷积块进行特征提取，得到尺寸为7×7、通道数为512的特征图。将这组特征图分为2个分支计算损失，一个分支直接输入MC-Loss模块计算互通道损失，另一分支通过全连接层后计算交叉熵损失。奶牛数据集有57种类别，将512通道特征图分为57组，其中56类每类都用9个通道表征，另外一类用8个通道表征，以计算互通道损失。通过超参数μ将互通道损失与交叉熵损失聚合计算损失，指导模型参数的更新。最终将数据依次输入至展平层和全连接层整合卷积层的特征，通过Softmax分类器输出对应奶牛个体识别结果。

2.2　实验设置与评价指标

实验运行平台为Intel Xeon Silver 4208 CPU，NVIDIA GeForce RTX 3090 GPU，软件环境为Python 3.8，Windows 10操作系统，使用Pytorch深度学习框架构建模型。在模型训练参数设置方面，训练图像尺寸为224像素×224像素，批量大小（Batch size）为32，采用Adam优化器，学习率设为0.001。采用识别准确率、精确率和召回率作为分类网络模型评价指标^[17]。

3　结果与分析

收起

3.1　不同模型对比

使用本文数据集在相同实验条件下对Alexnet、Vgg16、MobileNetV3、ResNet34、DAM-ResNet模型进行了识别准确率对比实验，结果如表1所示。对比前4种基础网络模型，ResNet34模型在奶牛4个部位的识别准确率均高于其他模型，ResNet网络使用残差连接可以保留原始特征，在处理本文奶牛数据集复杂的图像特征时增强了网络的特征提取能力，从而实现了较高的准确率。本文模型在ResNet34上进行改进，在奶牛4个部位均取得了最高的识别准确率，其中臀部准确率最低，主要原因是大部分臀部图像目标较小且相似度较高，同时尾巴摆动也造成特征图不稳定。

3.2　可变形卷积效果

Grad-CAM热力图^[29]可以对网络模型进行可视化分析，直观展示网络模型在进行预测分类时关注的图像区域。本文使用热力图分析可变形卷积模块对奶牛花纹变形的识别效果。如图8所示，图8a为5号奶牛的2幅躯干左侧图像，图8b、8c第1行分别为ResNet和DCN-ResNet 2个模型识别图8a图像1的热力图，2个模型关注区域存在差异；ResNet和DCN-ResNet均关注到奶牛图像右下角处的花纹，而DCN-ResNet同时关注到右上角的花纹。图8b、8c第2行分别为2个模型识别图8a图像2时所关注的区域，ResNet主要关注区域主要在奶牛腹部花纹处，将其错误识别为13号奶牛，DCN-ResNet关注腹部、背部和躯干后侧花纹，识别结果正确。可视化结果说明DCN-ResNet通过可变形卷积学习空间偏移量改变网格采样点的位置，当奶牛花纹有形变时，DCN-ResNet仍可自适应花纹大小和形状，获取了更多有效感受野，从而加强网络对关键特征信息的关注。

3.3　AFF模块效果

图9a为远距离奶牛臀部图像，尺度较小，清晰度较低。图9b、9c为加入AFF模块前、后2个模型的热力图。加入AFF后，热力覆盖奶牛整个花纹，原因是AFF模块引入了上下文相关的注意机制，通过聚合来自不同尺度对象的上下文信息，提取全局和局部特征，兼顾浅层纹理和深层语义信息，提升了对小目标奶牛的精细识别效果。

累计匹配曲线（CMC）可以综合反映分类器性能，纵坐标表示匹配度最高的前k幅的正确命中率，曲线越高表示模型识别性能越好。图10为添加AFF模块前、后模型对4类部位数据集个体识别准确率累计曲线。增加AFF后，模型在4类部位数据集的曲线都有提高。曲线Rank-1值表征识别准确率，加入AFF模块后，模型在4类部位数据集的识别准确率分别提升0.48、1.02、0.74、1.32个百分点。从多个召回顺序上比较，增加AFF模块后，模型在背部数据集上识别率提升相对较小，其原因是AFF模块对模型小目标识别能力提升明显。在对远距离奶牛实例分割时，得到大部分为臀部或躯干图像，即小尺度背部图像很少，因此AFF模块对背部数据集提升较小。

3.4　消融实验

为量化分析模型各部分效果，开展消融实验。在ResNet34原模型中分别引入DCN模块、AFF模块以及MC-Loss，不同模型准确率结果如表2所示。相比原模型，DCN-ResNet在采用可变形卷积后，背部、躯干左侧、躯干右侧、臀部准确率分别提升1.98、1.64、2.06、2.36个百分点，DCN改变了卷积操作的采样方式，使模型在特征提取阶段能够有效地学习奶牛花纹的形状特征，自适应花纹的变化并且提高了特征提取能力，使模型性能提升明显。DCN-AFF-ResNet在DCN-ResNet上添加了AFF模块，通过全局和局部特征的融合来加强对奶牛图像形态大小差异的关注，增强了模型学习不同尺度图像特征的能力，使得模型对于一些细小特征的变化更加敏感。DCN-MC-ResNet在DCN-ResNet上引入MC-Loss，在特征分类阶段进一步优化了特征空间的分布，使得不同类别的特征更加易于区分。4个奶牛部位的识别准确率均有提升，其中图像相似度较高的奶牛臀部的准确率提升1.06个百分点，较其他3个部位提升较为明显。与其他3个部位相比，奶牛臀部图像差异较小，这说明模型对花纹相似、个体差异较小的奶牛识别表现更好。

将上述3种改进方法同时融入原模型形成最终的DAM-ResNet模型，4个奶牛部位准确率均最高，分别为96.13%、96.56%、96.94%、93.14%。最终平均准确率为95.86%。相较于原模型，背部、躯干左侧、躯干右侧、臀部识别准确率分别提升2.76、2.88、2.92、4.25个百分点。DCN、AFF和MC-Loss结合使用时，通过特征提取、融合和判别的全方位优化，使得模型在复杂特征和图像变形时表现出显著的性能提升，充分发挥了各模块的优势，达到综合更好的识别效果。

为展示DAM-ResNet模型相对于原ResNet模型的改进效果，采用t-SNE降维算法对高维特征降维，进行可视化展示。从数据集中随机选取10个类别数据，使用原模型和DAM-ResNet模型分别对提取的特征进行可视化。如图11所示，尽管原模型也取得了较好的分类效果，但出现了部分错误，极个别黑色点分类到了棕红色点类中（图11a）。本文模型不同类别之间特征的距离更远，同种类别特征之间的距离更近，最终分类效果更优。

3.5　拍摄距离对奶牛识别影响

为研究拍摄距离对奶牛个体识别的影响，本文补充标注30~40 m范围内能够人工识别的奶牛图像，并重新训练分割模型。随机选取100幅图像利用新训练的分割模型进行实例分割，最后使用本文模型对其进行个体识别。按照拍摄距离分段统计识别结果，如表3所示。

随着拍摄距离增加，识别准确率、精确率和召回率均明显下降。拍摄距离在20 m内奶牛的各项指标均在97%以上，此范围内模型可准确识别。在20~30 m范围内，随着奶牛目标在图像上逐渐变小，提取特征难度增大，识别准确率、精确率和召回率降低到90%左右。随着拍摄距离增大到30~40 m范围，识别准确率下降到82%左右。为直观地展示识别效果，随机选取1幅奶牛图像进行分割和个体识别，并给出模型Softmax层输出预测标签类别的概率。如图12所示，图12b中第1行前4头奶牛，对应图12a中右侧躺卧区由近到远依次躺卧的奶牛（蓝色分割框），属于躯干右侧数据集，均以高预测概率正确识别。图12b第1行和第2行最右侧距离分别为29 m和37 m的奶牛，对应图12a中右侧远处蓝色分割框中奶牛。模型将29 m处奶牛Cow 11错误识别为Cow 5，识别错误的原因是由于奶牛距离较远导致目标较小，且花纹图案过少，提取特征难度较大，37 m处的奶牛尽管正确识别，但预测概率较低。图12a右侧示例的27 m和42 m的2头奶牛由于距离过远且图像模糊，在实例分割阶段未被成功分割。类似图像由于人工也难以识别，因此在模型训练标记阶段无法使用。

遮挡问题是个体识别一个难点。如图12b中第1行的奶牛，多头奶牛被栏杆遮挡，但本文模型仍以较高预测概率正确识别。类似地，第2行Cow 31奶牛（对应图12a中左侧最远端黄色分割框中奶牛）被风扇遮挡严重，模型仍正确识别，说明模型在局部遮挡情况下鲁棒性较好。

本文模型在实验环境20 m范围内识别准确率、精确率和召回率都超过97%，精度较高，在20~30 m范围内识别准确率、精确率和召回率超过90%。适当增大镜头的焦距可以使远距离的奶牛更清晰，但会缩小拍摄视场。规模化奶牛场牛舍长度一般为100 m^[30-31]，因此本文方法难以利用一个摄像机实现整个牛舍范围的奶牛个体识别。下一步工作拟在本研究基础上，通过多个摄像机实现整个牛舍的覆盖和奶牛个体识别。

3.6　与现有研究方法对比

与现有代表性相关研究结果对比如表4所示。文献[18]利用YOLO算法提取4头奶牛臀部的左侧和右侧图像特征进行个体识别，识别准确率为66%，识别准确率较低。和文献[18]类似，文献[32]利用无人机获取奶牛背部图像进行个体识别，识别准确率为93.75%。奶牛背部特征较为稳定，是理想的奶牛个体识别特征。然而，如果获取广视野的奶牛背部图像，需要摄像机与奶牛背部之间有较远的拍摄距离，这在牛舍环境下难以实现。文献[33]主要聚焦于模型轻量化和群体中进入新奶牛时模型再训练问题，基于ShuffleNet-Triplet模型对整体奶牛图像进行识别，识别准确率为82.93%。由于输入图像中有奶牛腿部等干扰，各类差异较大，影响了识别准确率。本文方法较好地降低了牛舍广视野条件下奶牛个体识别中各类差异较大的影响，实现了较高的识别准确率。

4　结论

收起

（1）提出了先通过Mask R-CNN分割不同奶牛部位，再利用改进的DAM-ResNet模型对奶牛进行识别的方法，实现了较为准确的奶牛个体识别。

（2）DAM-ResNet模型通过引入第二代可变形卷积，提高了模型对奶牛花纹变化的识别能力，新增AFF注意力融合模块，加强了模型对小目标的识别能力，同时结合细粒度损失函数MC-Loss，增强了模型对相似奶牛的分类效果。DAM-ResNet模型对奶牛背部、躯干左侧、躯干右侧、臀部图像识别准确率分别达到96.13%、96.56%、96.94%、93.14%。优于其他对比模型，且相较原模型识别准确率分别提高2.76、2.88、2.92、4.25个百分点。

（3）本文方法在牛舍环境下20 m范围内识别准确率、精确率和召回率均超过97%，可以实现可靠的准确个体识别，在20~30 m范围内识别准确率超过90%。本文方法对遮挡问题和花纹变形具有较高的鲁棒性，为现代牛场的智能奶牛个体识别提供了新思路。

基金

收起

河北省自然科学基金项目(C2025204216)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

BERCKMANS

. Precision livestock farming technologies for welfare management in intensive livestock systems[J]. Rev. Sci. Tech., 2014, 33(1): 189-196.

[2]

夏雪, 侍啸, 柴秀娟. 人工智能驱动智慧奶牛养殖的思考与实践[J]. 中国乳业, 2020(8): 5-9.

XIA

Xue

, SHI

Xiao

, CHAI

Xiujuan

. Thinking and practice of intelligent cow breeding driven by artifical intelligence[J]. China Dairy, 2020(8): 5-9. (in Chinese)

[3]

司永胜, 肖坚星, 刘刚, 等. 基于MSRCP与改进YOLO v4的躺卧奶牛个体识别方法[J]. 农业机械学报, 2023, 54(1): 243-250, 262.

Yongsheng

, XIAO

Jianxing

, LIU

Gang

, et al. Individual recognition method of lying cows based on MSRCP and improved YOLO v4 model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(1): 243-250, 262. (in Chinese)

[4]

何东健, 刘冬, 赵凯旋. 精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报, 2016, 47(5): 231-244.

Dongjian

, LIU

Dong

, ZHAO

Kaixuan

. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231-244. (in Chinese)

[5]

ALVAREZ

J R

, ARROQUI

, MANGUDO

, et al. Body condition estimation on cows from depth images usingconvolutional neural networks[J]. Computers and Electronics in Agriculture, 2018, 155: 12-22.

[6]

KAWAGOE

, KOBAYASHI

, ZIN

T T

. Facial region analysis for individual identification of cows and feeding time estimation[J]. Agriculture, 2023, 13(5): 1016.

[7]

WENG

, MENG

, LIU

, et al. Cattle face recognition based on atwo-branch convolutional neural network[J]. Computers and Electronics in Agriculture, 2022, 196: 106871.

[8]

SUN

, YANG

, ZHAO

. Noncooperative bovine iris recognition via SIFT[J]. Neurocomputing, 2013, 120: 310-317.

[9]

KUMAR

, PANDEY

, SATWIK

R S K

, et al. Deep learning framework for recognition of cattle using muzzle point image pattern[J]. Measurement, 2018, 116: 1-17.

[10]

蔡骋, 宋肖肖, 何进荣. 基于计算机视觉的牛脸轮廓提取算法及实现[J]. 农业工程学报, 2017, 33(11): 171-177.

CAI

Cheng

, SONG

Xiaoxiao

, HE

Jinrong

. Algorithm and realization for cattle face contour extraction based on computer vision[J]. Transactions of the CSAE, 2017, 33(11): 171-177. (in Chinese)

[11]

许贝贝, 王文生, 郭雷风, 等. 基于非接触式的牛只身份识别研究进展与展望[J]. 中国农业科技导报, 2020, 22(7): 79-89.

Beibei

, WANG

Wensheng

, GUO

Leifeng

, et al. A review and future prospects on cattle recognition based on non-contact identification[J]. Journal of Agricultural Science and Technology, 2020, 22(7): 79-89. (in Chinese)

[12]

, KOU

, LI

, et al. Individual identification of dairy cows based on deep learning and feature fusion[J]. Animal Science Journal, 2022, 93(1): 13789.

[13]

何东健, 刘建敏, 熊虹婷, 等. 基于改进YOLO v3模型的挤奶奶牛个体识别方法[J]. 农业机械学报, 2020, 51(4): 250-260.

Dongjian

, LIU

Jianmin

, XIONG

Hongting

, et al. Individual identification method of milking cows based on improved YOLO v3 model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 250-260. (in Chinese)

[14]

, JI

, WANG

, et al. Automatic individual identification of Holstein dairy cows using tailhead images[J]. Computers and Electronics in Agriculture, 2017, 142: 622-631.

[15]

, DAI

, SHEN

, et al. Cow identification based on fusion of deep parts features[J]. Biosystems Engineering, 2020, 192: 245-256.

[16]

XIAO

, LIU

, WANG

, et al. Cow identification in free-stall barns based on an improved Mask R-CNN and an SVM[J]. Computers and Electronics in Agriculture, 2022, 194: 106738.

[17]

司永胜, 王朝阳, 张艳, 等. 基于深度与传统特征融合的非限制条件下奶牛个体识别[J]. 农业机械学报, 2023, 54(6): 272-279.

Yongsheng

, WANG

Chaoyang

, ZHANG

Yan

, et al. Individual identification of dairy cows under unrestricted conditions based on fusion of depth and traditional features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(6): 272-279. (in Chinese)

[18]

TASSINARI

, BOVO

, BENNI

, et al. A computer vision approach based on deep learning for the detection of dairy cows in free stall barn[J]. Computers and Electronics in Agriculture, 2021, 182: 106030.

[19]

ZHAO

J M

, LIAN

Q S

. Compact loss for visual identification of cattle in the wild[J]. Computers and Electronics in Agriculture, 2022, 195: 106784.

[20]

WANG

, BOVIK

A C

, SHEIKH

H R

, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[21]

HUERTAS-TATO

, MARTÍN

, FIERREZ

, et al. Fusing CNNs and statistical indicators to improve image classification[J]. Information Fusion, 2022, 79: 174-187.

[22]

, WANG

, FALZON

, et al. Automated cattle counting using Mask R-CNN in quadcopter vision system[J]. Computers and Electronics in Agriculture, 2020, 171: 105300.

[23]

ZHANG

, JI

, ZHAO

, et al. A cascaded individual cow identification method based on DeepOtsu and EfficientNet[J]. Agriculture, 2023, 13(2): 279.

[24]

ZHU

, HU

, LIN

, et al. Deformable convnets v2: more deformable, better results[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 9308-9316.

[25]

, WANG

, HU

, et al. Selective kernel networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 510-519.

[26]

ZHANG

, WU

, ZHANG

, et al. Resnest: split-attention networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 2736-2746.

[27]

DAI

, GIESEKE

, OEHMCKE

, et al. Attentional feature fusion[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2021: 3560-3569.

[28]

CHANG

, DING

, XIE

, et al. The devil is in the channels: mutual-channel loss for fine-grained image classification[J]. IEEE Transactions on Image Processing, 2020, 29: 4683-4695.

[29]

SELVARAJU

R R

, COGSWELL

, DAS

, et al. Grad-cam: visual explanations from deep networks via gradient-based localization[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 618-626.

[30]

冯璐, 李奇峰, 丁露雨, 等. 自然通风牛舍环境监测传感器布局策略对比研究[J]. 家畜生态学报, 2022, 43(2): 74-81.

FENG

, LI

Qifeng

, DING

Luyu

, et al. Comparative research on sensor layout strategy of natural ventilation cowshed environment monitoring[J]. Journal of Livestock Ecology, 2022, 43(2): 74-81. (in Chinese)

[31]

刘爱瑜, 冯曼, 李永亮, 等. 卷帘舍环境参数与奶牛泌乳性能及行为的相关性分析[J]. 畜牧兽医学报, 2023, 54(2): 617-629.

LIU

Aiyu

, FENG

Man

, LI

Yongliang

, et al. Correlation analysis between environmental parameters of rolling shed and lactation performance and behavior of dairy cow[J]. Acta Veterinaria et Zootechnica Sinica, 2023, 54(2): 617-629. (in Chinese)

[32]

ANDREW

, GAO

, MULLAN

, et al. Visual identification of individual Holstein-Friesian cattle via deep metric learning[J]. Computers and Electronics in Agriculture, 2021, 185: 106133.

[33]

WANG

, XU

, WANG

, et al. ShuffleNet-Triplet: a lightweight RE-identification network for dairy cows in natural scenes[J]. Computers and Electronics in Agriculture, 2023, 205: 107632.

2025年第56卷第12期

PDF下载

130

引用本文

BibTeX

文章信息

doi: 10.6041/j.issn.1000-1298.2025.12.053

接收时间：2024-08-05
首发时间：2026-09-30
出版时间：2025-12-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-08-05
修回日期：2024-09-15

基金

河北省自然科学基金项目(C2025204216)

作者信息

^1.河北农业大学信息科学与技术学院，保定　071001

^2.河北省农业大数据重点实验室，保定　071001

^3.河北省畜牧良种工作总站，石家庄　050061

^4.唐山市锦程牧业有限公司，唐山　064000

通讯作者:

马亚宾（1975—），男，研究员，主要从事奶牛生产性能测定和高效养殖研究，E-mail：dhimyb@163.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/nyjxxb/CN/10.6041/j.issn.1000-1298.2025.12.053

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模型	背部	躯干左侧	躯干右侧	臀部
Alexnet	90.15	91.38	91.73	83.29
Vgg16	92.08	92.21	92.68	85.14
MobileNetV3	91.26	92.42	93.23	81.56
ResNet34	93.37	93.68	94.02	88.89
DAM-ResNet	96.13	96.56	96.94	93.14

模型

背部

躯干左侧

躯干右侧

臀部

Alexnet

90.15

91.38

91.73

83.29

Vgg16

92.08

92.21

92.68

85.14

MobileNetV3

91.26

92.42

93.23

81.56

ResNet34

93.37

93.68

94.02

88.89

DAM-ResNet

96.13

96.56

96.94

93.14

模型	DCN	AFF	MC-Loss	背部	躯干左侧	躯干右侧	臀部
ResNet34	×	×	×	93.37	93.68	94.02	88.89
DCN-ResNet	√	×	×	95.35	95.32	96.08	91.25
DCN-AFF-ResNet	√	√	×	95.83	96.34	96.82	92.57
DCN-MC-ResNet	√	×	√	95.89	95.94	96.56	92.31
DAM-ResNet	√	√	√	96.13	96.56	96.94	93.14

模型

DCN

AFF

MC-Loss

背部

躯干左侧

躯干右侧

臀部

ResNet34

93.37

93.68

94.02

88.89

DCN-ResNet

√

95.35

95.32

96.08

91.25

DCN-AFF-ResNet

√

95.83

96.34

96.82

92.57

DCN-MC-ResNet

√

95.89

95.94

96.56

92.31

DAM-ResNet

√

96.13

96.56

96.94

93.14

拍摄距离/m	准确率/%	精确率/%	召回率/%
0~10	99.63	99.38	99.14
10~20	97.54	97.67	97.02
20~30	90.72	91.14	90.57
30~40	82.17	84.11	79.73

拍摄距离/m

准确率/%

精确率/%

召回率/%

0~10

99.63

99.38

99.14

10~20

97.54

97.67

97.02

20~30

90.72

91.14

90.57

30~40

82.17

84.11

79.73

识别方法	识别区域	奶牛数量	识别准确率/%
YOLO v3^[18]	臀部左右侧	4	66.00
RetinaNet+CNN^[32]	背部	46	93.75
ShuffleNet-Triplet^[33]	奶牛整体	87	82.93
Mask-RCNN+DAM-ResNet（本文）	背部、躯干、臀部	57	95.86

识别方法

识别区域

奶牛数量

识别准确率/%

YOLO v3^[18]

臀部左右侧

66.00

RetinaNet+CNN^[32]

背部

93.75

ShuffleNet-Triplet^[33]

奶牛整体

82.93

Mask-RCNN+DAM-ResNet（本文）

背部、躯干、臀部

95.86