农业机械学报

类别	数量
行人	357
水田插秧机	336
轮式拖拉机	336
汽车	332

类别	数量
行人	357
水田插秧机	336
轮式拖拉机	336
汽车	332

试验编号	方法	精确率/%	召回率/%	mAP@0.5/%	模型参数量
1	√				95.6	92.4	96.5	7.021×10⁶
2	√	√			95.1	87.9	93.6	5.814×10⁶
3	√		√		95.2	92.1	95.8	5.552×10⁶
4	√	√	√		94.6	90.6	95.3	4.345×10⁶
5	√	√	√	√	95.8	92.9	97.0	4.198×10⁶

试验编号	方法	精确率/%	召回率/%	mAP@0.5/%	模型参数量
1	√				95.6	92.4	96.5	7.021×10⁶
2	√	√			95.1	87.9	93.6	5.814×10⁶
3	√		√		95.2	92.1	95.8	5.552×10⁶
4	√	√	√		94.6	90.6	95.3	4.345×10⁶
5	√	√	√	√	95.8	92.9	97.0	4.198×10⁶

网络模型	mAP@0.5/%	模型参数量	浮点运算量	检测速度/ms	模型内存占用量/MB
YOLO v5s	96.5	7.02×10⁶	1.580×10¹⁰	14.0	14.4
YOLO v4-Tiny	93.0	6.20×10⁶	1.280×10¹⁰	17.2	22.5
YOLO v7-Tiny	94.8	6.01×10⁶	1.320×10¹⁰	18.9	23.1
YOLO v4	96.6	6.436×10⁷	1.603×10¹¹	51.2	244.0
YOLO v7	96.8	3.720×10⁷	3.720×10¹⁰	16.4	71.3
改进YOLO v5s	97.0	4.20×10⁶	9.40×10⁹	13.2	8.9

网络模型	mAP@0.5/%	模型参数量	浮点运算量	检测速度/ms	模型内存占用量/MB
YOLO v5s	96.5	7.02×10⁶	1.580×10¹⁰	14.0	14.4
YOLO v4-Tiny	93.0	6.20×10⁶	1.280×10¹⁰	17.2	22.5
YOLO v7-Tiny	94.8	6.01×10⁶	1.320×10¹⁰	18.9	23.1
YOLO v4	96.6	6.436×10⁷	1.603×10¹¹	51.2	244.0
YOLO v7	96.8	3.720×10⁷	3.720×10¹⁰	16.4	71.3
改进YOLO v5s	97.0	4.20×10⁶	9.40×10⁹	13.2	8.9

作业场景	传感器	目标总数	正确识别数	准确率/%
白天	相机	710	547	77.04
雷达	635	89.44
融合	654	92.11
黑夜	相机	120	37	30.83
雷达	112	93.33
融合	114	96.67

作业场景	传感器	目标总数	正确识别数	准确率/%
白天	相机	710	547	77.04
雷达	635	89.44
融合	654	92.11
黑夜	相机	120	37	30.83
雷达	112	93.33
融合	114	96.67

跟踪算法	横向均方根误差	纵向均方根误差
EKF算法	0.153	0.086
AEKF算法	0.140	0.077

跟踪算法	横向均方根误差	纵向均方根误差
EKF算法	0.153	0.086
AEKF算法	0.140	0.077

融合改进YOLO v5s与毫米波雷达的避障目标检测方法

PDF下载

胡炼 ¹^,² , 梁楚奇 ¹ , 罗雅玲 ¹ , 柳诏迪 ¹ , 阮庆强 ¹ , 汪沛 ¹^,² , 黄培奎 ¹^,² , 王培 ³ , 孙宜田 ⁴

农业机械学报 | 农业信息化工程 2025,56(12): 634-644

收起

农业机械学报 |农业信息化工程 2025 , 56 (12) : 634 -644

融合改进YOLO v5s与毫米波雷达的避障目标检测方法

全屏

胡炼¹^,², 梁楚奇¹, 罗雅玲¹, 柳诏迪¹, 阮庆强¹, 汪沛¹^,², 黄培奎¹^,², 王培³, 孙宜田⁴

作者信息

^1.华南农业大学工程学院，广州　510642

^2.农业装备技术全国重点实验室，北京　100083

^3.北京市农林科学院智能装备技术研究中心，北京　100087

^4.山东省农业机械科学研究院，济南　250100

通讯作者:

黄培奎（1990—），男，高级工程师，博士，主要从事多源信息融合定位与感知技术研究，E-mail：pkhuang@scau.edu.cn

作者简介:

胡炼（1984—），男，研究员，博士，主要从事智能农机装备和无人农场技术研究，E-mail：lianhu@scau.edu.cn

Improved Obstacle Avoidance Target Detection with YOLO v5s and Millimeter Wave Radar Fusion

Lian HU¹^,², Chuqi LIANG¹, Yaling LUO¹, Zhaodi LIU¹, Qingqiang RUAN¹, Pei WANG¹^,², Peikui HUANG¹^,², Pei WANG³, Yitian SUN⁴

Affiliations

^1.College of Engineering, South China Agricultural University, Guangzhou 510642, China

^2.State Key Laboratory of Agricultural Equipment Technology, Beijing 100083, China

^3.Intelligent Equipment Research Center, Beijing Academy of Agriculture and Forestry Sciences, Beijing 100087, China

^4.Shandong Academy of Agricultural Machinery Sciences, Ji'nan 250100, China

出版时间: 2025-12-25 doi: 10.6041/j.issn.1000-1298.2025.12.058

文章导航

摘要

收起

为提高农场环境下无人驾驶农机对农田障碍物感知的准确性，针对视觉检测容易受光照和毫米波雷达检测易受车辆颠簸等，以及视觉检测目标算法在复杂田间下参数量大、计算量大、模型体积大的问题，本文提出一种融合视觉与毫米波雷达信息的无人驾驶农机避障目标检测方法。首先过滤毫米波雷达的部分目标数据，并提出基于自适应扩展卡尔曼滤波的目标追踪算法。然后制作农场环境障碍物数据集，构建基于改进YOLO v5s的目标检测模型。随后，通过时间戳对齐和直接线性标定法的坐标变换，实现雷达点向图像像素坐标系的映射。最后，通过决策级融合方法和目标匹配策略构建毫米波雷达与视觉传感器的障碍物检测信息融合模型。试验结果表明，改进YOLO v5s模型平均精度均值为97.0%，与原始模型相近，但参数量、计算量、模型内存占用量仅分别为原YOLO v5s模型的40.2%、39.2%和38.2%，与YOLO v4-Tiny、YOLO v7-Tiny、YOLO v4和YOLO v7模型相比能够更好地平衡精确率与检测速度。多场景试验结果表明，本文提出的融合方法在白天试验时相较于雷达与视觉识别准确率分别提高2.67、15.07个百分点，夜间试验时融合检测方法能有效弥补视觉失效的情况，比单传感器算法具有更好的鲁棒性与准确性，同时基于融合检测方法有效实现了无人驾驶农机停车避障。

关键词

YOLO v5s / 农田障碍物检测 / 毫米波雷达 / 视觉目标检测 / 信息融合

Abstract

收起

In order to improve the accuracy of unmanned agricultural machine's perception of obstacles in the farm environment, to solve the problem that visual detection is easily affected by light and millimeter-wave radar detection is easily affected by vehicle bumps, etc., as well as the problem that the visual target detection algorithm has a large number of parameters, a large amount of computation, and a large volume of the model under the complex field, this paper proposes an obstacle-avoidance target detection method for unmanned agricultural machines with the fusion of visual and millimeter-wave radar information. Part of the radar target data from millimeter-wave radar is first filtered, and a target tracking algorithm based on adaptive extended Kalman filtering is proposed. Then a farm environment obstacle dataset is produced and a target detection network based on improved YOLO v5s is constructed. Subsequently, the mapping of radar points into the image pixel coordinate system is realized by time-stamp alignment and coordinate transformation with direct linear calibration method. Finally, the fusion model of obstacle detection information from millimeter-wave radar and visual sensors is constructed through the decision-level fusion method and target matching strategy, and the experimental results show that the mean average accuracy of the improved YOLO v5s is 97.0%, which is similar to that of the original model, but the number of parameters, the amount of computation, and the size of the model are only 40.2%, 39.2%, and 38.2% of the original YOLO v5s model, respectively. Compared with YOLO v4-Tiny, YOLO v7-Tiny, YOLO v4 and YOLO v7 models, it can better balance the detection accuracy and speed. The results of multi-scene tests show that the fusion method proposed in this paper improves the recognition accuracy by 2.67 percentage points and 15.07 percentage points compared with radar and camera in daytime tests, and the fusion detection method can effectively make up for the failure of the camera in nighttime tests, and has better robustness and accuracy than the single-sensor algorithm, and the fusion obstacle avoidance system effectively realizes the parking avoidance of the unmanned agricultural machine.

Key words

YOLO v5s / farmland obstacle detection / millimeter wave radar / visual object detection information fusion

引用本文

胡炼, 梁楚奇, 罗雅玲, 柳诏迪, 阮庆强, 汪沛, 黄培奎, 王培, 孙宜田. 融合改进YOLO v5s与毫米波雷达的避障目标检测方法. 农业机械学报, 2025 , 56 (12) : 634 -644 . DOI: 10.6041/j.issn.1000-1298.2025.12.058

Lian HU, Chuqi LIANG, Yaling LUO, Zhaodi LIU, Qingqiang RUAN, Pei WANG, Peikui HUANG, Pei WANG, Yitian SUN. Improved Obstacle Avoidance Target Detection with YOLO v5s and Millimeter Wave Radar Fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2025 , 56 (12) : 634 -644 . DOI: 10.6041/j.issn.1000-1298.2025.12.058

正文

收起

0　引言

收起

随着全球人口的不断增加和农业生产需求的提升，传统农业模式已经难以满足高效和可持续的要求。智慧农业和无人智慧化农场成为农业现代化的一个重要方向^[1]。在智慧农业的整体框架中，无人化智慧农场的建设尤为关键，是实现农业自动化、信息化和精准化的核心组成部分，而无人化智慧农场的核心技术之一便是农机无人驾驶技术。无人驾驶农机的发展可以为现代农业带来更多的效率优化^[2]。真实的农田环境是复杂的非结构化环境，农机从出库到田间作业过程中不可避免地遇到障碍物，利用障碍物信息检测技术及时准确地感知障碍物，是保证智能农机在复杂农田环境中的作业安全的关键细节之一^[3-5]。

在障碍物检测领域，传感器的选择至关重要。单一种类传感器的目标识别都存在一定的缺点，导致其目标检测的可靠性低。视觉传感器应用广泛但易受环境影响^[6]。毫米波雷达具有高穿透性，能在雨、雾、灰尘等恶劣环境中正常工作，受光照影响小，可全天时运行；其天线尺寸小，能实现高精度的距离和速度测量，且可同时监测多个目标^[7]，能对农田环境多种目标检测。但同时毫米波雷达无法识别目标的类别，且检测数据中存在大量无效目标^[8]。因此，单一种类传感器感知环境的方式逐渐被多传感器融合感知环境方式替代。

目前常用的视觉检测障碍物方法分为传统视觉算法和深度学习算法^[9-10]，传统的目标检测算法多依赖于目标的颜色和轮廓特征，受光照条件、物体比例变化和部分遮挡等环境因素影响，检测的准确率不高^[11]。刘慧等^[12]使用轻量化网络MobileNetV2作为SSD模型中的骨干网络，并以反向残差结构结合空洞卷积改进了模型，改进后的模型能有效地检测田间行人。陈斌等^[13]基于YOLO v3-tiny框架，通过增加第三预测层提升小目标检测效果，并在主干网络中加入残差模块，以增加网络深度和学习能力，提高模型检测性能。蔡舒平等^[14]通过在YOLO v4模型主干网络中引入逆残差单元（Inverted residual unit），替换原有的残差模块，从而提高模型检测精度。杨昊霖等^[15]提出一种改进YOLO v5模型，通过引入注意力机制CBAM、增加检测头和使用Ghost卷积替代传统卷积等操作，降低模型复杂度提高模型精度。张炳力等^[16]提出使用目标检测框交并比和NNDA关联算法实现毫米波雷达和相机的数据融合，最后基于扩展卡尔曼滤波算法进行目标跟踪提高车辆目标的检测精度。WANG等^[17]采用视觉算法YOLO与雷达检测数据进行决策级融合，根据雷达生成框和视觉检测框的交并比关联雷达和相机检测的车辆目标，减少了车辆检测的误差。赵望宇等^[18]提出了一种改进的城市复杂环境下智能车前方车辆感知方法，结合雷达和视觉数据，并增加目标跟踪过程以提高检测准确性。甘耀东等^[19]把毫米波雷达数据跟踪的自适应扩展卡尔曼滤波算法与改进的SSD模型结合，有效地提高了车辆目标识别精度。李勇滔等^[20]基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪，结果表明该方法具有更好的可靠性和鲁棒性。

基于视觉目标检测大多选用实时性较高的YOLO算法系列，但单一视觉传感器极易受环境影响。多传感器方面关于毫米波雷达和视觉避障的研究主要是城市道路情况，大多聚焦在结构化道路上的行人和车辆的检测上，并且针对毫米波雷达与视觉的信息融合策略，通常以毫米波雷达数据生成感兴趣区域（ROI）与视觉检测框进行交并比检测，并未考虑在复杂场景中毫米波雷达可能存在的漏检状况以及毫米波雷达ROI提取方法无法涵盖所有目标。基于此，本文提出基于改进YOLO v5s与毫米波雷达融合的农田环境下障碍物检测算法。通过对YOLO v5s改进使模型在各项性能不降低的情况下，实现检测模型的轻量化。对毫米波雷达数据进行预处理剔除干扰目标，提出一种自适应卡尔曼滤波算法提高目标追踪精度。将雷达目标与视觉检测进行决策级融合，同时对传感器丢失的信息进行互补后输出障碍物大小、距离、类别信息。

1　改进YOLO v5模型

收起

YOLO v5是YOLO系列经典版本，较YOLO v8结构更简洁、存储空间需求小，便于后期向嵌入式设备部署^[21-22]。针对农机作业过程中的障碍物检测，目标检测网络不仅需要较高的识别精度，还需要较小的模型宽度和深度以减少对运算资源的占用，现有的YOLO v5s算法的参数量和计算量相对于嵌入式平台偏大，基于此，针对YOLO v5s进行以下改进。①使用轻量化网络GhostNetV2替换主干网络的C3模块，以实现模型的轻量化设计，大幅降低参数量和计算量，提升检测速度。②使用VOVGSCSPC结构和AKConv模块构建AVCStem结构以精简特征融合网络结构。③采用BIFPN加权双向特征金字塔网络将多尺度特征进行融合，以增强模型的特征提取能力。改进YOLO v5s结构如图1所示。

1.1　GhostNetV2特征提取网络

传统YOLO v5模型中，骨干网络（Backbone）采用的是较为复杂的C3网络结构，会输出众多的特征图，这些特征图存在许多相似的输出特征，冗余的特征图会导致网络参数多、运算量大和网络训练慢等问题。选取GhostNet^[23]系列中最新的GhostNetV2轻量级模型作为主干特征提取网络，解决精度和速度2个关键问题。

GhostNetV2在第1代GhostNet的基础上，进一步引入DFC Attention机制，加强网络捕捉长距离的空间信息。GhostNetV2依旧采用Inverted bottleneck的设计，由2个Ghost模块和1个DFC模块^[24]构成。使用GhostNetV2的Bottleneck结构如图2所示。

C3模块与GhostV2 BottleNeck结合，得到C3GhostNetV2模块（图3），在不改变主干下采样基础上，为降低模型复杂度，基于GhostNetV2的C3GhostV2模块改进模型主干网络Backbone，可降低模型参数量与计算量。

1.2　AVCStem结构

1.2.1　GSConv模块

GSConv^[25]模块基本结构如图4所示，GSConv模块融合GhostNet和ShuffleNetv2的轻量化设计思想，输入特征图首先经由标准卷积层进行下采样处理，以初步提取并降维特征，并引入深度可分离卷积操作。相对于标准卷积，最后在通道维度上执行2种卷积后特征图的精细拼接，并通过引入Shuffle操作，巧妙地实现标准卷积所蕴含丰富信息与深度可分离卷积输出之间的深度融合。GSConv模块参数更少，同时GSConv模块可以更好地平衡模型的准确性和速度，更适合于构建轻量级检测模型。因此采用GSConv模块代替YOLO v5s颈部网络中部分Conv模块，以降低网络计算复杂性。

1.2.2　AKConv模块

AKConv^[26]模块的结构如图5所示，其中C代表通道数（Channel）；H代表特征图高度（Height），W代表特征图宽度（Width）。传统卷积运算的卷积核和步长是固定的，而AKConv卷积赋予卷积核任意数量的参数和任意采样形状，并且AKConv允许卷积参数的数量线性上升或下降，其能够根据不同的目标灵活调整卷积核的大小和形状。该自适应调整机制能够提高模型在处理复杂目标时的灵活性和准确性。

1.2.3　AVCStem模块

VOVGSCSP模块包括GSBottleneck模块，如图6所示，而GSBottleneck模块又基于GSConv基础模块。GSConv以较低的时间复杂度最大限度地保留了通道间的联系，通过这种设计，VOVGSCSP模块可有效降低计算和网络结构的复杂性，同时保持足够的精度。

引入VOVGSCSP和AKConv模块构建全新的AVCStem（AKConv-VOVGSCSP-Stem）模块，以替换颈部网络中的Concat位置之后的C3模块，AVCStem结构如图7所示。这种替换可以使深度可分离卷积接近普通卷积的性能，提高模型捕获上下文信息的能力，这在一定程度上可减少参数计算量，提高模型在目标特征图上的计算速度。

1.3　BIFPN双向特征金字塔

YOLO v5中的PANet^[27]结构（图8a）主要增强位置信息，但在不同分辨率图像输入进行融合时，只采用简单的相加操作，这种方式在特征融合过程中容易丢失原始特征信息，从而可能导致训练过程中的偏差，影响模型的学习效果。因此，采用借鉴加权双向特征金字塔网络的结构BIFPN^[28]，如图8b所示，BIFPN去除了单输入节点从而减少了模型的参数。此外，加权双向特征金字塔网络对同一级别的输入节点和输出节点增加一条额外边缘，所以引入学习权重对不同输入特征的重要性进行定义，在不增加成本的情况下融合更多特征。加权双向特征金字塔网络BIFPN实现了自上而下和自下而上深浅层的特征双向融合。优化YOLO v5s模型的Neck结构如图8b所示。

2　基于毫米波雷达追踪前方目标

收起

2.1　毫米波雷达数据预处理

选用某公司的SR73F短距毫米波雷达每帧至多包含64个目标物信息，由于雷达工作原理、农田道路不平以及农机自身造成的车身抖动等原因，毫米波雷达每帧返回的数据中包含大量无效信息，对无人驾驶农机的目标检测造成了干扰。因此，为了给目标跟踪算法提供可靠、稳定的目标数据以及较少计算量的数据，需要对毫米波雷达数据进行筛选。

（1）根据雷达技术参数表可知雷达检测距离y、速度v和角度θ范围分别为

(1)

若毫米波雷达解析出的目标信息超出雷达参数范围，该类目标识别度不高且安全隐患低，则将此类目标作为无效目标剔除。

（2）设无人驾驶农机幅宽为M，考虑作业速度一般较低和雷达检测距离范围，因此将横向距离x和纵向距离y过大的目标通过设定阈值过滤，过滤公式为

(2)

式中

a——无人驾驶农机横向过滤阈值的系数

b——无人驾驶农机纵向过滤阈值的系数

（3）农机在田间行驶过程中，由于车辆抖动导致毫米波雷达返回多个重复目标数据，选用DBSCAN聚类算法处理毫米波雷达返回的重复数据，提取每个簇的中心点速度和位置数据，以此作为有效的目标信息，从而实现对重复目标的剔除。

2.2　自适应扩展卡尔曼滤波跟踪

毫米波雷达检测前方目标以获取位置等数据，经处理自动形成航迹并预测目标下一时刻位置。但获取目标距离、速度信息时，因测量误差和过程噪声，数据会不准确，所以需采用滤波算法降低测量与实际值的误差。扩展卡尔曼滤波（Extended Kalman Filter，EKF）是卡尔曼滤波在非线性系统中的一种扩展，由于无人驾驶农机和行人等目标物的非线性运动，可采用EKF将非线性滤波问题转化为线性滤波问题^[29]。常规扩展卡尔曼算法中的状态噪声Q_k_-1和观测噪声R_k为固定不变的经验值，并且假设噪声特性的参数在滤波整个流程中，关键参数维持恒定状态。然而，扩展卡尔曼滤波器在面对噪声统计特性未知及外部环境动态变化等不确定性因素时，可能会遭遇滤波精度下滑乃至发散的风险，进而对状态估计的准确性产生不利影响。为克服这一局限，采用自适应扩展卡尔曼滤波（AEKF）算法。

目标跟踪系统状态向量和量测向量空间模型可以表示为

(3)

预测状态向量

和对应的预测误差协方差矩阵P_k_|_k_-1为

(4)

(5)

卡尔曼更新校正公式为

(6)

式中

k-1——检测当前时刻

k——预测时刻

X_k——状态向量

Z_k——观测向量

h（·）——非线性系统的量测矩阵

f（·）——状态转移矩阵

V_k——0均值高斯白噪声

W_k——0均值高斯白噪声

Q_k——观测协方差矩阵

R_k——测量协方差矩阵

K_k——卡尔曼增益

P_k——协方差矩阵

h_k——距离测量函数在

雅可比矩阵

ϕ_k_|_k_-1——状态向量雅可比矩阵

Γ_k——输入噪声雅可比矩阵

卡尔曼滤波模型的残差ε_k计算公式为

(7)

卡尔曼量测公式更新为

(8)

自适应估计器为

(9)

(10)

其中

式中

——量测噪声方差

C——遗忘因子，取0~1

同理加入遗忘因子后可求出状态噪声协方差矩阵Q_k为

(11)

2.3　目标追踪模型建立

常见的运动模型有CV模型（恒速度模型）、CA（恒加速度模型）和CTRV（恒速度恒角速度模型）。在农场环境实际场景下，经大量观察与分析发现，多数障碍物处于静止状态。同时，无人驾驶农机无论是在道路上运移还是在田间作业，其速度变化相对平缓，波动范围较小。基于此，从工程应用的角度出发，为简化模型与分析过程，在一定误差允许范围内，近似地将无人驾驶农机的运动状态视为匀速运动，因此使用CV模型作为系统的状态方程。

设运动目标的跟踪状态向量为

(12)

式中

x——目标在雷达纵向相对位置

y——目标在雷达横向相对位置

v_x——目标在雷达纵向速度

v_y——目标在雷达横向速度

假设δ_t时间内目标做匀速运动，可得

(13)

由于采用CV模型，则系统中的转移环节为线性环节。设毫米波雷达实际采样频率为T，则状态转移矩阵f可以表示为

(14)

3　毫米波雷达与视觉目标匹配策略

收起

3.1　时间匹配

本文视觉目标识别频率为10 Hz，即更新率为100 ms，毫米波雷达采集频率为2传感器的数据，取二者的更新率最小公倍数时刻作为采集时刻的采样误差最小，即100 ms进行采样，然后对2传感器采集到的数据进行融合，从而完成视觉传感器与毫米波雷达时间同步。采样示意图如图9所示。

3.2　空间融合

农机在田间作业时，受地面起伏的影响，车体会与水平地面产生一定的横滚角和俯仰角。传统坐标系变换依赖于相机标定的内外参矩阵。外参矩阵可能因为农机俯仰而改变，从而造成毫米波雷达与视觉传感器的标定出现较大误差。因此，采用直接线性标定法^[30-32]，将毫米波雷达探测到的目标位置信息映射至视觉传感器的像素坐标系下，从而完成2传感器的信息融合。毫米波雷达坐标（x_r，y_r，z_r）和像素坐标系（u，v）之间的转换关系表达式为

(15)

式中

u——像素坐标系下横坐标

v——像素坐标系下纵坐标

x_r——雷达坐标系下横坐标

y_r——雷达坐标系下纵坐标

z_r——雷达中目标高度

R——旋转矩阵

T——平移矩阵 O——零矩阵

由于使用的毫米波雷达无法提供目标深度信息，因此转换关系可以简化为

(16)

式中

K——雷达与视觉传感器的空间转换矩阵

通过采集多组雷达坐标系和视觉坐标系目标物的位置，如记录目标物N组毫米波雷达数据{R_i=（x_i，y_i）|1，2，…，N}以及对应N组像素坐标系{C_i=（u_i，v_i）|i=1，2，…，N}，使用最小二乘法求解转换矩阵K中k₁~k₉待定参数。

3.3　毫米波雷达与视觉的目标匹配

本文提出决策级融合，将毫米波雷达与视觉检测数据对同一目标进行匹配，在完成毫米波雷达与视觉传感器的空间和时间同步后，两者的检测信息均位于成像平面像素坐标系中。使用如下融合策略，策略优先级依次降低。

策略1：当视觉检测出目标时，且只有一个毫米波雷达目标检测点的投影至视觉目标检测框内，即认为此时视觉传感器和毫米波雷达所检测到的目标为同一目标，输出该目标的距离和类别信息。

策略2：当视觉检测出目标时，且有多个毫米波雷达目标检测点的投影至视觉目标检测框内，即认为此时距离视觉检测框中心点最近的雷达检测目标与视觉传感器所检测到的目标为同一目标，输出该目标的距离和类别信息。

策略3：视觉框内无雷达投影点时，计算视觉与毫米波雷达输出目标在像素二维平面上的欧氏距离。计算式为

(17)

当计算的欧氏距离小于设定阈值时，判定此时视觉传感器和毫米波雷达所检测到的目标为同一目标，通过上述判定机制完成毫米波雷达与视觉融合。

4　试验与结果分析

收起

4.1　改进网络模型验证

4.1.1　试验数据集

本文主要研究农田环境障碍物检测，高质量数据集在采集数据时需要考虑数据多样性，数据多样性有助于提高模型泛化能力，从农机实际作业出发，应该考虑到其作业的各种不同场景，如水田作业、旱地作业以及机耕道行驶等作业场景和天气、光照等自然环境变化的场景。在制作数据集过程需要对采集到的数据进行预处理，需要人工对无效或者造成干扰的数据进行处理，避免造成数据集污染，影响模型识别性能。从不同距离以及不同光照条件下进行图像采集，以保证数据多样性。数据集部分样例如图10所示。

根据实际情况，从华南农业大学增城试验基地、亳州市谯城区无人化智慧农场示范基地以及湖南省望城无人化智慧农场基地等多个无人化智慧农场采集晴天、阴天和雨天等天气以及在顺光、逆光和曝光等光线下多种目标的图像数据，其中包括行人、水田插秧机、轮式拖拉机和汽车等，数据集标注时也将这些目标物分为4类，原始图像使用Labelme标注软件进行标注，标注后得到文件格式为JSON标注信息，通过数据转换把JSON格式转换成VOC标注格式，最后将转换好的文件放入对应训练文件夹中。各类目标数量如表1所示。

卷积神经网络的性能需要大量的数据支撑才能表现出来，因此，为了充分发挥神经网络性能，训练时对数据集进行图像增强，数据增强方法包括缩放、平移、旋转、翻转、色彩变换以及随机裁剪等。

4.1.2　农田障碍物数据集下消融试验

在YOLO v5s模型基础上，使用轻量级GhostNetV2作为主干网络减少模型参数量；构建AVCStem模块搭建轻量颈部网络结构进行特征融合，添加BIFPN加强对特征的提取。为验证不同改进方法对模型性能的影响，验证各改进方法有效性，在测试集上进行5组消融试验，试验结果如表2所示，其中√表示引入相应的改进方法。

从表2可知，构建的GhostNetV2-AVCStem-BIFPN-YOLO v5s模型展现出最为卓越的综合性能。

4.1.3　不同模型识别效果试验

为进一步验证改进模型性能，采用自制数据集对改进YOLO v5s、轻量级模型YOLO v4-Tiny、YOLO v7-Tiny以及经典YOLO检测算法YOLO v4和YOLO v7模型进行识别效果试验，识别效果如图11所示。

以mAP作为识别效果评价指标，不同网络模型识别效果指标如表3所示。

改进YOLO v5s模型检测速度与原始YOLO v5s相近，但模型参数量、浮点运算量和模型内存占用量仅分别为YOLO v5s模型的40.2%、39.2%和38.2%。与其他模型相比检测速度更快，mAP@0.5最高、模型参数量最小、内存占用量最小，通过综合分析，可以发现改进模型在性能上显著超过了其他网络模型。

4.2　雷达与视觉融合方法避障试验

为了进一步验证本文融合算法的实用性，针对不同场景障碍物进行试验，分别为白天和黑夜田间试验。试验平台主要由无人驾驶水稻播种机、嵌入式工控机G3750F-P4 V1.0（G670）、SR73F毫米波雷达、瑞尔威视觉单目相机、无人驾驶控制器等组成，如图12所示。毫米波雷达和相机分别通过CAN总线和USB接口与嵌入式工控机连接，嵌入式工控机与无人驾驶农机的无人驾驶控制器通过CAN总线通讯。本文所述的毫米波雷达与视觉融合的感知算法布署在嵌入式工控机上，设定无人驾驶农机行驶的安全区域，当融合感知算法输出的目标位置在农机行驶的安全区域内则判断为农机前方出现障碍物，通过CAN向无人驾驶控制器发送指令，进行停车避障等操作。无人驾驶水稻播种机幅宽为2.6 m，行驶速度为1 m/s，雷达过滤系数a取1.5，b取30。

应用融合算法在光照良好的农田场景下试验结果如图13所示，图像上的矩形框为视觉检测结果，绿点为雷达在图像中的投影点。此场景下视觉对农机以及行人等目标识别效果良好，毫米波雷达对检测范围内的目标识别正确，通过上述融合规则将2传感器的输出目标进行融合，获得较好的检测效果。在夜间开展作业时，由于田间无照明装置，开启无人驾驶水稻播种机的车灯后进行相关试验，如图14所示，视觉算法在这种情况下出现了明显漏检。不同检测方法避障试验效果如表4所示。

由表4可知，在白天场景下，单毫米波雷达识别准确率为89.44%，单视觉相机识别准确率为77.04%，而本文提出的融合方法识别准确率达92.11%。相较于单雷达，融合方法准确率提升2.67个百分点；相较于单视觉，融合方法准确率提升15.07个百分点，融合后的算法可以解决毫米波雷达无法确定障碍物类别的问题，同时解决视觉在夜间无法有效检测目标物以及无法感知目标物距离的问题，相比单一传感器整体的准确性得到有效提高。

采用AEKF跟踪算法更新测量误差和过程噪声，对图13中检测目标进行跟踪，误差如表5所示，AEKF算法纵、横向均方根误差和位置偏差均优于EKF算法，跟踪精度更高。

为验证毫米波雷达与视觉融合感知避障算法的实际应用效果，开展多场景毫米波雷达与视觉融合的避障试验。图15为白天和夜间不同光照环境试验和多机跟随行驶试验场景。无人驾驶水稻播种机在道路运移和田间作业速度为0.7~1.5 m/s、行人行走速度为1 m/s。安全避障区域设定为农机行驶前方4 m以及横向方向上4 m，试验结果表明融合感知避障算法均能检测到障碍物并停车避障。

5　结论

收起

（1）针对深度视觉算法参数量大、计算量大、模型体积大等问题，轻量化改进了YOLO v5s算法，使用GhostNetV2替换主干网络的C3模块，使用VOVGSCSPC结构和AKConv模块构建AVCStem结构精简特征融合网络结构，在颈部加入BIFPN网络，改进模型性能与原模型相近，但模型参数量、浮点运算量、模型内存占用量仅分别为YOLO v5s模型的40.2%、39.2%和38.2%。

（2）设计了一种毫米波雷达数据处理方法，对毫米波雷达异常数据根据雷达技术参数表进行剔除，通过设定雷达感兴趣区域对之外的目标进行过滤处理，使用DBSCAN聚类算法对重复数据进行剔除；采用自适应扩展卡尔曼滤波追踪算法，借助遗忘因子自适应更新测量误差和过程噪声，提高雷达追踪目标的精度。

（3）以无人驾驶农机为试验平台、以实际作业为试验背景，对毫米波雷达与视觉融合的无人驾驶农机行驶前方目标障碍物检测算法在多场景中进行试验验证。试验结果表明，在白天试验场景中本文提出的融合方法相较于雷达与视觉识别准确率分别提高2.67、15.07个百分点，在夜间试验场景融合检测方法有效地弥补了相机失效的情况。华南农业大学增城试验基地应用试验结果表明，融合算法均能成功识别障碍物并与无人驾驶控制器通讯，实现无人驾驶农机停车避让，为无人化智慧农场提供了安全技术支撑。

基金

收起

山东省重点研发计划项目(2022SFGC0202)
广州市基础与应用基础研究专题青年博士“启航”项目(SL2023A04J00077)
湖南省科技厅重大项目(2023NK1020)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

罗锡文, 胡炼, 何杰, 等. 中国大田无人农场关键技术研究与建设实践[J]. 农业工程学报, 2024, 40(1): 1-16.

LUO

Xiwen

, HU

Lian

, HE

Jie

, et al. Key technologies and practice of unmanned farm in China[J]. Transactions of the CSAE, 2024, 40(1): 1-16. (in Chinese)

[2]

张漫, 季宇寒, 李世超, 等. 农业机械导航技术研究进展[J]. 农业机械学报, 2020, 51(4): 1-18.

ZHANG

Man

, JI

Yuhan

, LI

Shichao

, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18. (in Chinese)

[3]

罗锡文, 廖娟, 胡炼, 等. 我国智能农机的研究进展与无人农场的实践[J]. 华南农业大学学报, 2021, 42(6): 8-17, 5.

LUO

Xiwen

, LIAO

Juan

, HU

Lian

, et al. Research progress of intelligent agricultural machinery and practice of unmanned farm in China[J]. Journal of South China Agricultural University, 2021, 42(6): 8-17, 5. (in Chinese)

[4]

何勇, 蒋浩, 方慧, 等. 车辆智能障碍物检测方法及其农业应用研究进展[J]. 农业工程学报, 2018, 34(9): 21-32.

Yong

, JIANG

Hao

, FANG

Hui

, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J]. Transactions of the CSAE, 2018, 34(9): 21-32. (in Chinese)

[5]

薛金林, 闫嘉, 范博文. 多类农田障碍物卷积神经网络分类识别方法[J]. 农业机械学报, 2018, 49(增刊): 35-41.

XUE

Jinlin

, YAN

Jia

, FAN

Bowen

. Classification and identification method of multiple kinds of farm obstacles based on convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(Supp.): 35-41. (in Chinese)

[6]

NISSIMOV

, GOLDBERGER

, ALCHANATIS

. Obstacle detection in a greenhouse environment using the Kinect sensor[J]. Computers & Electronics in Agriculture, 2015, 113: 104-115.

[7]

薛金林, 程峰, 汪冰清, 等. 基于无效目标滤除的毫米波雷达农田障碍物检测方法[J]. 农业机械学报, 2023, 54(4): 233-240.

XUE

Jinlin

, CHENG

Feng

, WANG

Bingqing

, et al. Method for millimeter wave radar farm obstacle detection based on invalid target filtering[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(4): 233-240. (in Chinese)

[8]

万欢, 欧媛珍, 管宪鲁, 等. 无人农机作业环境感知技术综述[J]. 农业工程学报, 2024, 40(8): 1-18.

WAN

Huan

, OU

Yuanzhen

, GUAN

Xianlu

, et al. Review of the perception technologies for unmanned agricultural machinery operating environment[J]. Transactions of the CSAE, 2024, 40(8): 1-18. (in Chinese)

[9]

ZOU

, CHEN

, SHI

, et al. Object detection in 20 years: a survey[J]. Proceedings of the IEEE, 2023, 111(3): 257-276.

[10]

郝帅, 杨磊, 马旭, 等. 基于注意力机制与跨尺度特征融合的YOLO v5输电线路故障检测[J]. 中国电机工程学报, 2023, 43(6): 2319-2331.

HAO

Shuai

, YANG

Lei

, MA

, et al. YOLO v5 transmission line fault detection based on attention mechanism and cross-scale feature fusion[J]. Proceddings of the CSEE, 2023, 43(6): 2319-2331. (in Chinese)

[11]

KAUR

, SINGH

. A comprehensive review of object detection with deep learning[J]. Digital Signal Processing, 2023, 132: 103812.

[12]

刘慧, 张礼帅, 沈跃, 等. 基于改进SSD的果园行人实时检测方法[J]. 农业机械学报, 2019, 50(4): 29-35, 101.

LIU

Hui

, ZHANG

Lishuai

, SHEN

Yue

, et al. Real-time pedestrian detection in orchard based on improved SSD[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 29-35, 101. (in Chinese)

[13]

陈斌, 张漫, 徐弘祯, 等. 基于改进YOLO v3-tiny的全景图像农田障碍物检测[J]. 农业机械学报, 2021, 52(增刊): 58-65.

CHEN

Bin

, ZHANG

Man

, XU

Hongzhen

, et al. Farmland obstacle detection in panoramic image based on improved YOLO v3-tiny[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(Supp.): 58-65. (in Chinese)

[14]

蔡舒平, 孙仲鸣, 刘慧, 等. 基于改进型YOLOv4的果园障碍物实时检测方法[J]. 农业工程学报, 2021, 37(2): 36-43.

CAI

Shuping

, SUN

Zhongming

, LIU

Hui

, et al. Real-time detection methodology for obstacles in orchards using improved YOLOv4[J]. Transactions of the CSAE, 2021, 37(2): 36-43. (in Chinese)

[15]

杨昊霖, 王其欢, 李华彪, 等. 基于改进YOLOv5的田间复杂环境障碍物检测[J]. 中国农机化学报, 2024, 45(6): 216-222.

YANG

Haolin

, WANG

Qihuan

, LI

Huabiao

, et al. Obstacle detection in complex farmland environment based on improved YOLOv5[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(6): 216-222. (in Chinese)

[16]

张炳力, 詹叶辉, 潘大巍, 等. 基于毫米波雷达和机器视觉融合的车辆检测[J]. 汽车工程, 2021, 43(4): 478-484.

ZHANG

Bingli

, ZHAN

Yehui

, PAN

Dawei

, et al. Vehicle detection based on fusion of millimeter-wave radar and machine vision[J]. Automotive Engineering, 2021, 43(4): 478-484. (in Chinese)

[17]

WANG

J G

, CHEN

S J

, ZHOU

L B

, et al. Vehicle detection and width estimation in rain by fusing radar and vision[C]//15th International Conference on Control, Automation, Robotics and Vision (ICARCV). IEEE, 2018: 1063-1068.

[18]

赵望宇, 李必军, 单云霄, 等. 融合毫米波雷达与单目视觉的前车检测与跟踪[J]. 武汉大学学报(信息科学版), 2019, 44(12): 1832-1840.

ZHAO

Wangyu

, LI

Bijun

, SHAN

Yunxiao

, et al. Vehicle detection and tracking based on fusion of millimeter wave radar and monocular vision[J]. Geomatics and Information Science of Wuhan University, 2019, 44(12): 1832-1840. (in Chinese)

[19]

甘耀东, 郑玲, 张志达, 等. 融合毫米波雷达与深度视觉的多目标检测与跟踪[J]. 汽车工程, 2021, 43(7): 1022-1029, 1056.

GAN

Yaodong

, ZHENG

Ling

, ZHANG

Zhida

, et al. Multi-target detection and tracking with fusion of millimeter-wave radar and deep vision[J]. Automotive Engineering, 2021, 43(7): 1022-1029, 1056. (in Chinese)

[20]

李勇滔, 孙晨旭, 郑伟光, 等. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.

Yongtao

, SUN

Chenxu

, ZHENG

Weiguang

, et al. Collision warning based on fusion of millimeter wave radar and vision[J]. Automotive Engineering, 2023, 45(9): 1666-1676. (in Chinese)

[21]

白强, 高荣华, 赵春江, 等. 基于改进YOLOV5s网络的奶牛多尺度行为识别方法[J]. 农业工程学报, 2022, 38(12): 163-172.

BAI

Qiang

, GAO

Ronghua

, ZHAO

Chunjiang

, et al. Multi-scale behavior recognition method for dairy cows based on improved YOLOV5s network[J]. Transactions of the CSAE, 2022, 38(12): 163-172. (in Chinese)

[22]

尚钰莹, 张倩如, 宋怀波. 基于YOLOv5s的深度学习在自然场景苹果花朵检测中的应用[J]. 农业工程学报, 2022, 38(9): 222-229.

SHANG

Yuying

, ZHANG

Qianru

, SONG

Huaibo

. Application of deep learning using YOLOv5s to apple flower detection in natural scenes[J]. Transactions of the CSAE, 2022, 38(9): 222-229. (in Chinese)

[23]

HAN

, WANG

, TIAN

, et al. Ghostnet: more features from cheap operations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 1580-1589.

[24]

TANG

, HAN

, GUO

, et al. GhostNetv2: enhance cheap operation with long-range attention[J]. Advances in Neural Information Processing Systems, 2022, 35: 9969-9982.

[25]

HULIN

, JUN

, HANBING

, et al. Slim-neck by GSConv: a lightweight-design for real-time detector architectures[J]. Journal of Real-Time Image Processing, 2024, 21(3): 1-13.

[26]

ZHANG

, SONG

, et al. AKConv: convolutional kernel with arbitrary sampled shapes and arbitrary number of parameters[J]. arxiv preprint arxiv: 2023.

[27]

WANG

, LIEW

J H

, ZOU

, et al. Panet: few-shot image semantic segmentation with prototype alignment[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 9197-9206.

[28]

CHEN

, MAI

H S

, LUO

, et al. Effective feature fusion network in BIFPN for small object detection[C]//IEEE International Conference on Image Processing (ICIP). IEEE, 2021: 699-703.

[29]

FUJII

. Extended Kalman filter[J]. Refernce Manual, 2013, 14: 41.

[30]

, KIM

K S

, PARK

, et al. A comparative study on camera-radar calibration methods[C]//15th International Conference on Control, Automation, Robotics and Vision (ICARCV). IEEE, 2018: 1057-1062.

[31]

胡延平, 刘菲, 魏振亚, 等. 毫米波雷达与视觉传感器信息融合的车辆跟踪[J]. 中国机械工程, 2021, 32(18): 2181-2188.

Yanping

, LIU

Fei

, WEI

Zhenya

, et al. Vehicle tracking of information fusion for millimeter-wave radar and vision sensor[J]. China Mechanical Engineering, 2021, 32(18): 2181-2188. (in Chinese)

[32]

梁新成, 刘鹏, 李云伍, 等. 融合毫米波雷达与机器视觉的田间道路视觉引导线提取[J]. 农业工程学报, 2023, 39(19): 141-153.

LIANG

Xincheng

, LIU

Peng

, LI

Yunwu

, et al. Fusion of millimeter wave radar and machine vision for visual guide line extraction on field roads[J]. Transactions of the CSAE, 2023, 39(19): 141-153. (in Chinese)

2025年第56卷第12期

PDF下载

203

引用本文

BibTeX

文章信息

doi: 10.6041/j.issn.1000-1298.2025.12.058

接收时间：2025-03-12
首发时间：2026-09-30
出版时间：2025-12-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-03-12
修回日期：2025-04-22

基金

山东省重点研发计划项目(2022SFGC0202)

广州市基础与应用基础研究专题青年博士“启航”项目(SL2023A04J00077)

湖南省科技厅重大项目(2023NK1020)

作者信息

^1.华南农业大学工程学院，广州　510642

^2.农业装备技术全国重点实验室，北京　100083

^3.北京市农林科学院智能装备技术研究中心，北京　100087

^4.山东省农业机械科学研究院，济南　250100

通讯作者:

黄培奎（1990—），男，高级工程师，博士，主要从事多源信息融合定位与感知技术研究，E-mail：pkhuang@scau.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/nyjxxb/CN/10.6041/j.issn.1000-1298.2025.12.058

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

类别	数量
行人	357
水田插秧机	336
轮式拖拉机	336
汽车	332

类别

数量

行人

357

水田插秧机

336

轮式拖拉机

336

汽车

332

试验编号	方法	精确率/%	召回率/%	mAP@0.5/%	模型参数量
1	√				95.6	92.4	96.5	7.021×10⁶
2	√	√			95.1	87.9	93.6	5.814×10⁶
3	√		√		95.2	92.1	95.8	5.552×10⁶
4	√	√	√		94.6	90.6	95.3	4.345×10⁶
5	√	√	√	√	95.8	92.9	97.0	4.198×10⁶

试验编号

方法

精确率/%

召回率/%

mAP@0.5/%

模型参数量

YOLO v5s

GhostNetV2

AVCStem

BIFPN

√

95.6

92.4

96.5

7.021×10⁶

√

95.1

87.9

93.6

5.814×10⁶

√

95.2

92.1

95.8

5.552×10⁶

√

94.6

90.6

95.3

4.345×10⁶

√

95.8

92.9

97.0

4.198×10⁶

网络模型	mAP@0.5/%	模型参数量	浮点运算量	检测速度/ms	模型内存占用量/MB
YOLO v5s	96.5	7.02×10⁶	1.580×10¹⁰	14.0	14.4
YOLO v4-Tiny	93.0	6.20×10⁶	1.280×10¹⁰	17.2	22.5
YOLO v7-Tiny	94.8	6.01×10⁶	1.320×10¹⁰	18.9	23.1
YOLO v4	96.6	6.436×10⁷	1.603×10¹¹	51.2	244.0
YOLO v7	96.8	3.720×10⁷	3.720×10¹⁰	16.4	71.3
改进YOLO v5s	97.0	4.20×10⁶	9.40×10⁹	13.2	8.9

网络模型

mAP@0.5/%

模型参数量

浮点运算量

检测速度/ms

模型内存占用量/MB

YOLO v5s

96.5

7.02×10⁶

1.580×10¹⁰

14.0

14.4

YOLO v4-Tiny

93.0

6.20×10⁶

1.280×10¹⁰

17.2

22.5

YOLO v7-Tiny

94.8

6.01×10⁶

1.320×10¹⁰

18.9

23.1

YOLO v4

96.6

6.436×10⁷

1.603×10¹¹

51.2

244.0

YOLO v7

96.8

3.720×10⁷

3.720×10¹⁰

16.4

71.3

改进YOLO v5s

97.0

4.20×10⁶

9.40×10⁹

13.2

8.9

作业场景	传感器	目标总数	正确识别数	准确率/%
白天	相机	710	547	77.04
雷达	635	89.44
融合	654	92.11
黑夜	相机	120	37	30.83
雷达	112	93.33
融合	114	96.67

作业场景

传感器

目标总数

正确识别数

准确率/%

白天

相机

710

547

77.04

雷达

635

89.44

融合

654

92.11

黑夜

相机

120

30.83

雷达

112

93.33

融合

114

96.67

跟踪算法	横向均方根误差	纵向均方根误差
EKF算法	0.153	0.086
AEKF算法	0.140	0.077

跟踪算法

横向均方根误差

纵向均方根误差

EKF算法

0.153

0.086

AEKF算法

0.140

0.077