科学技术与工程

算法1:基于正交优化策略的YOLO模型超参数优化方法.
输入:图像和标签{Image,Label} 输出:最佳的超参数、模型适应度g_bset 步骤1:初始化:步长因子c,阶段数T,最大进化代数N,边界约束矩阵l_imit,用1.4节中的式(11)初始化正则化策略的状态矩阵S_s_×_m(其中,s为超参数的状态数,m为超参数的个数),采用1.2节的种群的正交搜索方法得到初始化的正交搜索种群X_n_×_m(其中n为种群数),初始化全体x_j的适应度f_j形成矩阵F_1×_n 步骤2:For (i=1 to N-1) do 步骤3:For (j=0 to n-1) do 步骤4:训练并验证模型Model(x_j, Image),得到x_j的适应度f_j。步骤5:End for 步骤6:找到当前种群的最优个体g_bestX及其适应度g_best 步骤7:按照1.3节中的式(6)~式(8)计算得到新个体s_bestX 步骤8:训练并验证模型Model(s_bestX, Image)得到适应度s_best 步骤9:将s_best和g_best做比较,保留最优适应度更新g_best,保留相应的最优个体更新g_bestX 步骤10:更新正交搜索种群X_n_×_m 步骤10.1: If (i+1≤T) then 步骤10.2:按照1.4节中的式(11)更新状态矩阵S_s_×_m 步骤10.3: Else 步骤10.4:按照1.4节中的式(12)更新状态矩阵S_s_×_m 步骤10.5:通过1.2节中种群的正交搜索方法得到更新后的正交搜索种群X_n_×_m 步骤11:End for 步骤12:返回当前的最优个体对应的最佳策略超参数g_bestX,最优模型适应度g_bset

算法1:基于正交优化策略的YOLO模型超参数优化方法.
输入:图像和标签{Image,Label} 输出:最佳的超参数、模型适应度g_bset 步骤1:初始化:步长因子c,阶段数T,最大进化代数N,边界约束矩阵l_imit,用1.4节中的式(11)初始化正则化策略的状态矩阵S_s_×_m(其中,s为超参数的状态数,m为超参数的个数),采用1.2节的种群的正交搜索方法得到初始化的正交搜索种群X_n_×_m(其中n为种群数),初始化全体x_j的适应度f_j形成矩阵F_1×_n 步骤2:For (i=1 to N-1) do 步骤3:For (j=0 to n-1) do 步骤4:训练并验证模型Model(x_j, Image),得到x_j的适应度f_j。步骤5:End for 步骤6:找到当前种群的最优个体g_bestX及其适应度g_best 步骤7:按照1.3节中的式(6)~式(8)计算得到新个体s_bestX 步骤8:训练并验证模型Model(s_bestX, Image)得到适应度s_best 步骤9:将s_best和g_best做比较,保留最优适应度更新g_best,保留相应的最优个体更新g_bestX 步骤10:更新正交搜索种群X_n_×_m 步骤10.1: If (i+1≤T) then 步骤10.2:按照1.4节中的式(11)更新状态矩阵S_s_×_m 步骤10.3: Else 步骤10.4:按照1.4节中的式(12)更新状态矩阵S_s_×_m 步骤10.5:通过1.2节中种群的正交搜索方法得到更新后的正交搜索种群X_n_×_m 步骤11:End for 步骤12:返回当前的最优个体对应的最佳策略超参数g_bestX,最优模型适应度g_bset

模型	#Param /M	FLOPs /G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	93.16	58.65
YOLOv5s+YOLO-GA	7.2	16.5	93.22	58.22
YOLOv5s+OOS	7.2	16.5	93.94	60.00
YOLOv5s-Transformer	7.2	15.9	92.74	58.20
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	93.50	59.17
YOLOv5s-Transformer+OOS	7.2	15.9	93.18	60.08
YOLOv7	36.9	104.7	93.29	56.48
YOLOv7+YOLO-GA	36.9	104.7	93.20	57.04
YOLOv7+OOS	36.9	104.7	93.45	56.98

模型	#Param /M	FLOPs /G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	93.16	58.65
YOLOv5s+YOLO-GA	7.2	16.5	93.22	58.22
YOLOv5s+OOS	7.2	16.5	93.94	60.00
YOLOv5s-Transformer	7.2	15.9	92.74	58.20
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	93.50	59.17
YOLOv5s-Transformer+OOS	7.2	15.9	93.18	60.08
YOLOv7	36.9	104.7	93.29	56.48
YOLOv7+YOLO-GA	36.9	104.7	93.20	57.04
YOLOv7+OOS	36.9	104.7	93.45	56.98

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.297 00	2.09	t=5.089, p=6.6×10^-4	是
YOLOv5s+YOLO-GA	1.675 00	2.71	t=8.812, p=1×10^-5	是
YOLOv5s-Transformer	1.739 00	2.82	t=12.776, p=4.5×10^-7	是
YOLOv5s-Transformer+ YOLO-GA	0.788 00	1.26	t=7.663, p=3.1×10^-5	是
YOLOv7	0.466 00	0.77	t=4.246, p=2.2×10^-3	是
YOLOv7+YOLO-GA	-0.000 29	-0.05	t=-0.476, p=0.645	否

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.297 00	2.09	t=5.089, p=6.6×10^-4	是
YOLOv5s+YOLO-GA	1.675 00	2.71	t=8.812, p=1×10^-5	是
YOLOv5s-Transformer	1.739 00	2.82	t=12.776, p=4.5×10^-7	是
YOLOv5s-Transformer+ YOLO-GA	0.788 00	1.26	t=7.663, p=3.1×10^-5	是
YOLOv7	0.466 00	0.77	t=4.246, p=2.2×10^-3	是
YOLOv7+YOLO-GA	-0.000 29	-0.05	t=-0.476, p=0.645	否

模型	#Param/ M	FLOPs/ G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	83.97	60.38
YOLOv5s+YOLO-GA	7.2	16.5	85.44	62.38
YOLOv5s+OOS	7.2	16.5	85.81	62.27
YOLOv5s-Transformer	7.2	15.9	83.04	58.64
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	84.51	60.08
YOLOv5s-Transformer+OOS	7.2	15.9	84.59	58.89
YOLOv7	36.9	104.7	87.83	68.15
YOLOv7+YOLO-GA	36.9	104.7	89.96	70.96
YOLOv7+OOS	36.9	104.7	90.62	71.91

模型	#Param/ M	FLOPs/ G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	83.97	60.38
YOLOv5s+YOLO-GA	7.2	16.5	85.44	62.38
YOLOv5s+OOS	7.2	16.5	85.81	62.27
YOLOv5s-Transformer	7.2	15.9	83.04	58.64
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	84.51	60.08
YOLOv5s-Transformer+OOS	7.2	15.9	84.59	58.89
YOLOv7	36.9	104.7	87.83	68.15
YOLOv7+YOLO-GA	36.9	104.7	89.96	70.96
YOLOv7+OOS	36.9	104.7	90.62	71.91

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.89	3.01	t=25.239, p<1.0×10^-9	是
YOLOv5s+YOLO-GA	-0.06	-0.09	t=1.031, p=0.329	否
YOLOv5s-Transformer	0.38	0.62	t=7.183, p<1.0×10^-4	是
YOLOv5s-Transformer+ YOLO-GA	-1.06	-1.70	t=13.857, p<1.0×10^-6	是
YOLOv7	3.66	5.22	t=73.619, p<1.0×10^-13	是
YOLOv7+YOLO-GA	0.92	1.26	t=57.751, p<1.0×10^-12	是

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.89	3.01	t=25.239, p<1.0×10^-9	是
YOLOv5s+YOLO-GA	-0.06	-0.09	t=1.031, p=0.329	否
YOLOv5s-Transformer	0.38	0.62	t=7.183, p<1.0×10^-4	是
YOLOv5s-Transformer+ YOLO-GA	-1.06	-1.70	t=13.857, p<1.0×10^-6	是
YOLOv7	3.66	5.22	t=73.619, p<1.0×10^-13	是
YOLOv7+YOLO-GA	0.92	1.26	t=57.751, p<1.0×10^-12	是

基于正交优化策略的YOLO模型超参数优化方法

PDF下载

杨青华 , 杨观赐 ^* , 钟世昊

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(4): 1573-1579

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(4): 1573-1579

基于正交优化策略的YOLO模型超参数优化方法

全屏

杨青华, 杨观赐^*, 钟世昊

作者信息

贵州大学现代制造技术教育部重点实验室, 贵阳 550025

杨青华(1999—),男,汉族,重庆云阳人,硕士研究生。研究方向:深度学习。E-mail:qinghy_gzu@163.com。

通讯作者:

^*杨观赐(1983—),男,汉族,湖南嘉禾人,博士,教授。研究方向:自主智能系统与机器人、多模态数据融合认知计算。E-mail:gcyang@gzu.edu.cn。

Hyperparameter Optimization of YOLO Model Based on Orthogonal Optimization Strategy

Qing-hua YANG, Guan-ci YANG^*, Shi-hao ZHONG

Affiliations

Key Laboratory of Advanced Manufacturing Technology of Ministry of Education, Guizhou University, Guiyang 550025, China

出版时间: 2025-02-08 doi: 10.12404/j.issn.1671-1815.2309596

文章导航

摘要

收起

为实现YOLO(you only look once)模型的超参数自动优化,提出基于正交优化策略的YOLO模型超参数优化方法(hyper-parameter optimization of YOLO model based on orthogonal optimization strategy, OOS)。首先基于统计学的正交试验原理,提出了种群的正交搜索方法与超参数贡献度分析策略,提高了算法的优化效率;然后,设计了均匀正交搜索策略和邻域正交搜索策略,以缓解YOLO模型陷入局部最优和早熟收敛问题。最后,在NWPU VHR-10和Pascal VOC两个目标检测数据集上,以YOLOv5、YOLOv5s-Transformer和YOLOv7为优化对象进行测试,测试结果表明,所提出的OOS超参数优化方法对于YOLO模型的识别精度均有所提升。在两个数据集上的平均识别精度mAP@0.5分别提升至93.94%、93.18%、93.45%以及85.81%、84.59%、90.62%;mAP@0.5-0.95提升至60.00%、60.08%、56.98%以及62.27%、58.89%、71.91%,可为目标检测模型的超参数智能优化提供一种新方法。

关键词

目标检测 / 超参数优化 / 则化策略 / YOLO

Abstract

收起

In order to realize the automatic optimization of hyperparameters of YOLO model, the hyperparameter optimization of you only look once (YOLO) model based on orthogonal optimization strategy (OOS) was proposed. Firstly, based on the principle of statistical orthogonal test, the orthogonal search method of population and the hyperparameter contribution analysis strategy were proposed to improve the optimization efficiency of the algorithm. Then, the uniform orthogonal search strategy and the neighborhood orthogonal search strategy were designed to alleviate the problem of the YOLO model falling into the local optimum and premature convergence. Finally, YOLOv5, YOLOv5s-Transformer and YOLOv7 were used as optimization objects to test on two target detection datasets, NWPU VHR-10 and Pascal VOC. Test results show that the recognition accuracy of the YOLO model is improved by the OOS hyperparameter optimization method in all cases. The average recognition accuracy mAP@0.5 on two datasets is improved to 93.94%, 93.18%, 93.45%, and 85.81%, 84.59%, 89.96%. The mAP@0.5-0.95 is improved to 60.00%, 60.08%, 56.98%,and 62.27%, 58.89%, 70.77%. It can provide a new intelligent method for hyperparameter optimization of object detection model.

Key words

object detection / hyperparameter optimization / regularization strategy / YOLO

引用本文

杨青华, 杨观赐, 钟世昊. 基于正交优化策略的YOLO模型超参数优化方法. 科学技术与工程, 2025 , 25 (4) : 1573 -1579 . DOI: 10.12404/j.issn.1671-1815.2309596

Qing-hua YANG, Guan-ci YANG, Shi-hao ZHONG. Hyperparameter Optimization of YOLO Model Based on Orthogonal Optimization Strategy[J]. Science Technology and Engineering, 2025 , 25 (4) : 1573 -1579 . DOI: 10.12404/j.issn.1671-1815.2309596

正文

收起

当前,机器视觉技术已成为现代工业的核心技术之一,机器视觉系统被广泛应用于半导体、器人与工厂自动化、汽车制造等行业。在实际应用中,目标检测任务是机器视觉领域的核心任务之一,而选择合适的超参数是提升目标检测模型性能的关键。当前,目标检测模型YOLO(you only look once)虽然在检测实时性和精度方面表现出色,且已被广泛应用在多目标跟踪^[1-2]、自动驾驶^[3]、机器人^[4]、医学图像分析^[5]、施工检测^[6-7]、菜品识别^[8]等,但如何通过优化模型超参数平衡实时性与检测精度,在确保检测实时性的基础上提高模型检测精度依然是研究热点^[9]。当前,网格搜索(grid search,GS)、随机搜索(random search, RS)和遗传算法(genetic algorithm,GA)被广泛用于超参数优化。

基于网格搜索的超参数优化方面,Kaur等^[10]利用GS为深度神经网络寻找最佳超参数,在帕金森患者分类任务中,模型的平均分类准确率达到了91.69%。López等^[11]提出了基于规则的改进GS,优化支持向量机的超参数,在波士顿数据集上取得了更好排名。文献[12]提出了基于多层长短期记忆(long short-term memory, LSTM)网络的需求预测方法,将GS用于优化LSTM超参数的不同组合,测试结果表明优于循环神经网络、支持向量机和单层LSTM等方法。虽然这类方法在寻找模型超参数方面取得了不错的效果,但随着参数量的增加计算量呈指数级增长。

基于随机搜索的超参数优化方面,Motta等^[13]采用RS优化卷积神经网络(convolutional neural network, CNN)的超参数,在包含8 700张图像的数据集上对导致特定疾病的蚊子进行分类,图像识别的准确率从76%提高到93%。为解决用水量预测问题,Gil-Gamboa等^[14]使用RS优化深度前馈神经网络的隐藏层层数和神经元个数,使模型的错误率从7.02%下降到5.59%。文献[15]提出了基于RS的深度随机配置网络层数、节点数、激活函数优化方法,在4个机器学习数据集的测试结果表明,基于该方法获得了具有更优性能的深度随机配置网络。此类方法虽然难以获得理论最优参数,但其计算复杂度低于基于GS的超参数优化方法。

基于遗传算法的超参数优化方面,有学者将GA运用到神经网络的架构优化^[16],在CIFAR-10 分类数据集的测试结果表明,基于GA的超参数优化方法优于基于GS和RS的方法,具有更高的建模准确性和更短的计算时间。针对城市景观服务质量预测任务,有研究运用GA优化神经网络的神经元个数、层数、初始权值^[17],使预测准确率由70%提高到90%。为解决机械结构位移和应力分布预测问题,文献[18]究运用GA对神经网络的神经元层数和个数进行优化,使预测误差相比原模型降低38%。此类方法通过所设置的适应度函数引导搜索趋近最优,虽然具有良好的搜索效率,但是容易陷入局部最优和早熟收敛。

鉴于此,为了优化YOLO模型超参数,基于统计学正交试验原理,在设计种群的正交搜索方法、超参数贡献度分析策略及均匀正交搜索策略和邻域正交搜索策略的基础上,提出基于正交优化策略的YOLO模型超参数优化方法(hyperparameter optimization of YOLO model based on orthogonal optimization strategy, OOS),为目标检测模型的超参数智能优化提供新途径。

1 基于正交优化策略的YOLO模型超参数优化方法

收起

1.1 算法主体流程

正交试验设计是基于正交设计理论,研究多因素多水平的试验设计方法,它利用正交阵列(又称为正交表)选择具有均匀分散性和整齐可比性的代表性子集。通常,正交阵列采用正交拉丁方法构建^[19]。正交性作为正交表的基本特性,主要特点如下。

(1)均匀分散性。即任意一列因素中,所有水平值出现的次数相等。它能够确保在每个水平内最大限度地排除其他因素水平的干扰,因此使部分实验的最优解与全面实验的最优解具有一致的趋势。

(2)整齐可比性。即任意两列之间各种不同水平的所有可能组合出现的次数相等。它能够确保试验点在因素和水平的完全组合中均匀分布,从而使部分实验具有代表性和综合可比性。

因此,为实现YOLO模型的超参数自动优化,本节提出基于正交优化策略的YOLO模型超参数优化方法,伪代码如算法1所示。

对任意一张图像Image∈R^3-^H^-^W,对应标签Label∈R^t^-class-^x^-^y^-^w^-^h,其中,H、W分别为输入图像的高和宽,t为一个图像中的目标数,class为目标类别,(x,y)、w、h分别为目标框的中心点坐标、宽、高。

步骤1中,超参数包括13种:OneCycle学习率衰减策略的两个参数l_r0和l_rf,以及数据增强策略HSV-Saturation、HSV-Value、degrees、translate、scale、perspective、flipud、fliplr、mosaic^[20]、mixup^[21]、copy-paste^[22]的11个参数。适应度计算公式见式(9)。

1.2 种群的正交搜索方法

为更好地对搜索过程进行剪枝、提升优化效率,基于统计学的正交试验原理提出种群的正交搜索方法。种群的正交搜索方法由正交阵列、状态矩阵和正交映射策略组成。正交阵列规定种群中各个体状态组合结构,状态矩阵对应每个超参数在单次迭代中的多个状态值。通过正交映射策略,将状态矩阵映射到正交搜索种群中。

1.2.1 定义

设种群个体为x_i={x_i₀, x_i₁,x_i₂,…, x_ij, …, x_nm},则搜索种群如式(1)所示。

(1)${X}_{n\times m}=\left[\begin{array}{llll}{x}_{00}& {x}_{01}& \dots & {x}_{0m}\\ {x}_{10}& {x}_{11}& \dots & {x}_{1m}\\ ︙& ︙& & ︙\\ {x}_{n0}& {x}_{n1}& \dots & {x}_{nm}\end{array}\right]$

将正向传播视为一个复合函数F,则搜索种群对应的适应度向量Y按式(2)计算。

(2)$Y=F\left({X}_{n\times m}\right)=\left[\begin{array}{llll}f\left(\right[{x}_{00}& {x}_{01}& \dots & {x}_{0m}\left]\right)\\ f\left(\right[{x}_{10}& {x}_{11}& \dots & {x}_{1m}\left]\right)\\ ︙& & & \\ f\left(\right[{x}_{n0}& {x}_{n1}& \dots & {x}_{nm}\left]\right)\end{array}\right]=\left[\begin{array}{l}{y}_{0}\\ {y}_{1}\\ ︙\\ {y}_{n}\end{array}\right]$

在一个搜索种群中,若个体含m个超参数,每个超参数均有s个状态值(s默认取3),便构成式(3)所示的状态矩阵S_s_×_m。

(3)${S}_{s\times m}=\left[\begin{array}{llll}{x}_{00}& {x}_{01}& \dots & {x}_{0m}\\ {x}_{10}& {x}_{11}& \dots & {x}_{1m}\\ ︙& ︙& & ︙\\ {x}_{n0}& {x}_{n1}& \dots & {x}_{nm}\end{array}\right]$

1.2.2 正交映射策略

(1)个体的超参数维度m匹配到唯一的正交表。根据正交表获得数组$MS=\{{m}_{s1},{m}_{s2},\dots,{m}_{sk}\},其中m{s}_{k}为一系列正交表{L}_{N}\left({s}^{{m}_{s}}\right)$的列数,取s=3,因此,m个超参数可以匹配到唯一正交表L_N(${3}^{{m}_{s}}$),正交表与m的对应关系为

${m}_{s}=min\left(\right\{{m}_{s}\ge m\mid {m}_{s}\in MS\left\}\right)$

(2)根据式(4)状态矩阵S_s_×_m到正交阵列L_n_×_m的映射关系,更新搜索种群X_n_×_m。

(4)$\{{x}_{ij}={S}_{{L}_{ij}-1,j}\}$

式(4)中:x_ij为X_n_×_m中第i个搜索向量的第j个超参数的值;L_ij为第i个个体的第j个超参数值在L_n_×_m中的状态序号;${S}_{{L}_{ij}-1,j}$为状态矩阵S_s_×_m中第L_ij-1行、第j列的超参数状态值。

1.3 超参数贡献度分析策略

为进一步提高算法的优化效率,利用种群的正交性特点设计超参数贡献度分析策略。

通过式(5)计算第j个超参数的第l个状态值的累计统计量K_l,j,并将其更新至统计量矩阵K_s_×_m。

(5)$\begin{array}{l}{K}_{l,j}=\sum _{i=1}^{n}{y}_{i}{I}_{\{{L}_{i,j}-1=l\}},\\ l=\mathrm{0,1},\dots,s-1;j=\mathrm{0,1},\dots,m-1\end{array}$

式(5)中:y_i为适应度向量Y中的第i个元素;${I}_{\{{L}_{i,j}-1=l\}}$为指示函数,当L_l,j-1=l时取1,否则取0。

依据式(6)~式(8)计算每一个超参数最大平均贡献的状态值索引s_best_j、统计最优状态值x_best,_j、统计最优个体X_i_best。

(6)${s}_{bes{t}_{j}}=ar{g}_{l}max\left({K}_{l,j}\right),　j=\mathrm{0,1},\dots,m-1$

(7)${x}_{ibest,j}={S}_{sbes{t}_{j},j},　j=\mathrm{0,1},\dots,m-1$

式(7)中:${S}_{sbes{t}_{j},j}$为状态矩阵S_s_×_m中第s_best_j行、第j列的超参数状态值。

(8)${X}_{ibest}=({x}_{ibest,0},{x}_{ibest,1},\dots,{x}_{ibest,j},\dots,{x}_{ibest,m})$

1.4 均匀正交搜索策略和邻域正交搜索策略

为避免陷入局部最优和早熟收敛,采用两阶段更新策略,即在第一阶段采用较大步长进行均匀正交搜索,在第二阶段采用较小步长进行邻域正交搜索。

评价指标作为两阶段更新策略的重要依据,适应度f可以通过式(9)进行如下所示的加权计算。

(9)f=0.1mAP@0.5+0.9mAP@0.5-0.95

式(9)中:mAP@0.5为IOU阈值为0.5的平均精度;mAP@0.5-0.95为IOU阈值为0.5~0.95的平均精度。

由输入的边界约束矩阵l_imit得到各超参数上界u_j和下界l_j。

(10)$\left\{\begin{array}{l}{l}_{j}={l}_{imit}\left[0\right.,j]\\ {u}_{j}={l}_{imit}\left[1\right.,j]\end{array}\right.$

1.4.1 均匀正交搜索策略

搜索前期,即进化代数i≤T时,采取较大步长的均匀搜索策略,以避免较快陷入局部最优。

(11)$\left\{\begin{array}{l}{l}_{ej}={u}_{j}-{l}_{j}\\ {S}_{0,j}={g}_{best}{X}_{j}\\ {S}_{1,j}={l}_{j}+\frac{2i}{2T-1}{l}_{ej}\\ {S}_{2,j}={l}_{j}+\frac{2i+1}{2T-1}{l}_{ej}\end{array}\right.$

式(11)中:g_bestX_j为全局最优个体的第j个参数;l_j为第j个参数的定义区间长度;S_0,_j、S_1,_j、S_2,_j分别为状态矩阵S_s_×_m的第0、1、2行第j个参数的自适应更新;i为进化代数;T为阶段数。

1.4.2 邻域正交搜索策略

在搜索后期,即进化代数i>T时,采取较小的自适应步长进行邻域正交搜索,以提升搜索的精细度。

在上一次搜索结束后,将得到一个搜索阵列中全局最优的个体,将该个体作为下一代的父代。

(12)$\left\{\begin{array}{l}{S}_{0,j}={g}_{best}{X}_{j}\\ {S}_{1,j}={g}_{best}{X}_{0,j}(1-cr)\\ {S}_{2,j}={g}_{best}{X}_{0,j}(1+cr)\end{array}\right.$

式(12)中:S_0,j为第j个超参数的初始状态或上一轮中保存下来的最优父代,每一个超参数都将进行参与变异,其变异状态的变异式见式(13)、式(14);g_bestX为全局最优个体,g_bestX_j为全局最优个体的第j个参数;r为一个[0,1]的随机数;c为控制随机数幅度和步长的步长因子。

若父代处于边界,更新后状态值将超出定义域,因此对这种边界情况进行随机重生成。

若父代处于上界,即S_0,j=u_j 时,有

(13)${S}_{2,j}=(1-{r}_{atio}{)}^{2}{g}_{best}{X}_{j}$

若父代处于下界,即S_0,j=l_j 时,

(14)$\left\{\begin{array}{l}{l}_{ej}={u}_{j}-{l}_{j}\\ {S}_{1,j}={l}_{j}+0.1{r}_{atio}{l}_{ej}\\ {S}_{2,j}={l}_{j}+0.2{r}_{atio}{l}_{ej}\end{array}\right.$

2 测试与分析

收起

2.1 实验设置

(1)数据集。实验使用NWPU VHR-10遥感数据集,PASCAL VOC(The PASCAL Visual Object Classes)作为基准测试数据集。NWPU VHR-10数据集含有10个地理空间对象类的遥感图片。PASCAL VOC数据集则包括20个类。

(2)实现细节。使用COCO数据集上的预训练权重进行初始化。训练策略使用momentum beta=0.937的随机梯度下降(SGD)方法,权重衰减为5×10^-4,学习率策略的warmup_epochs为3.0,warmup_momentum为0.8,warmup_bias_lr为0.1。微调轮数为50epochs。训练过程中的图片大小均设为640×640。OOS参数设置为最大进化代数N=10,种群数n=27,阶段数T=0.3N。YOLO-GA^[9]方法采用的YOLOv5项目中的原有设置,变异概率为0.8,总的搜索代数与OOS保持一致。

(3)评价指标。#Param为模型参数量,FLOPS为模型浮点运算量,mAP@0.5为IOU阈值为0.5的平均精度,mAP@0.5-0.95为IOU阈值为0.5~0.95的平均精度。

2.2 实验结果与分析

2.2.1 NWPU VHR-10数据集的对比实验

为评估OOS的有效性,采用COCO的评价指标,在相同的实验设置下,对设计的子策略超参数进行10次重复实验。3个基准模型分别为YOLOv5s(r6.1)^[23]、YOLOv5s-Transformer^[23]、YOLOv7,性能指标统计结果如表1所示。

由表1可知,相比于原始模型,使用OOS的方法,在YOLOv5s模型上使mAP@0.5和mAP@0.5-0.95指标分别从93.16%和58.65%提升到93.94%(+0.78%)和60.00%(+1.35%);在YOLOv5s-Transformer模型上,使mAP@0.5和mAP@0.5-0.95指标从92.74%和58.20%提升到93.18%(+0.44%)和60.08%(+1.88%);在YOLOv7模型上,使mAP@0.5和mAP@0.5-0.95指标分别从93.29%和56.48%提升到93.45%(+0.16%)和56.98%(+0.5%)。

观察图1~图3可知,在mAP@0.5指标上,YOLOv7-OOS模型上精度的中位数和鲁棒性均优于YOLO-GA方法。在mAP@0.5-0.95和Fitness指标上,YOLOv5s、YOLOv5s-Transformer模型上精度的中位数均优于YOLO-GA方法,在YOLOv7模型上的中位数则与YOLO-GA方法相近、但有着更高的峰值。OOS方法能提升模型精度。

为进一步验证OOS与模型的结合是否具有显著的提升效果,实验以OOS方法为基准进行t检验,结果如表2所示。

由表2可知,在YOLOv5s上,OOS相对于原始模型提升2.09%,且具有显著性;相对于YOLO-GA提升2.71%,且具有显著性。在YOLOv5s-Transformer上,OOS相对于原始模型提升2.82%,且具有显著性;相对于YOLO-GA方法提升1.26%,且具有显著性。在YOLOv7上,OOS相对于原始模型提升0.77%,且具有显著性;同YOLO-GA方法相比无显著差异。

综上,OOS对应的盒子图分布更加密集,异常值较少,模型鲁棒性更强。

2.2.2 PASCAL VOC数据集的对比实验

为评估OOS的有效性,在相同的实验设置下,对设计的子策略超参数进行10次重复实验。3个基准模型分别为YOLOv5s(r6.1)、YOLOv5s-Transformer、YOLOv7,实验数据如表3所示。

由表3可知,相比于原始模型,使用OOS的方法,在YOLOv5s模型上使mAP@0.5和mAP@0.5-0.95指标分别从83.97%和60.38%提升到85.81%(+1.84%)和62.27%(+1.89%);在YOLOv5s-Transformer模型上使mAP@0.5和mAP@0.5-0.95指标分别从83.04%和58.64%提升到84.59% (+1.55%)和58.89% (+0.25%);在YOLOv7模型上使mAP@0.5和mAP@0.5-0.95指标分别从87.83%和68.15%提升到90.62%(+2.79%)和71.91%(+3.76%)。

由图4~图6可知,OOS方法在3个模型上相对于原始模型都有效地提升模型精度,且相比于YOLO-GA提升较为明显。其在mAP@0.5指标上,YOLOv5s-OOS、YOLOv7-OOS模型上精度的中位数和鲁棒性均优于YOLO-GA方法。其在mAP@0.5指标和Fitness指标上,YOLOv7-OOS模型上的中位数精度和鲁棒性均优于YOLO-GA方法。

为进一步观察OOS与模型的结合是否具有显著的提升效果,进行了t检验分析,结果如表4所示。

由表4可知,在模型 YOLOv5s上,OOS 相对原始模型提升3.01%,且具有显著性;但相对于YOLO-GA表现性能相近,不具有显著性。在模型YOLOv5s-Transformer上,OOS 相对于原模型提升0.62%,且具有显著性;但相对于YOLO-GA略有所下降。在模型 YOLOv7上,OOS 相对于原始模型提升5.22%,且具有显著性;相对于YOLO-GA提升1.26%,且具有显著性。

综上可知,YOLOv5s、YOLOv7、YOLOv5s-Transformer模型在PASCAL VOC数据集上的实验表明,相对于原模型,在使用OOS设计的正则化策略后皆有显著的性能提升。

3 结论

收起

提出基于正交优化策略的YOLO模型超参数优化方法实现超参数智能优化。该方法将正交设计理论和多因素多水平的试验设计方法引入超参数优化,基于统计学的正交试验原理提出种群的正交搜索方;利用种群的正交性特点设计超参数贡献度分析策略,以提高算法的优化效率;设计两阶段更新策略,第一阶段采用较大步长进行均匀正交搜索,第二阶段采用较小步长进行邻域正交搜索,以避免方法陷入局部最优和早熟收敛。在Pascal VOC和NWPU VHR-10两个目标检测数据集上的测试结果表明,所提出的基于正交优化策略的YOLO模型超参数优化方法能显著提高YOLOv7等目标检测模型的识别精度和鲁棒性。下一步将在其它目标检测模型以及分类、分割等任务上进一步深入研究。

基金

收起

国家自然科学基金(62163007)
国家自然科学基金(62373116)
贵州省科技计划(黔科合平台人才[2020]6007-2)
贵州省科技计划(黔科合支撑[2021]一般439)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Zhang

, Wang

, et al. FairMOT: on the fairness of detection and re-identification in multiple object tracking[J]. International Journal of Computer Vision, 2021, 129(11): 3069-3087.

[2]

蒲玲玲, 杨柳. 改进YOLOv5的多车辆目标实时检测及跟踪算法[J]. 科学技术与工程, 2023, 23(28): 12159-12167.

Lingling

, Yang

liu

. Improved real-time detection and tracking algorithm for multiple vehicle targets inYOLOv5[J]. Science Technology and Engineering, 2023, 23 (28): 12159-12167.

[3]

Feng

, Haase-Schutz

, Rosenbaum

, et al. Deep multi-modal object detection and semantic segmentation for autonomous driving: datasets, methods, and challenges[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(3): 1341-1360.

[4]

Zheng

J J

, Zou

Y Y

, Xu

, et al. A method for object recognition and robot grasping detection in multi-object scenes[C]// 15th International Conference on Intelligent Robotics and Applications. Harbin:Springer International Publishing, 2022: 189-196.

[5]

Han

, Liu

X H

, Chen

, et al. YOLO-SG: salience-guided detection of small objects in medical images[C]// 2022 IEEE International Conference on Image Processing. Bordeaux: IEEE, 2022: 4218-4222.

[6]

陈国栋, 林愉翔, 赵志峰, 等. 基于改进YOLOv3的施工升降机螺栓状态检测研究[J]. 贵州大学学报(自然科学版), 2022, 39(6): 81-86.

Chen

Guodong

, Lin

Yuxiang

, Zhao

Zhifeng

, et al. Research on bolt condition detection of construction hoist based on improved YOLOv3[J]. Journal of Guizhou University (Natural Sciences), 2022, 39(6): 81-86.

[7]

陈国栋, 王翠瑜, 张神德, 等. 基于改进YOLOv3的塔式起重机裂缝检测研究[J]. 贵州大学学报(自然科学版), 2021, 38(3):76-82.

Chen

Guodong

, Wang

Cuiyu

, Zhang

Shende

, et al. Research on crack detection of tower crane based on improved YOLOv3[J]. Journal of Guizhou University(Natural Science), 2021, 38(3): 76-82.

[8]

H Y

, Yang

G C

. Dietary nutritional information autonomous perception method based on machine vision in smart homes[J]. Entropy, 2022, 24(7): 868-874.

[9]

Chien-Yao

, Bochkovskiy

, Hong-Yuan

M L

. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Piscataway: IEEE, 2023: 7464-7475.

[10]

Kaur

, Aggarwal

, Rani

. Hyper-parameter optimization of deep learning model for prediction of Parkinson’s disease[J]. Machine Vision and Applications, 2020, 31(5): 31-46.

[11]

López

, Alaíz

C M

, Dorronsoro

J R

. Modified grid searches for hyper-parameter optimization[M]. Cham: Springer International Publishing, 2020: 221-232.

[12]

Abbasimehr

, Shabani

, Yousefi

. An optimized model using LSTM network for demand forecasting[J]. Computers & Industrial Engineering, 2020, 143: 1-13.

[13]

Motta

, Santos

A Á B

, Machado

B A S

, et al. Optimization of convolutional neural network hyperparameters for automatic classification of adult mosquitoes[J]. PLoS One, 2020, 15(7): e234959.

[14]

Gil-Gamboa

, Paneque

, Trull

, et al. Medium-term water consumption forecasting based on deep neural networks[J]. Expert Systems with Applications, 2024, 4: 247-263.

[15]

Felicetti

M J

, Wang

. Deep stochastic configuration networks with optimised model and hyper-parameters[J]. Information Sciences, 2022, 600: 431-441.

[16]

Liashchynskyi

. Grid search, random search, genetic algorithm: a big comparison for NAS[J]. arXiv Preprint, 2019: DOI:10.48550/arXiv.1912.06059.

[17]

Fan

, Maliki

, Yu

S W

, et al. Enhancing urban blue-green landscape quality assessment through hybrid genetic algorithm-back propagation(GA-BP) neural network approach: a case study in Fucheng, China[J]. Environmental Monitoring and Assessment, 2024, 196(5): 1-20.

[18]

Nikbakht

, Anitescu

, Rabczuk

. Optimizing the neural network hyperparameters utilizing genetic algorithm[J]. Journal of Zhejiang University: Science A, 2021, 22(6): 407-426.

[19]

, Deng

, Qiao

, et al. An efficient differential evolution algorithm based on orthogonal learning and elites local search mechanisms for numerical optimization[J]. Knowledge-Based Systems, 2022, 235: 107636.

[20]

Chien-Yao

, Bochkovskiy

, Liao

H M

. Scaled-YOLOv4: scaling cross stage partial network[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2021: 13024-13033.

[21]

Zhang

, Cisse

, Dauphin

Y N

, et al. Mixup:beyond empirical risk minimization[C]//2018 International Conference on Learning Representations (ICLR), Washington, DC: ICLR, 2018: 1-13.

[22]

Golnaz G Y C A S. Simple copy-paste is a strong data augmentation method for instance segmentation[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Piscataway: IEEE, 2021: 2917-2927.

[23]

Jocher

. YOLOv5 release v6.1[EB/OL]. (2022-02-22)[2023-10-12]. https://github.com/ultralytics/yolov5/releases/tag/v6.1. https://github.com/ultralytics/yolov5/releases/tag/v6.1

2025年第25卷第4期

PDF下载

378

145

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2309596

接收时间：2023-12-05
首发时间：2025-07-29
出版时间：2025-02-08

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-12-05
修回日期：2024-11-08

基金

国家自然科学基金(62163007)

国家自然科学基金(62373116)

贵州省科技计划(黔科合平台人才[2020]6007-2)

贵州省科技计划(黔科合支撑[2021]一般439)

作者信息

贵州大学现代制造技术教育部重点实验室, 贵阳 550025

通讯作者:

^*杨观赐(1983—),男,汉族,湖南嘉禾人,博士,教授。研究方向:自主智能系统与机器人、多模态数据融合认知计算。E-mail:gcyang@gzu.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2309596

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法1:基于正交优化策略的YOLO模型超参数优化方法.
输入:图像和标签{Image,Label} 输出:最佳的超参数、模型适应度g_bset 步骤1:初始化:步长因子c,阶段数T,最大进化代数N,边界约束矩阵l_imit,用1.4节中的式(11)初始化正则化策略的状态矩阵S_s_×_m(其中,s为超参数的状态数,m为超参数的个数),采用1.2节的种群的正交搜索方法得到初始化的正交搜索种群X_n_×_m(其中n为种群数),初始化全体x_j的适应度f_j形成矩阵F_1×_n 步骤2:For (i=1 to N-1) do 步骤3:For (j=0 to n-1) do 步骤4:训练并验证模型Model(x_j, Image),得到x_j的适应度f_j。步骤5:End for 步骤6:找到当前种群的最优个体g_bestX及其适应度g_best 步骤7:按照1.3节中的式(6)~式(8)计算得到新个体s_bestX 步骤8:训练并验证模型Model(s_bestX, Image)得到适应度s_best 步骤9:将s_best和g_best做比较,保留最优适应度更新g_best,保留相应的最优个体更新g_bestX 步骤10:更新正交搜索种群X_n_×_m 步骤10.1: If (i+1≤T) then 步骤10.2:按照1.4节中的式(11)更新状态矩阵S_s_×_m 步骤10.3: Else 步骤10.4:按照1.4节中的式(12)更新状态矩阵S_s_×_m 步骤10.5:通过1.2节中种群的正交搜索方法得到更新后的正交搜索种群X_n_×_m 步骤11:End for 步骤12:返回当前的最优个体对应的最佳策略超参数g_bestX,最优模型适应度g_bset

算法1:基于正交优化策略的YOLO模型超参数优化方法.

输入:图像和标签{Image,Label}
输出:最佳的超参数、模型适应度g_bset
步骤1:初始化:步长因子c,阶段数T,最大进化代数N,边界约束矩阵l_imit,用1.4节中的式(11)初始化正则化策略的状态矩阵S_s_×_m(其中,s为超参数的状态数,m为超参数的个数),采用1.2节的种群的正交搜索方法得到初始化的正交搜索种群X_n_×_m(其中n为种群数),初始化全体x_j的适应度f_j形成矩阵F_1×_n
步骤2:For (i=1 to N-1) do
步骤3:For (j=0 to n-1) do
步骤4:训练并验证模型Model(x_j, Image),得到x_j的适应度f_j。
步骤5:End for
步骤6:找到当前种群的最优个体g_bestX及其适应度g_best
步骤7:按照1.3节中的式(6)~式(8)计算得到新个体s_bestX
步骤8:训练并验证模型Model(s_bestX, Image)得到适应度s_best
步骤9:将s_best和g_best做比较,保留最优适应度更新g_best,保留相应的最优个体更新g_bestX
步骤10:更新正交搜索种群X_n_×_m
步骤10.1: If (i+1≤T) then
步骤10.2:按照1.4节中的式(11)更新状态矩阵S_s_×_m
步骤10.3: Else
步骤10.4:按照1.4节中的式(12)更新状态矩阵S_s_×_m
步骤10.5:通过1.2节中种群的正交搜索方法得到更新后的正交搜索种群X_n_×_m
步骤11:End for
步骤12:返回当前的最优个体对应的最佳策略超参数g_bestX,最优模型适应度g_bset

模型	#Param /M	FLOPs /G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	93.16	58.65
YOLOv5s+YOLO-GA	7.2	16.5	93.22	58.22
YOLOv5s+OOS	7.2	16.5	93.94	60.00
YOLOv5s-Transformer	7.2	15.9	92.74	58.20
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	93.50	59.17
YOLOv5s-Transformer+OOS	7.2	15.9	93.18	60.08
YOLOv7	36.9	104.7	93.29	56.48
YOLOv7+YOLO-GA	36.9	104.7	93.20	57.04
YOLOv7+OOS	36.9	104.7	93.45	56.98

模型

#Param
/M

FLOPs
/G

mAP@
0.5/%

mAP@0.5-
0.95/%

YOLOv5s

7.2

16.5

93.16

58.65

YOLOv5s+YOLO-GA

7.2

16.5

93.22

58.22

YOLOv5s+OOS

7.2

16.5

93.94

60.00

YOLOv5s-Transformer

7.2

15.9

92.74

58.20

YOLOv5s-Transformer+
YOLO-GA

7.2

15.9

93.50

59.17

YOLOv5s-Transformer+OOS

7.2

15.9

93.18

60.08

YOLOv7

36.9

104.7

93.29

56.48

YOLOv7+YOLO-GA

36.9

104.7

93.20

57.04

YOLOv7+OOS

36.9

104.7

93.45

56.98

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.297 00	2.09	t=5.089, p=6.6×10^-4	是
YOLOv5s+YOLO-GA	1.675 00	2.71	t=8.812, p=1×10^-5	是
YOLOv5s-Transformer	1.739 00	2.82	t=12.776, p=4.5×10^-7	是
YOLOv5s-Transformer+ YOLO-GA	0.788 00	1.26	t=7.663, p=3.1×10^-5	是
YOLOv7	0.466 00	0.77	t=4.246, p=2.2×10^-3	是
YOLOv7+YOLO-GA	-0.000 29	-0.05	t=-0.476, p=0.645	否

模型

绝对提
升/%

相对
提升/%

t检验

是否
显著

YOLOv5s

1.297 00

2.09

t=5.089,
p=6.6×10^-4

是

YOLOv5s+YOLO-GA

1.675 00

2.71

t=8.812,
p=1×10^-5

是

YOLOv5s-Transformer

1.739 00

2.82

t=12.776,
p=4.5×10^-7

是

YOLOv5s-Transformer+
YOLO-GA

0.788 00

1.26

t=7.663,
p=3.1×10^-5

是

YOLOv7

0.466 00

0.77

t=4.246,
p=2.2×10^-3

是

YOLOv7+YOLO-GA

-0.000 29

-0.05

t=-0.476,
p=0.645

否

模型	#Param/ M	FLOPs/ G	mAP@ 0.5/%	mAP@0.5- 0.95/%
YOLOv5s	7.2	16.5	83.97	60.38
YOLOv5s+YOLO-GA	7.2	16.5	85.44	62.38
YOLOv5s+OOS	7.2	16.5	85.81	62.27
YOLOv5s-Transformer	7.2	15.9	83.04	58.64
YOLOv5s-Transformer+ YOLO-GA	7.2	15.9	84.51	60.08
YOLOv5s-Transformer+OOS	7.2	15.9	84.59	58.89
YOLOv7	36.9	104.7	87.83	68.15
YOLOv7+YOLO-GA	36.9	104.7	89.96	70.96
YOLOv7+OOS	36.9	104.7	90.62	71.91

模型

#Param/
M

FLOPs/
G

mAP@
0.5/%

mAP@0.5-
0.95/%

YOLOv5s

7.2

16.5

83.97

60.38

YOLOv5s+YOLO-GA

7.2

16.5

85.44

62.38

YOLOv5s+OOS

7.2

16.5

85.81

62.27

YOLOv5s-Transformer

7.2

15.9

83.04

58.64

YOLOv5s-Transformer+
YOLO-GA

7.2

15.9

84.51

60.08

YOLOv5s-Transformer+OOS

7.2

15.9

84.59

58.89

YOLOv7

36.9

104.7

87.83

68.15

YOLOv7+YOLO-GA

36.9

104.7

89.96

70.96

YOLOv7+OOS

36.9

104.7

90.62

71.91

模型	绝对提升/%	相对提升/%	t检验	是否显著
YOLOv5s	1.89	3.01	t=25.239, p<1.0×10^-9	是
YOLOv5s+YOLO-GA	-0.06	-0.09	t=1.031, p=0.329	否
YOLOv5s-Transformer	0.38	0.62	t=7.183, p<1.0×10^-4	是
YOLOv5s-Transformer+ YOLO-GA	-1.06	-1.70	t=13.857, p<1.0×10^-6	是
YOLOv7	3.66	5.22	t=73.619, p<1.0×10^-13	是
YOLOv7+YOLO-GA	0.92	1.26	t=57.751, p<1.0×10^-12	是

模型

绝对
提升/%

相对
提升/%

t检验

是否
显著

YOLOv5s

1.89

3.01

t=25.239,
p<1.0×10^-9

是

YOLOv5s+YOLO-GA

-0.06

-0.09

t=1.031,
p=0.329

否

YOLOv5s-Transformer

0.38

0.62

t=7.183,
p<1.0×10^-4

是

YOLOv5s-Transformer+
YOLO-GA

-1.06

-1.70

t=13.857,
p<1.0×10^-6

是

YOLOv7

3.66

5.22

t=73.619,
p<1.0×10^-13

是

YOLOv7+YOLO-GA

0.92

1.26

t=57.751,
p<1.0×10^-12

是