汽车工程

数据集	有无雨标注	标注类型	是否真实	场景多样性	数量/ $103$ 张
KITTI^[17]	无		是	高	15
BDD100K^[18]	无		是	高	100
Cityscapes^[19]	无		是	高	25
CADC^[20]	无		是	高	7.50
Nuscense^[21]	有	有雨/无雨	是	高	40
Boreas^[22]	有	有雨/无雨	是	中	约880
Rain800^[23]	有	有雨/无雨	否（人工合成）	中	0.80
Rain12600^[24]	有	14种降雨	否（人工合成）	中	12.60
SPA^[25]	有	有雨/无雨	是	低	0.15
SIRR^[26]	有	有雨/无雨	是	低	1
NMRD （ours）	有	无雨/大雨/ 中雨/小雨	是	中	1.95

数据集	有无雨标注	标注类型	是否真实	场景多样性	数量/ $103$ 张
KITTI^[17]	无		是	高	15
BDD100K^[18]	无		是	高	100
Cityscapes^[19]	无		是	高	25
CADC^[20]	无		是	高	7.50
Nuscense^[21]	有	有雨/无雨	是	高	40
Boreas^[22]	有	有雨/无雨	是	中	约880
Rain800^[23]	有	有雨/无雨	否（人工合成）	中	0.80
Rain12600^[24]	有	14种降雨	否（人工合成）	中	12.60
SPA^[25]	有	有雨/无雨	是	低	0.15
SIRR^[26]	有	有雨/无雨	是	低	1
NMRD （ours）	有	无雨/大雨/ 中雨/小雨	是	中	1.95

参数类型	参数名称	参数设置
目标物参数	行人型号	walker.pedestrian.0016
行人纵向距离	20 m
雨	0	10%	20%	50%
云	0	70%	80%	90%
地面积水	0	50%	70%	100%
湿度	0	10%	20%	40%

参数类型	参数名称	参数设置
目标物参数	行人型号	walker.pedestrian.0016
行人纵向距离	20 m
雨	0	10%	20%	50%
云	0	70%	80%	90%
地面积水	0	50%	70%	100%
湿度	0	10%	20%	40%

参数类型	参数名称	参数设置
目标物参数	行人型号	PedWithUmbrella
行人纵向距离	20 m
雨	0	30%	60%	90%
云	0	90%	95%	100%
地面干湿度	0	10%	40%	70%

参数类型	参数名称	参数设置
目标物参数	行人型号	PedWithUmbrella
行人纵向距离	20 m
雨	0	30%	60%	90%
云	0	90%	95%	100%
地面干湿度	0	10%	40%	70%

参数类型	参数名称	参数设置
目标物参数	行人型号	Male_adult
行人纵向距离	20 m
雨	0	10%	25%	100%
能见度	100%	100%	50%	15%
地面反射	0	10%	20%	50%

参数类型	参数名称	参数设置
目标物参数	行人型号	Male_adult
行人纵向距离	20 m
雨	0	10%	25%	100%
能见度	100%	100%	50%	15%
地面反射	0	10%	20%	50%

降雨强度	∆MR	∆CC
小雨	0.000	0.009
中雨	0.000	-0.026
大雨	0.000	0.014

降雨强度	∆MR	∆CC
小雨	0.000	0.009
中雨	0.000	-0.026
大雨	0.000	0.014

评价指标	DR	CC
降雨等级	小雨	中雨	大雨	小雨	中雨	大雨
场地物理模拟降雨A	0.085	0.008	0.017	0.047	0.008	0.007
场地物理模拟降雨B	0.002	0.003	0.002	0.004	0.004	0.006
仿真数字模拟降雨A	0.002	0.005	0.007	0.014	0.021	0.030
仿真数字模拟降雨B	0.002	0.002	0.002	0.010	0.021	0.030
仿真数字模拟降雨C	0.001	0.001	0.001	0.009	0.008	0.012
生成模型模拟降雨	0.003	0.001	0.003	0.015	0.053	0.030

评价指标	DR	CC
降雨等级	小雨	中雨	大雨	小雨	中雨	大雨
场地物理模拟降雨A	0.085	0.008	0.017	0.047	0.008	0.007
场地物理模拟降雨B	0.002	0.003	0.002	0.004	0.004	0.006
仿真数字模拟降雨A	0.002	0.005	0.007	0.014	0.021	0.030
仿真数字模拟降雨B	0.002	0.002	0.002	0.010	0.021	0.030
仿真数字模拟降雨C	0.001	0.001	0.001	0.009	0.008	0.012
生成模型模拟降雨	0.003	0.001	0.003	0.015	0.053	0.030

调整显著性	P
降雨等级	小雨-中雨	小雨-大雨
场地物理模拟降雨A	0.220	0.000**
场地物理模拟降雨B	0.000**	0.000**
仿真数字模拟降雨A	0.041*	0.000**
仿真数字模拟降雨B	0.000**	0.000**
仿真数字模拟降雨C	0.000**	0.000**
生成模型模拟降雨	0.000**	0.000**

调整显著性	P
降雨等级	小雨-中雨	小雨-大雨
场地物理模拟降雨A	0.220	0.000**
场地物理模拟降雨B	0.000**	0.000**
仿真数字模拟降雨A	0.041*	0.000**
仿真数字模拟降雨B	0.000**	0.000**
仿真数字模拟降雨C	0.000**	0.000**
生成模型模拟降雨	0.000**	0.000**

破坏程度	数值范围	趋势
降雨等级	小雨	中雨	大雨	小雨-中雨	小雨-大雨
真实降雨	25百分位数	25.2%	44.6%	41.3%	上升	上升
75百分位数	53.5%	71.1%	73.2%
场地物理模拟降雨A	↑	↑	√	×	×
场地物理模拟降雨B	↓	√	↑	√	√
仿真数字模拟降雨A	√	√	√	×	√
仿真数字模拟降雨B	↑	√	√	×	×
仿真数字模拟降雨C	↑	↑	↑	√	√
生成模型模拟	↑	↑	↑	√	×

破坏程度	数值范围	趋势
降雨等级	小雨	中雨	大雨	小雨-中雨	小雨-大雨
真实降雨	25百分位数	25.2%	44.6%	41.3%	上升	上升
75百分位数	53.5%	71.1%	73.2%
场地物理模拟降雨A	↑	↑	√	×	×
场地物理模拟降雨B	↓	√	↑	√	√
仿真数字模拟降雨A	√	√	√	×	√
仿真数字模拟降雨B	↑	√	√	×	×
仿真数字模拟降雨C	↑	↑	↑	√	√
生成模型模拟	↑	↑	↑	√	×

降雨等级	小雨	中雨	大雨
评价指标	∆CC	∆CC	∆CC
真实降雨	25百分位数	-0.016	-0.067	-0.019
75百分位数	0.038	-0.003	0.071
场地物理模拟降雨A	√	↑	↑
场地物理模拟降雨B	↑	↑	√
仿真数字模拟降雨A	√	↑	√
仿真数字模拟降雨B	√	↑	√
仿真数字模拟降雨C	√	↑	↑
生成模型模拟降雨	√	↓	√

降雨等级	小雨	中雨	大雨
评价指标	∆CC	∆CC	∆CC
真实降雨	25百分位数	-0.016	-0.067	-0.019
75百分位数	0.038	-0.003	0.071
场地物理模拟降雨A	√	↑	↑
场地物理模拟降雨B	↑	↑	√
仿真数字模拟降雨A	√	↑	√
仿真数字模拟降雨B	√	↑	√
仿真数字模拟降雨C	√	↑	↑
生成模型模拟降雨	√	↓	√

降雨等级	DR数值范围	DR趋势	MR数值范围	$∆$ CC数值范围	综合真实度
场地物理模拟降雨A	★☆☆	☆☆	/	★☆☆	☆☆☆
场地物理模拟降雨B	★☆☆	★★	/	★☆☆	★☆☆
仿真数字模拟降雨A	★★★	★☆	/	★★☆	★★☆
仿真数字模拟降雨B	★★☆	☆☆	/	★★☆	★☆☆
仿真数字模拟降雨C	☆☆☆	★★	/	★☆☆	★☆☆
生成模型模拟降雨	☆☆☆	★☆	/	★★☆	★☆☆

降雨等级	DR数值范围	DR趋势	MR数值范围	$∆$ CC数值范围	综合真实度
场地物理模拟降雨A	★☆☆	☆☆	/	★☆☆	☆☆☆
场地物理模拟降雨B	★☆☆	★★	/	★☆☆	★☆☆
仿真数字模拟降雨A	★★★	★☆	/	★★☆	★★☆
仿真数字模拟降雨B	★★☆	☆☆	/	★★☆	★☆☆
仿真数字模拟降雨C	☆☆☆	★★	/	★☆☆	★☆☆
生成模型模拟降雨	☆☆☆	★☆	/	★★☆	★☆☆

针对降雨模拟方法的机器视觉真实度对比研究^*

PDF下载

陈君毅 ¹ , 夏天 ¹ , 刘镇源 ¹ , 贾通 ¹ , 王潇屹 ² , 马雪寒 ² , 邢星宇 ¹ , 吴建峰 ¹

汽车工程 | 专题：汽车智能化关键技术 2025,47(3): 449-459

收起

汽车工程 | 专题：汽车智能化关键技术 2025, 47(3): 449-459

针对降雨模拟方法的机器视觉真实度对比研究^*

全屏

陈君毅¹, 夏天¹, 刘镇源¹, 贾通¹, 王潇屹², 马雪寒², 邢星宇¹, 吴建峰¹

作者信息

¹ 同济大学汽车学院，上海 201804

² 上海机动车检测认证技术研究中心有限公司，上海 201805

通讯作者:

陈君毅，讲师，工学博士，E-mail：chenjunyi@tongji.edu.cn。

A Comparative Study on the Machine Vision Realism of Rainfall Simulation Methods

Junyi Chen¹, Tian Xia¹, Zhenyuan Liu¹, Tong Jia¹, Xiaoyi Wang², Xuehan Ma², Xingyu Xing¹, Jianfeng Wu¹

Affiliations

¹ School of Automotive Studies，Tongji University，Shanghai 201804

² Shanghai Motor Vehicle Inspection Certification & Tech Innovation Center Co.，Ltd.，Shanghai 201805

出版时间: 2025-03-25 doi: 10.19562/j.chinasae.qcgc.2025.03.007

文章导航

摘要

收起

针对降雨这一视觉感知系统高暴露率及高风险触发条件,各类降雨模拟方法是主要的测试手段,但模拟降雨的真实度,会影响到测试结果的置信度。本文从图像质量与目标检测两方面选取指标,量化降雨对机器视觉产生的影响,以真实降雨下指标变化的数值范围与趋势为基准,对比研究不同降雨模拟方法在机器视觉维度上的真实度。此外,本文采集无雨及各级真实降雨图像共1950张构建数据集,以得到真实降雨对机器视觉影响的统计性规律,并选取2处模拟降雨测试场地、3款仿真软件和1个生成模型进行降雨模拟测试,横向对比分析不同类型降雨模拟方法的真实度。结果显示,图像质量方面,仿真软件与场地模拟降雨设备能较好地在破坏程度的数值范围与趋势上模拟真实降雨;目标检测方面,仿真软件与生成模型在分类置信度变化值的数值范围上更接近真实降雨。总体来说,在机器视觉真实度方面数字仿真模拟降雨表现较好,后续依次为场地物理模拟降雨和生成模型模拟降雨,为智能网联汽车视觉感知系统的预期功能安全测试提供了参考。

关键词

降雨模拟 / 真实度分析 / 机器视觉 / 视觉感知系统

Abstract

收起

Given the high exposure and risk of rainfall as a trigger condition for visual perception systems, various rainfall simulation tests are the main research methods. However, the realism of rain simulation of different testing methods impacts the confidence in test conclusions. In this study indicators are selected to quantify the impact of rainfall on machine vision from the aspects of image quality and object detection. Using the numerical range and trend of index changes under real rainfall as a benchmark, the comparative study of the realism of different rainfall simulation methods in the dimension of machine vision is carried out. Additionally, in this study 1 950 images of no rain and various levels of real rainfall are collected to construct a dataset, so as to obtain statistical patterns of the impact of real rainfall on machine vision. Two simulated rainfall test sites, three simulation software, and one generative model are selected for rainfall simulation tests to compare and analyze the realism of different types of rainfall simulation methods horizontally. The results show that, in terms of image quality, simulation software and rainfall simulation equipment can better simulate the real rain in terms of DR value range and trend. Regarding target detection, simulation software and generative model are closer to real rainfall in terms of CC change values. Overall, in terms of realism, digital simulation of rainfall performs best, followed by physical rainfall simulation on site and generative model, providing a reference for testing the SOTIF of the visual perception system of intelligent and connected vehicles.

Key words

rainfall simulation / realism assessment / machine vision / visual perception system

引用本文

陈君毅, 夏天, 刘镇源, 贾通, 王潇屹, 马雪寒, 邢星宇, 吴建峰. 针对降雨模拟方法的机器视觉真实度对比研究^*. 汽车工程, 2025 , 47 (3) : 449 -459 . DOI: 10.19562/j.chinasae.qcgc.2025.03.007

Junyi Chen, Tian Xia, Zhenyuan Liu, Tong Jia, Xiaoyi Wang, Xuehan Ma, Xingyu Xing, Jianfeng Wu. A Comparative Study on the Machine Vision Realism of Rainfall Simulation Methods[J]. Automotive Engineering, 2025 , 47 (3) : 449 -459 . DOI: 10.19562/j.chinasae.qcgc.2025.03.007

正文

收起

前言

收起

视觉感知系统作为智能网联汽车的“眼睛”，为车辆提供外界图像信息，其鲁棒性和可靠性直接关系到汽车行驶过程的安全性。但系统容易受到恶劣天气条件与复杂交通环境等各类触发条件的影响，使其无法实现预期功能，导致预期功能安全（safety of the intended functionality，SOTIF）问题^[1]，且面向安全的感知系统测试仍存在挑战^[2]。

其中降雨是较高风险的触发条件^[3]，探究其对视觉感知系统的影响，可以通过虚拟仿真测试、封闭场地测试和真实道路测试展开研究^[4-5]。如Jiang等^[6]基于仿真软件搭建了黑箱测试平台，探究降雨对于图像质量以及目标检测的影响；蒋渊德等^[7]通过设置静态与动态的场地降雨模拟实验，从图像质量与目标特征检测两个层面探究降雨对于视觉感知的影响。此外，针对视觉感知系统也衍生出了基于图像生成模型的测试方法，如Wei等^[8]构建生成对抗网络模型，将正常天气条件的图像变换到降雨条件，以针对性测试环境感知系统的性能。

然而各类测试方法存在各自的局限。虚拟仿真测试的真实可信度很大程度上取决于对真实环境的模拟程度^[9]。场地模拟降雨测试设备建设缺乏统一标准规范，呈现效果不一，导致部分测试结果公信度低。真实道路测试中诸多环境条件均不受人为控制。基于图像生成模型的降雨模拟真实度很大程度上取决于数据集的质量^[10]。对于视觉感知系统，降雨模拟方法复现真实降雨对机器视觉影响的真实度，直接影响到相关测试结论。因此以真实降雨为基准，量化分析各类降雨模拟方法的机器视觉真实度，以保证测试结果的置信度很有必要。

为解决上述问题，本文从图像质量与目标检测两方面探究各级真实降雨对于机器视觉产生影响的规律，并以此为基准，对比分析各类降雨模拟方法的机器视觉真实度。首先，从图像质量和目标检测两方面选取评价指标，量化降雨对机器视觉的影响，构建真实度对比研究框架；然后设计静态场景，采集4类降雨图像，包括真实降雨图像、场地物理模拟降雨图像、仿真数字模拟降雨图像和生成模型模拟降雨图像；最后计算评价指标，揭示各级真实降雨对于机器视觉影响的规律，并以此为基准对比不同降雨模拟方法下指标结果是否与真实降雨相符，研究各类降雨模拟方法的机器视觉真实度。

1 机器视觉真实度对比研究框架

收起

针对智能网联汽车测试而言，不同的降雨模拟方法不仅影响原始图像质量，也可能导致不同的目标检测结果，使得测试结果存在差异。因此，本节从图像质量和目标检测两个方面选取评价指标，量化降雨对机器视觉的影响，构建机器视觉真实度对比研究框架。

1.1 真实度对比研究流程

图1为降雨模拟方法机器视觉真实度对比研究流程。首先，在真实降雨和不同模拟降雨下，输出图像数据；然后，基于降雨对机器视觉影响的量化方法，揭示各级真实降雨对于视觉感知系统影响的统计性规律；再者，以此为基准对比多类模拟降雨对于机器视觉产生的影响是否一致；最终分析得到降雨模拟方法的机器视觉真实度。

由于不同测试方法的输出图像在场景信息、清晰度以及分辨率等方面均存在不同，而以上差异会导致图像质量及目标检测指标数值基准分布的不同。故而，无法直接使用指标的数值反映降雨带来的影响，也无法比较不同降雨模拟方法的真实度。

本文提出的量化方法通过选取图像质量与目标检测两方面的评价指标，以对应测试方法无雨图像的指标平均值作为基准，计算指标相较于基准的变化情况来量化降雨对机器视觉不同方面产生的影响，从而避免由于不同测试方法输出图像差异导致无法比较的问题。

1.2 图像质量评价指标

本文选取Brenner^[11]与Tenengrad^[12]两个无参考评价指标，来比较不同场景下无雨与不同等级降雨下图像质量的差异。两个指标通过不同方式量化图像中的细节或边界信息，反映图像的整体清晰度。因此，从原理上，以上指标能够量化降雨对于图像产生大部分影响，包括镜头水渍、弱光照等导致的图像清晰度降低，以及图像细节被破坏。

Brenner梯度函数通过间隔像素灰度值的差的平方来计算图像梯度，评估图像模糊度，函数数值越大，细节信息越丰富，图像越清晰。其计算公式为

D B r e f = ∑ i, j g i, j - g i + 2, j 2

（1）

式中：

D B r e f

为图像Brenner函数值；

f

为输入图像；

g i, j

为图像在

i, j

处的像素灰度值。

Tenengrad梯度函数使用Sobel算子对于图像水平与垂直方向的梯度信息进行提取，综合每个像素点梯度值，函数数值越大，包含更多边缘信息，图像拥有更好的清晰度。其计算公式为

D T e n f = ∑ j ∑ i G i, j, G i, j > T

（2）

G i, j = G x i, j 2 + G y i, j 2

（3）

式中：

D T e n f

为图像Tenengrad函数值；

f

为输入图像；

G x i, j

与

G y i, j

分别为像素点

i, j

处与Sobel水平与垂直检测算子的卷积；

T

为设定的边缘检测阈值参数。

本文旨在通过对比真实降雨，评估不同降雨模拟的真实性。由于各类模拟方法生成的图像在分辨率和清晰度上存在差异，Brenner与Tenengrad指标受这些差异影响，无法直接通过数值反映降雨对图像的影响。为此，本文将各类方法下无雨图像的指标均值作为基准，计算不同降雨等级下图像指标的下降比例，作为图像质量评价标准，用以综合比较不同降雨模拟方法的效果。指标取值范围为[0，1]，计算公式为

D R f b, f r = D f b ¯ - D f r D f b ¯

（4）

式中：

D R

（damage ratio，DR）为降雨对于图片质量的破坏程度；

f b

为无雨基准图像；

f r

为有雨图像；

D (f)

为前文Brenner与Tenengrad函数值；

D f b ¯

为无雨基准图片函数值计算结果的平均值。

由于真实降雨多变且不可控，图像采集时很难同时保证场景多样性及三级降雨下图像场景的一一对应。因此在计算真实降雨下DR时使用尽可能多样背景无雨图像的指标结果平均值作为基准。

1.3 目标检测评价指标

近年来，基于深度学习的目标检测算法成为主流，基于结构差异可分为：双阶段算法，如Faster R-CNN^[13]等，以及单阶段算法，如YOLO^[14]等。本文选取了具有代表性的单阶段YOLOv8算法完成目标物检测任务，其检测mAP为43.4%^[15]。

针对目标检测效果，本文从状态和存在两个维度选取分类置信度（classification confidence，CC）和漏检率（missing rate，MR）^[16]作为评价指标，量化降雨条件下识别结果与无雨条件下识别结果差异。其中CC表示检测结果属于某一类的概率，由算法直接输出。MR表示以一次检测任务中目标物未被检测到的比例，具体计算公式为

M R = F N T P + F N

（5）

式中：

M R

为漏检率；

F N

为假阴样本例数；

T P

为真阳样本例数。

2 降雨图像采集

收起

本节介绍真实降雨以及各类降雨模拟方法下图像采集的结果。由于以真实降雨下指标规律为对比基准，本文采集多样场景下的无雨及各级降雨图像共1 950张，以获取其统计性结果。其他各降雨模拟方法，仅采集同一场景下无雨与三级模拟降雨图像各50张。此外，对所有方法输出图像中心裁剪尺寸为1080

×

700。

本文选取行人作为预期感知要素，图像采集基础场景的设置为，视觉传感器纵向方向20 m处有一行人，出现形式包括但不限于打伞的行人和推自行车的行人。

2.1 真实降雨

调研现有常用图像数据集，对比结果如表1所示。现有数据集大多在良好天气状态下采集，缺乏真实降雨图像。少数包含降雨条件的数据集，其标注也仅停留在顶层信息（有雨、无雨），或为人工合成的数据，无法区分具体的降雨等级，难以适用于本文的真实度分析框架。

本文结合前置研究^[27]构建并扩充真实多级降雨图像数据集（natural multilevel rain dataset，NMRD），采集分级真实降雨下多样场景的图片，且设置目标物，能够作为真实度对比的基准。数据采集平台如图2所示，车上搭载德尔福IFV 300（Mobileye EyeQ3）摄像头，用于采集真实道路场景。

图像采集时，参照团体标准T/CMSA 0013—2019 《短时气象服务降雨量等级》^[28]中的降雨等级，以2、4 mm/h为界划分小中大3个降雨等级，通过翻斗式雨量计采集雨强进行降雨等级判断，分别采集如图3和图4所示的原始感知图像共1 950张。

其中，针对图像质量评价，通过选取尽可能多样的场景以扩展指标分布区间，最终采集得到800张不同场景下的图像，其中无雨以及三级降雨下图像各200张。针对目标检测评价，选定11个小雨场景，7个中雨场景，5个大雨场景，布置目标物，每个包含目标物的场景输出50张图像，以此对行人进行检测。

2.2 场地物理模拟降雨

场地物理模拟降雨基于可分级调节降雨强度的模拟降雨设备开展。为对比不同的降雨模拟设备，分别在两处不同的模拟降雨测试场地完成实验，并选择无雨、小雨、中雨、大雨 4个工况进行模拟，实验设置如前文所述，其输出结果如图5和图6所示。

2.3 仿真数字模拟降雨

本文基于现有3款主流的仿真软件，下面以仿真软件A、B、C代称。通过调整不同的场景参数，对于降雨展开仿真模拟，场景参数设置如表2~表4所示。图像输出结果如图7~图9所示。

2.4 生成模型模拟降雨

本文选取基于生成对抗网络构建的分级降雨图像生成模型RCCycleGAN^[27]。该模型相比于传统的Cycle GAN^[29]和DerainCycleGAN^[8]更好地保留图像结构信息，减少图像扭曲现象，图像噪声水平较低，可以保留更多色彩信息，同时还具有一定的泛化性，并支持大中小三级降雨图像的生成。向模型输入无雨图像，获取各级降雨强度图像，图10展示了的模型生成结果。

3 机器视觉真实度对比研究

收起

本节基于机器视觉真实度对比研究框架，揭示真实降雨对于机器视觉影响的规律，并以此为基准对比研究各降雨模拟方法的真实度。

3.1 真实降雨规律

基于图像质量与目标检测评价指标，从指标数值与趋势上探究真实降雨对于视觉感知系统产生影响的规律。通过对真实降雨样本进行假设检验，若指标满足各降雨等级之间的差异性检验，则同时分析趋势和数值范围的规律，否则仅探讨该指标的数值范围。由于采集到的样本在指标分布上不满足正态分布且样本量较小，选择非参数检验中的K-W（Kruskal-Wallis）检验。

图像质量方面，基于各级真实降雨的图像，首先计算Brenner和Tenengrad梯度函数值，指标计算结果如图11与图12所示。指标在整体趋势上具有较强的一致性，因此本文对于以上指标进行了相关性分析。基于Spearman相关性分析，结果显示两个指标之间存在强相关性（ρ=0.943，P=0.000<0.05）。因此，本文后续只选取Brenner梯度函数计算各级降雨下的DR。

以真实无雨下的图像的Brenner函数的平均值为基础，计算并比较各级降雨对于图像质量的破坏程度，数据结果如图13所示。基于Brenner函数的破坏程度在三级降雨下差异显著（H=100.213，P=0.00<0.05），依据Bonferroni法调整显著性水平，进行事后检验，发现其中小雨-中雨（P=0.00<0.05）以及小雨-大雨（P=0.00<0.05）差异显著，但中雨-大雨差异无统计学意义。随降雨等级增加，指标整体趋势先显著上升后保持中高数值。

目标检测方面，以无雨时的目标检测结果作为参照，比较各级真实降雨下MR与CC相较于无雨时的变化值

∆

MR与

∆

CC，表征降雨对于图像检测效果的影响。

∆

MR与

∆

CC平均值结果如表5所示。真实降雨数据中各降雨强度均未导致漏检。

∆

CC在各级降雨条件下不满足显著性检验（H=0.841，P=0.66>0.05），差异不显著。

∆

CC计算结果如图14所示。

3.2 模拟降雨结果

首先基于各类模拟降雨下指标的四分位差，探究其波动情况。由于各个降雨模拟测试方法下算法均未漏检，因此只计算DR和CC在三级降雨下的四分位差，反映在各类模拟降雨特定等级下指标的分布情况，计算结果汇总见表6。

由表可知，两项指标在各类模拟降雨下的指标分布相较于两项指标数值[0，1]的数值区间，波动均较小，因此使用指标平均值表征各类模拟降雨下图像质量以及目标检测的结果，进行后续的比较分析。

3.2.1 场地物理模拟降雨

图像质量方面，计算场地物理模拟降雨下DR的数值，其结果如图15所示。其中，场地物理模拟降雨A随着降雨强度的增加，DR呈现减小趋势；模拟降雨B随降雨强度增加DR增加。

目标检测方面，计算两种场地物理模拟降雨下的目标物的CC，其结果如图16所示。其中，场地物理模拟降雨A随着降雨强度增加，CC先减后增； B随着降雨强度的增加，CC先增后减。

3.2.2 仿真数字模拟降雨

仿真数字模拟降雨下DR结果如图17所示。其中仿真数字模拟降雨A随着降雨等级的增加，DR先减后增；模拟降雨B随降雨等级增加，DR先增后减；模拟降雨C随降雨等级增加，DR先增后平。

仿真数字模拟降雨下CC结果如图18所示，随着降雨强度的增加，CC均无明显趋势。

3.2.3 生成模型模拟降雨

生成模型模拟降雨下DR结果见图19，随着降雨强度增加，DR呈先增后减的趋势。

生成模型模拟降雨下CC结果如图20所示，且随着降雨强度的增加，CC呈先减后增的趋势。

3.3 结果对比与分析

3.3.1 图像质量结果

进一步对于真实降雨和各模拟降雨下图像质量的指标结果进行汇总分析，其中真实降雨为其他模拟方法的对照基准。由于在真实降雨下，DR存在显著性差异，因此从指标DR的数值与趋势两方面与各降雨模拟方法展开对比。

在指标数值范围上，以各级真实降雨破坏程度的25百分位数与75百分位数，表征真实降雨对图像产生的影响范围，从而探究模拟降雨指标平均值是否符合真实降雨指标分布区间。

在指标趋势上，真实降雨条件下，随降雨强度的增加，图像质量在小雨-中雨以及小雨-大雨满足上升趋势。对于各类降雨模拟方法，验证降雨等级间的差异性，结果汇总见表7。除去场地物理模拟降雨A在小雨-中雨等级没有显著性差异，其他降雨模拟方法均满足检验。

各类降雨下图像破坏程度结果汇总如图21和表8所示。其中场地物理模拟降雨A在小雨下的DR最大，且小雨和中雨的破坏程度均高于真实降雨，与真实降雨的趋势不符。对于场地物理模拟降雨B，DR在小雨-中雨和小雨-大雨的趋势上呈上升，且满足差异性检验，但只有中雨等级的DR位于真实降雨指标分布区间内。

在仿真数字模拟中，只有仿真软件C的趋势在小雨-中雨和小雨-大雨等级间均上升，且满足差异性检验。仿真软件A在各级降雨下的DR均符合真实降雨区间，仿真软件B在小雨下DR过高，而C在各级降雨下DR都高于真实降雨，且差距较大。总体来看，仿真软件A的模拟效果最佳，B和C存在一定偏差。

生成模型模拟中，随雨强增加DR先增后减，但大雨等级DR最小，且各级DR均高于真实降雨区间。

3.3.2 目标检测结果

（1） ∆MR对比

对于行人目标物，场地物理模拟降雨、生成模型模拟降雨和仿真数字模拟降雨均未导致漏检，与真实降雨保持一致。

（2） ∆CC对比

真实降雨和各模拟方法下∆CC结果对比如表9所示，其中真实降雨为其他模拟方法的对照基准。

由于∆CC不存在显著性差异，故通过对比

∆

CC的数值范围对比各模拟方法。综合来看，各类模拟降雨在中雨条件下均不在真实降雨的第25至第75百分位数范围内。而仿真软件A、仿真软件B与生成模型降雨模拟下的∆CC在小雨和大雨等级下均符合真实降雨的指标分布范围。

3.3.3 汇总分析

本节对于前文真实度分析的各个指标比较维度汇总为表10。其中除去漏检率不做考量，在DR数值范围、DR趋势以及

∆

CC数值范围3个维度横向比较各类降雨模拟方法。每个维度的真实度得分取决于模拟方法能够在哪些降雨等级下与真实降雨呈现规律一致。而综合真实度由以上3个维度的平均真实度得到。整体而言，并没有降雨模拟方法能够在所有比较维度均与真实降雨保持一致。横向比较不同降雨模拟方法，在机器视觉真实度方面仿真数字模拟降雨A最接近真实降雨，仿真数字模拟降雨B与场地物理模拟降雨B次之，其他模拟方法存在一定偏差。

4 结论

收起

智能网联汽车环境感知系统仍存在一定预期功能安全问题，亟须大量的测试，然而各测试方法间对触发条件模拟的真实度差异较大，同时缺少对模拟真实度的评价。本文以降雨触发条件为例，探究各类降雨模拟方法在机器视觉维度上的真实度。首先构建评价指标集，用于量化对比各降雨模拟方法差异；然后构建真实降雨图像数据集，选取2处模拟降雨测试场地、3款仿真软件和1个生成模型进行降雨模拟测试；最后以真实降雨下指标的规律为基准，从图像质量和目标检测结果两个维度横向对比各降雨模拟方法，发现仿真数字模拟降雨相较于其他两类方法具有相对较高的机器视觉真实度，为智能网联汽车视觉感知系统的预期功能安全测试提供了参考。

未来工作将从以下几个方面展开：（1）受天气等不确定性因素的影响，本文采集的各类降雨图像数量较少，后续将扩大数据样本，并改善实验设置，扩充并揭示对于各级降雨具有差异性的指标，如检测距离误差、交并比等；（2）本文对于各类模拟降雨的设置单一，后续将通过对比各类模拟方法下不同降雨设置来完善对于各类模拟方法的真实度评价；（3）本文数据集中降雨等级的划分仍欠缺准确性，后续可以基于更精确的实时降雨采集设备完善数据集的构建；（4）对于不同的降雨模拟方法，能够提出针对性的真实度量化评价方法，如对于场地模拟降雨关注其在微观雨滴分布层面的真实度。

基金

收起

^*国家重点研发计划项目(2022YFB2503001)
中央高校基本科研业务费专项资金资助

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

International Organization for Standardization. Road vehicles-safety of the intended functionality：ISO 21448 [S]. Geneva，Switzerland：ISO，2022：1.

[2]

HOSS M，SCHOLTES M，ECKSTEIN L. A review of testing object-based environment perception for safe automated driving [J].Aulomotive Innovation，2022，5（3）：223-250.

[3]

陈君毅，刘镇源，杨雪珠，等.感知系统触发条件穿透率评估方法研究[J].汽车工程，2024，46（4）：577-587.

CHEN J Y，LIU Z Y，YANG X Z，et al. Evalution method for the penetration rate of perception system triggering conditions[J]. Automotive Engineering，2024，46（4）：577-587.

[4]

Working Party on Automated/Autonomous and Connected Vehicles. Proposal for a second iteration of the new assessment/test method for automated driving-master document [Informal Document] [Z]. United Nations，2022.

[5]

OICA. Future certification of automated/autonomous driving systems [EB/OL]. [2019-01-28]. https：//unece.org/fileadmin/DAM/trans/doc/2019/wp29grva/GRVA-02-09e.pdf.

[6]

JIANG W，XING X Y，HUANG A，et al. Research on performance limitations of visual-based perception system for autonomous vehicle under severe weather conditions[C]. IEEE Intelligent Vehicles Symposium （IV）. IEEE，2022：586-593.

[7]

蒋渊德，孙朋朋，秦孔建，等.雨雪天气对自动驾驶视觉图像质量的影响[J].中国公路学报，2022，35（3）：307-316.

JIANG D Y，SUN P P，QIN K J，et al. Influence of rain and snow on autonomous vehicles’ camera[J]. China Journal of Highway and Transport，2022，35（3）：307-316.

[8]

WEI Y，ZHANG Z，WANG Y，et al. Deraincyclegan：rain attentive cyclegan for single image deraining and rainmaking[J]. IEEE Transactions on Image Processing，2021，30：4788-4801.

[9]

SON W，HA Y，OH T，et al. PG-based vehicle-in-the-loop simulation for system development and consistency validation[J]. Electronics，2022，11（24）：4073.

[10]

XU W，SOULY N，BRAHMA P P. Reliability of GAN generated data to train and validate perception systems for autonomous vehicles[C]. 2021 IEEE Winter Conference on Applications of Computer Vision Workshops （WACVW）. IEEE，2021：171-180.

[11]

BRENNER J F，DEW B S，HORTON J B，et al. An automated microscope for cytologic research a preliminary evaluation[J]. Journal of Histochemistry & Cytochemistry，1976，24（1）：100-111.

[12]

TENENBAUM J M. Accommodation in computer vision[M]. Stanford University，1971.

[13]

REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[14]

REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once：unified，real-time object detection[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2016：779-788.

[15]

MA M，PANG H. SP-YOLOv8s：an improved YOLOv8s model for remote sensing image tiny object detection[J]. Appl. Sci.，2023，13：8161.

[16]

JHONG S Y，CHEN Y Y，HSIA C H，et al. Nighttime object detection system with lightweight deep network for internet of vehicles[J]. Journal of Real-Time Image Processing，2021，18（4）：1141-1155.

[17]

MENZE M，GEIGER A. Object scene flow for autonomous vehicles[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：3061-3070.

[18]

YU F，CHEN H，WANG X，et al. BDD100K：a diverse driving dataset for heterogeneous multitask learning[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：2636-2645.

[19]

CORDTS M，OMRAN M，RAMOS S，et al. The cityscapes dataset[C]. CVPR Workshop on the Future of Datasets in Vision. sn，2015，2.

[20]

PITROPOV M，GARCIA D E，REBELLO J，et al. Canadian adverse driving conditions dataset[J]. The International Journal of Robotics Research，2021，40（4-5）：681-690.

[21]

CAESAR H，BANKITI V，LANG A H，et al. nuScenes：a multimodal dataset for autonomous driving[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：11621-11631.

[22]

BURNETT K，YOON D J，WU Y，et al. Boreas：a multi-season autonomous driving dataset[J]. arXiv preprint arXiv：2022.

[23]

ZHANG H，SINGDAGI V，PATEL V M. Image de-raining using a conditional generative adversarial network[J]. IEEE Transactions on Circuits and Systems for Video Technology，2019，30（11）：3943-3956.

[24]

FU X，HUANG J，ZENG D，et al. Removing rain from single images via a deep detail network[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：3855-3863.

[25]

WANG T，YANG X，XU K，et al. Spatial attentive single-image deraining with a high quality real rain dataset[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：12270-12279.

[26]

WEI W，MENG D，ZHAO Q，et al. Semi-supervised transfer learning for image rain removal[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：3877-3886.

[27]

LIU Z Y，JIA T，XING X Y，et al. Hierarchical-level rain image generative model based on GAN[J]. arXiv preprint arXiv：2023.

[28]

中国气象服务协会.短时气象服务降雨量等级：T/CMSA 0013—2019[S].2019.

[29]

ZHU J Y，PARK T，ISOLA P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. 2017 IEEE International Conference on Computer Vision （ICCV）. IEEE，2017：2223-2232.

2025年第47卷第3期

PDF下载

363

153

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2025.03.007

接收时间：2024-08-07
首发时间：2025-07-09
出版时间：2025-03-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-08-07
修回日期：2024-09-18

基金

^*国家重点研发计划项目(2022YFB2503001)

中央高校基本科研业务费专项资金资助

作者信息

¹ 同济大学汽车学院，上海 201804

² 上海机动车检测认证技术研究中心有限公司，上海 201805

通讯作者:

陈君毅，讲师，工学博士，E-mail：chenjunyi@tongji.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2025.03.007

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

参数类型	参数名称	参数设置
参数类型	参数名称	无雨场景	小雨场景	中雨场景	大雨场景
目标物参数	行人型号	walker.pedestrian.0016
	行人纵向距离	20 m
	雨	0	10%	20%	50%
	云	0	70%	80%	90%
	地面积水	0	50%	70%	100%
	湿度	0	10%	20%	40%