汽车工程学报

面向自动驾驶感知的快速不确定性估计方法

PDF下载

王潇 , 赵洋 , 程洪

汽车工程学报 | 预期功能安全专题/联席主编:陈君毅,张玉新,赵洋 2024,14(5): 772-780

收起

汽车工程学报 | 预期功能安全专题/联席主编:陈君毅,张玉新,赵洋 2024, 14(5): 772-780

面向自动驾驶感知的快速不确定性估计方法

全屏

王潇, 赵洋, 程洪

作者信息

电子科技大学自动化工程学院成都 611731

王潇(2000-),女,甘肃白银人,硕士研究生,主要研究方向为智能网联汽车预期功能安全评估。Tel：028-61830797 E-mail：m17609494597@163.com

通讯作者:

赵洋(1988-),男,山西运城人,博士,助理研究员,主要研究方向为智能网联汽车感知与决策。Tel：028-61830797 E-mail：yzhao@uestc.edu.cn

A Fast Uncertainty Estimation Method for Autonomous Driving Perception

Xiao WANG, Yang ZHAO, Hong CHENG

Affiliations

School of Automation Engineering University of Electronic Science and Technology of China Chengdu 611731 China

doi: 10.3969/j.issn.2095–1469.2024.05.03

文章导航

摘要

收起

在自动驾驶的视觉感知任务中,准确且快速提取认知不确定性和偶然不确定性对有效解决自动驾驶的预期功能安全问题至关重要。传统方法中,如MonteCarlo Dropout 和 Deep Ensembles,通过采样不同子模型的预测结果来估计不确定性,这使在模型推理阶段不确定性估计速度很慢且容易占用处理器大量内存。针对MonteCarlo Dropout不确定性估计速度较慢及其后续检测结果选取的问题,提出了一种快速 MonteCarlo Dropout方法及后续检测结果校正的方法。此方法使用多头机制替换了MonteCarlo Dropout传统的多次采样机制,节省了采样时间,进而节省了整个不确定性估计阶段的推理时间。

关键词

自动驾驶 / 不确定性估计 / 目标检测 / 预期功能安全

Abstract

收起

In the visual perception task of autonomous driving, it is crucial to accurately and quickly extract the cognitive and accidental uncertainties to effectively resolve the Safety of the Intended Functionality (SOTIF) issues associated with autonomous driving. In traditional methods such as Monte Carlo dropout and deep ensembles, uncertainty is estimated by sampling the prediction results of different submodels, which slows down the estimation and tends to occupy a large amount of memory in the processor during the model inference stage. A fast Monte Carlo dropout method and a technique for correcting subsequent detection results are proposed to address the issues of slow estimation of uncertainty in Monte Carlo dropout and the selection of subsequent detection results. This method uses a multihead mechanism to replace the traditional multiple sampling mechanism in Monte Carlo dropout, thereby saving time in both sampling and inference throughout the uncertainty estimation process.

Key words

autonomous driving / uncertainty estimation / object detection / safety of the intended functionality

引用本文

王潇, 赵洋, 程洪. 面向自动驾驶感知的快速不确定性估计方法. 汽车工程学报, 2024 , 14 (5) : 772 -780 . DOI: 10.3969/j.issn.2095–1469.2024.05.03

Xiao WANG, Yang ZHAO, Hong CHENG. A Fast Uncertainty Estimation Method for Autonomous Driving Perception[J]. Chinese Journal of Automotive Engineering, 2024 , 14 (5) : 772 -780 . DOI: 10.3969/j.issn.2095–1469.2024.05.03

正文

收起

随着深度学习技术的迅猛发展和广泛应用, 使自动驾驶的实现越来越接近现实。当前自动驾驶感知算法主要基于深度学习技术, 而基于视觉的深度学习技术是自动驾驶感知最重要的组成部分, 如基于深度学习目标检测和识别算法。由于目前的深度学习技术需要依靠大量的标注样本进行训练, 所以不完备的训练集会导致基于深度学习的感知算法效果不理想。同时, 深度学习算法的不确定性也会导致感知算法的局限性。人工智能燎原式发展至今, 卷积神经网络 (CNN) 已成为大型感知模型的重要组成部分, 但其内部过程仍像是一个 “黑盒”, 人们很难理解深度学习模型中隐藏层、神经元、激活函数形式等对结果产生的影响, 使其解释性和溯源性较弱, 实际应用过程中存在个别情况下很差的输出结果, 并难以找到原因。由此带来了自动驾驶的预期功能安全问题,并且可能导致严重的交通事故。

传统的深度学习不确定性估计方法是通过多次采样的方式获取模型检测时产生的不同的信息, 然后根据这些信息计算模型输出结果的不确定度, 最后根据不确定度提升模型检测精度。这些基于采样的方法有 Monte Carlo Dropout (MC-Dropout), Deep Ensembles (DE), 前者是将 Dropout 技术引入到模型推理中, 利用蒙特卡洛采样随机地获取模型检测产生的多重信息, 后者是将多个弱分类模型集成,从而获取待检测图像上的多重信息。虽然这些方法可以获得模型的不确定性, 但是他们的缺点也很明显。以上方法的原理都是使模型不断重复检测, 或者多个同构异参的模型检测结果集成, 这种方式会消耗大量内存, 甚至浪费大量时间去做一张图片的检测任务, 因此, 在速度和精度上无法做到两全其美。而在实际使用中, 特别是在自动驾驶等场景中,对目标检测模型的速度和精度都有很高要求, 其检测结果的时效性非常重要。

针对上述问题, 本文在 MC-Dropout 对目标检测算法进行不确定性建模的基础上, 利用M-heads 多头机制, 提出一种快速 MC-Dropout方法, 并对后续检测结果进行校正。本文的主要贡献包括以下两点。

1)提出了一种新的基于采样的类贝叶斯模型改进方式,通过将 $\mathrm{{YOLOv5s}}$ 模型框架改进成 $\mathrm{M}$ - heads 结构, 并且在此框架基础上引入了 MC-Dropout方法, 使改进后的模型单帧检测时间比常规多模型集成采样方法下的单帧检测时间减少。

2)通过试验验证和与平均值校正法的比较, 证明本文提出的针对采样信息的校正法的有效性, 提升了模型的Map。

本文构架如下: 第 1 部分描述了当前主流目标检测算法和基于采样的MC-Dropout不确定性建模方法的相关工作; 第 2 部分描述了 M-heads 技术, 并提出了基于采样和M-heads框架的YOLOv5s改进方法; 第 3 部分描述了试验所需数据集以及模型检测时间和检测性能比较及验证试验; 第 4 部分使用 MC-DroConnect方法做进一步验证, 并在此基础上改进了校正算法；第 5 部分是结论。

1 相关工作

收起

1.1 目标检测算法

目标检测算法是集目标分类和目标定位于一体的算法, 是计算机视觉领域非常重要的应用。现有的基于深度学习的目标检测算法已经发展成熟, 种类繁多。主流目标检测算法可以分为两类: 基于关键点检测方法和基于锚框机制的方法。其中, 基于锚框机制的目标检测算法按照检测方式包含两阶段法和一阶段法两类方式,一阶段法主要有SSD ^{[ 1 ]} 、 YOLO ^{[ 2 ]} 、Retina Net ^{[ 3 ]} 等,两阶段法主要有 Faster-RCNN ^{[ 4 ]} 、SPPNet ^{[ 5 ]} 等。其中,以 YOLO 系列算法在目标检测领域中使用得最广泛。

1.2 不确定性估计方法

深度学习模型存在不确定性, 获取深度学习算法的不确定性对自动驾驶安全性能的提高非常重要。通常将不确定性分为偶然不确定性和认知不确定性。针对自动驾驶领域, 偶然不确定性一般来源于行车过程中环境中随机因子对车载传感器的干扰,比如极端天气、遮挡、烟尘等；认知不确定性来源于深度学习模型自身, 模型自身无法准确模拟真实世界中的分布, 从而导致模型认知不确定性。

通用的深度学习不确定性估计方法主要包括以下 4 种, 分别是 MC-Dropout、DE、Direct Modeling 和 Error Propagation。MC-Dropout ^{[ 6 ]} 方法的核心是将贝叶斯网络 (BNNs) ^{[ 7 ]} 与变分推断 (Variational Inference) ^{[ 8 ]} 联系起来,将随机 Dropout ^{[ 9 ]} 用在深度模型前向推断过程中, 通过多次推断来近似贝叶斯网络 (BNNs) 的后验分布。DE方法的核心思想是多个同构异参的网络模型集成预测, 以此来近似贝叶斯网络 (BNNs) 的后验分布, 最后达到不确定性估计的目的。MC-Dropout 和 DE 都用来估计深度学习模型的认知不确定性, 并且这两种方法都使用了模型集成预测的思想, 也可以称之为多次推断。Drirect Modeling 对深度学习模型的输出建立概率分布, 并使用模型输出层输出此分布的参数, 通过模型训练优化概率分布参数, 通过对输出建立概率分布来进行不确定性估计。Error Propagation 使用网络中每个激活层的方差来表示不确定性, 将方差从整个深度学习模型的输出传递到输出。Drirect Modeling 和 Error Propagation 主要用来估计深度学习模型的偶然不确定性,有研究指出 ^{[ 10 ]} Error Propagation 既可以估计深度学习模型的偶然不确定性, 也可以估计深度学习模型的认知不确定性, 这两种方法都可以使模型直接输出不确定性。以上 4 种方法中, MC-Dropout 的使用最广泛, 已经在多种图像任务中得到使用,如语义分割 ^{[ 11 - 13 ]} 、目标检测 ^{[ 14 ]} 、图像分类 ^{[ 15 ]} 。MC-Dropout弥补了贝叶斯神经网络的不足。贝叶斯神经网络由于对超参数高度敏感,很难扩展到大型数据集和复杂网络架构中去, 而 MC-Dropout 结合了贝叶斯神经网络和变分推断提出了近似推理的方法, 适用于大型数据集和复杂结构网络。

尽管 MC-Dropout 因为其近似推理得到了广泛的应用, 但是它也存在明显缺点。MC-Dropout 在模型 Dropout 推理期间, 需要进行多次随机推理, 研究指出 ^{[ 6 ]} ,模型通常需要 ${10} \sim {50}$ 次运行才可以得到较准确的结果。这将提高模型运算成本, 延长运行时间, 这对于实时性和成本有要求的任务非常不友好。自动驾驶感知任务对实时性和成本要求较其他感知任务严格, 因此, 如何改进 MC-Dropout 方法, 使其符合自动驾驶感知任务的要求是重要的研究方向。

2 类贝叶斯模型和校正算法

收起

由于 $\mathrm{{YOLO}}$ 系列算法是目前目标检测领域使用最广泛的算法,所以本文使用 YOLOv5s 目标检测算法作为研究对象。根据 MC-Dropout 的思想, Dropout 层引入至 YOLOv5s 模型结构中去, 在推理时打开 Dropout 层, 使模型输出的最终检测结果存在差异, 从而使模型的输出可以服从伯努利分布, 使模型近似于贝叶斯模型。Monte Carlo 法也称为统计模拟法, 其核心思想是建立一个随机概率模型, 使用这个随机概率模型对待测数据进行随机采样, 最终预测结果是由这组采样数据分别获取的预测结果的数学特征值。

常规的 MC-Dropout 在确定输出的深度学习模型下的应用是将 Dropout 引入推理后, 对同一个样本进行 $\mathrm{N}$ 次推理,而这 $\mathrm{N}$ 次的预测值各不相同,则可以使用这些相互有差异的预测值来校正原模型的预测值, 达到提升已训练模型的检测性能的目的。常规MC-Dropout方法如图 1 所示。

2.1 快速 MC-Dropout建模方法

本节介绍了快速 MC-Dropout 的整体算法框架。常规MC-Dropout由于在检测时需要经过多次推理, 并对多次推理后的结果进行聚类和校正才能得到最终检测结果。这就产生了准确性和实时性无法兼顾的问题, 要想得到一个理想的检测结果, 对模型多次 Dropout 推理的次数在 10 次以上, 对实时性要求较高的任务无法使用MC-Dropout。快速 MC-Dropout 针对实时性这一问题提出解决方案。因为大部分使用了 MC-Dropout 目标检测的模型在检测阶段加入了 Dropout, 并没有在所有网络中使用 Dropout,所以提出基于 TreeNet ^{[ 16 ]} 方法的 MC-Dropout, 可以使多个模型共用具有相同参数模型的部分结构, 改进模型检测头, 增加 Dropout 推理通道, 改进后的检测头称为 Multi-Detect Heads。

模型的认知不确定性由类别熵和方差共同表示,如式(1)~(2)所示。

(1)

$ \text{Uncertainty}{}_{\text{class }} = - \mathop{\sum }\limits_{{n = 1}}^{N}{p}_{n}^{\mathrm{c}}\log \left( {p}_{n}^{\mathrm{c}}\right) \text{。} $

(2)

$ {\text{Uncertainty}}_{\text{bbox }} = \operatorname{Var}\left( Y\right) \text{。} $

式中: $\mathrm{c}$ 为经过校正后的最终类别; $n$ 为第 $n$ 个 Dropout检测层; ${p}_{n}^{c}$ 表示第 $n$ 个检测层输出的类别为 c的概率； $N$ 为检测头中总的检测层数； $Y$ 为 $N$ 个检测层输出的检测框位置信息 ${y}_{n}$ 的集合, $Y =$ $\left\lbrack {{y}_{0},{y}_{1},\cdots ,{y}_{n}}\right\rbrack$

常规 MC-Dropout有 3 个步骤: 第 1 步, 将待检测样本输入检测器经过 $N$ 次推理后获取到预测值 $Y$ ; 第 2 步, 通过聚类将同一区域的预测结果归成一组; 第 3 步, 取各个区域预测集合的平均数, 作为模型最终检测结果,即 $E\left( Y\right)$ ,计算预测框方差以及类别置信度信息熵来表示模型的认知不确定性。这 3 个步骤概括来说, 就是采样推理、聚类、校正。本文提出的新算法框架将 $N$ 次推理这一步骤转变为了模型一次输出, 根据对 YOLOv5s 模型的 Dropout 推理试验验证, 只有将 Dropout 层加入 YOLOv5s 的检测层, Dropout的推理效果最好。因此, 此处可以按照 TreeNets 模型结构部分权值共享的思想, 共享模型主干特征提取网络提取的特征, 在最后特征输入检测层之前, 对特征进行 Dropout 处理。算法框架如图 2 所示。

2.2 Dropout 和 DropConnect

在前向推理通道中使用 Dropout 机制有两种方式, 第 1 种方式是在模型层中加入 Dropout 层, 对输入检测头各通道的特征按照失活率 $p = {0.5}$ 随机丢弃部分特征。这种方式有利有弊,优点是不需要再对原模型权重做改动, 可以直接使用确定性的模型权重；缺点也很明显,由于 Dropout 随机丢弃特征这一特点, 随机性会特别明显, 相同推理层数的多头检测头机制对同一组特征做多次检测, 每次检测结果都有差异, 此处多头检测机制的层数对标于普通MC-Dropout方法中的推理次数。

第 2 种方式为 DropConnnect, 即使用 Dropout 对原模型权重做随机丢弃操作,失活率依然为 $p =$ 0.5, 使检测头中的部分权重按照失活率随机置 0 , 相当于断了部分神经元之间的连接。这种方式弥补了使用 Dropout 随机丢弃特征这一方式的不足, 使具备相同推理层数的多头检测机制对同一组特征进行多次检测时, 检测结果无差异。

两种方式的区别如图 3 所示。在试验验证环节, 使用上述两种方式搭配相应的校正算法进行试验验证。

2.3 基于平均数的校正算法

在前面的工作中, 本文使用了 Dropout 推理来模拟随机抽样的过程,并最后得到了 $N + 1$ 组检测结果。按照蒙特卡洛方法, 在校正模块本文将其作为随机抽样得到的样本, 使用这组样本的数学期望, 即平均数作为最终检测结果, 完成校正。

为了获取丰富多样的检测结果, Dropout 的随机失活率取 $p = {0.5}$ ,将加入了 Dropout 层多头检测机制的模型称为MC-Dropout YOLOv5s,与原 YOLOv5s模型区分开。相比于常规的MC-Dropout 方法在目标检测上的应用, 将第 2 步聚类省去, 直接对各检测头输出的预测矩阵做校正, 这一步骤排在 NMS ^{[ 17 ]} 之前,校正后的结果作为最终预测值矩阵输入到 NMS 得到最优结果, 算法流程如图 4 所示, 只对预测结果的目标分数做平均, 原模型的检测结果保留。

2.4 基于加权平均数的校正算法

在介绍了基于平均数的校正算法后,本文介绍基于加权平均数的校正算法进行对比, 具体算法框架如图 5 所示。

3 试验

收起

3.1 数据集介绍

训练集: MS COCO ^{[ 18 ]} 是微软开发维护的大型图像数据集, 其中包括了目标检测、图像分割、关键点检测、实例分割任务。在图像分割任务中, MS COCO 数据集目标检测任务共包含了 80 个类别, 其中与自动驾驶相关的类别共有 8 种。MS COCO数据集中的图片来源于多场景, 背景比较复杂, 目标数量较多, 每张图上目标尺寸差异性较大, 并且数据集中图片没有统一尺寸。MS COCO 数据集自 2014 年发布后, 每年都会进行数据更新和数据集的重新划分, 本文使用 2017 版 MS COCO 目标检测数据集,此处简称为 COCO2017。 COCO2017 数据集由训练集、验证集、测试集 3 部分构成, 数据集共包含 163957 张图片, 训练、验证、测试数据划分大致比例为 72:3:25。本试验选择 COCO2017 数据集的训练集训练神经网络模型。

测试集: SOTIF 数据集是由 PENG Liang 等 ^{[ 19 ]} 提出的自动驾驶危险场景数据集, 此数据集依然在补充建设中, 目前所提出的部分仅用作验证集, 数据集中图片来源于具有歧义的真实交通场景, 数据集中图片没有统一尺寸。数据集一共包含 297 张图片, 2045 个标签, 共囊括了 4 种不良环境条件下的路况, 这 4 种不良环境是雨、雪、雾、强光, 数据集用于检测模型在不良环境条件下的性能。

3.2 单帧检测时间测试

3.2.1 测试方法

1)使用常规 MC-Dropout 方式检测视频文件, 常规MC-Dropout方式算法流程如图 1 所示。

2)从 0 开始逐次增加 dropout 采样次数, 一直增加至 22 次,记录相应的视频检测总时间,并用视频总帧数除以总检测时间得到单帧视频检测时间。

3)使用 TreeNets 建模方式下的算法检测同一段视频文件,算法流程如图 2 所示。

4)从 0 开始逐个增加 dropout 采样层数, 一直增加至 22 层, 记录相应的视频检测总时间, 并用视频总帧数除以总检测时间得到单帧视频检测时间。

3.2.2 测试结果分析

测试结果如图 6 所示, 红线表示常规 MC-Dropout 方式单帧检测时间的变化曲线, $x$ 轴表示 dropout 采样次数, 蓝线表示使用快速 MC-Dropout 单帧检测时间的变化曲线。

图 6 中, 横坐标表示 dropout 采样次数, 0 表示原模型不添加 dropout 采样, dropout 采样次数由 0 开始以每次测试加 1 的方式向 22 增加；纵坐标表示模型检测一帧视频所需时间,单位为 $\mathrm{s}$ /帧；红线表示通用 MC-Dropout 的 dropout 采样次数与单帧图像检测时间的对应关系; 蓝线表示本文所提方法的 dropout 采样次数与单帧图像检测时间的对应关系。

图 6 结果显示, 本文提出的快速 MC-Dropout的建模方法采样速度较常规 MC-Dropout 方法的采样速度更快。

3.3 算法检测性能测试

3.3.1 快速 MC-Dropout性能测试

使用 Dropout 方法加基于平均数的校正算法组成推理校正检测模型, Multi-Detect Heads 输出的预测结果的目标置信度通过平均校正后得到最终预测结果, 校正算法如图 4 所示。并将最终预测结果与真值作比较计算 mAP ^{[ 20 ]} ,并与预训练模型在 SOTIF 验证集上的 mAP 作比较。为了使试验结果具有普遍性, 本试验每增加 1 层 dropout 则此模型在验证集上运行 5 遍并计算每 1 遍的 mAP。

试验流程: 从 0 开始增加 dropout 层数, 每增加 1 层 dropout, 就将此模型在 SOTIF 验证集上运行 5 遍,并计算此模型的 $\mathrm{{mAP}}$ 作为模型检测评价指标。 Dropout 层参数 $p = {0.5}$ 保持不变, Dropout 层数增加至 30 层停止, 红色虚线代表原模型在验证集上的 mAP。

图 7 中, 横坐标表示 dropout 采样次数, 0 表示原模型不添加 dropout 采样, dropout 采样次数由 0 开始以每次测试加 1 的方式向 30 增加; 纵坐标表示目标检测评价指标 $\mathrm{{mAP}}$ ,此处 $\mathrm{{mAP}}$ 是小数制, $\mathrm{{mAP}}$ 最大为 1 最小为 0, $\mathrm{{mAP}}$ 越大表示模型检测精度越高；图 7 中红色虚线为 baseline 即原模型 yolov5s 的 mAP, No. 1~5 曲线代表在随机 dropout 下,将实验重复 5 次得到的 mAP 与 dropout 采样次数的变化关系。

试验结果分析: 因为 dropout 具有随机性, 这意味着 dropout 层会对输出检测器的特征进行随机丢弃, 在模型运行的某一次, dropout 层可能丢弃的是特征图中不利于模型检测的一部分特征, 但是也存在 dropout 层丢弃了特征图中对模型检测有利的一部分特征, 虽然对最后的结果中的目标置信度进行了平均校正, 但是从多次在同一验证集上计算 $\mathrm{{mAP}}$ 的结果来看,如果模型偶然从 dropout 层中获取了好的特征,则 $\mathrm{{mAP}}$ 会增大,模型检测性能提升, 偶然从 dropout 层中获取到了差的特征, 则 $\mathrm{{mAP}}$ 会减小,甚至小于原模型的 $\mathrm{{mAP}}$ ,模型检测性能下降。从蒙特卡洛采样原理来看, 或许 dropout 层数增加到无限层后, 模型检测性能会向好的方向发展,但是这显然是不现实的,在应用 MC-Dropout方法时, 本文需要让模型检测结果变得不确定, 但是也需要使模型检测变得有序起来, 检测性能无序, 效果不确定的模型是无法投入使用的。

3.3.2 校正算法性能对比试验

本试验用于比较平均校正和加权平均校正结果, 在 Multi-Detect Heads 使用 DropConnect 的方式进行 Dropout 推理, Multi-Detect Heads 输出的 $N + 1$ 组预测结果分别用平均校正算法和加权校正算法校正, 并对校正结果进行比较。

试验流程: $N$ 从 0 开始增加,一直增加至 30, 每增加 1 层 Dropout 推理层时, 模型新增加的层首先载入处理后的权值矩阵, 然后再进入验证集测试的步骤, 得到加权平均校正算法输出预测结果, 并计算校正后的mAP。

图 8 中, 横坐标表示 dropout 采样次数, 0 表示原模型不添加 dropout 采样, dropout 采样次数由 0 开始以每次测试加 1 的方式向 30 增加; 纵坐标表示目标检测评价指标 $\mathrm{{mAP}}$ ,此处 $\mathrm{{mAP}}$ 是小数制, $\mathrm{{mAP}}$ 最大为 1 最小为 0, $\mathrm{{mAP}}$ 越大表示模型检测精度越高；图中的红色虚线依然表示 baseline, 代表原模型 yolov5s 的 mAP, 红线和蓝线表示的是使用两种不同的校正算法所得到的 mAP 与 dropout 采样次数对应的关系。

如图所示, 图中红线部分为加权平均校正后 $\mathrm{{mAP}}$ ,蓝线部分为平均校正后 $\mathrm{{mAP}}$ ,红色虚线部分表示原模型在验证集上的 $\mathrm{{mAP}}$ ,在图上, $\mathrm{{mAP}}$ 最大为 0.581, mAP 最小为 0.555。

试验结果分析: 由图可知, 校正算法 2 可以更好地提升 $\mathrm{{mAP}}$ ,需要说明的是,在验证集上验证时, 严格保持使用同一个模型对模型输出结果使用两个不同的校正算法来处理, 及使用不同的校正算法为唯一变量。图中蓝色虚线表示卷积层数固定的模型后处理算法选择校正算法 1 和 2 后得到的不同的 mAP,显然,校正算法 2 更好地利用了模型的多重输出结果,从而使模型在验证集上的 $\mathrm{{mAP}}$ 上升。并且在将模型的丢弃方式改为 Dropconnect 后, 使用同一个模型重复多次的计算 $\mathrm{{mAP}}$ 会得到相同的 mAP。

4 结论

收起

本文提出了使用多头机制将 Monte-Carlo Dropout 中的多次重复采样机制转换成了一次推理采样机制, 大量节省了不确定性估计的时间。在此方法的基础上改进了后处理校正方法, 取消了后处理中检测结果聚类阶段, 进一步节省了整个不确定性估计过程的时间。试验表明, 本文提出的方法比传统的MC-Dropout方法的不确定性估计速度更快, 并且利用后处理校正方法可以提升模型检测精度。

本研究针对基于视觉的目标检测任务输出结果进行 Dropout 采样和信息校正, 也可以应用于基于单模态信息(激光雷达点云、毫米波雷达点云等) 的目标检测任务中去。但是, 对于多模态融合目标检测任务, 快速 MC-Dropout 依然存在局限性, 无法应用本文所提到的方式对检测结果进行快速的不确定性估计和校准。对于自动驾驶感知而言, 快速准确估计其预测的不确定性对后续决策具有重大的意义, 而多模态融合在自动驾驶感知中应用广泛, 因此, 如何快速有效地估计多模态融合算法的不确定性将是后续研究的主要方向。

基金

收起

国家自然科学基金项目(U1964203)
国家重点研发计划项目(2022YFB2503004)
四川省重点研发项目(2022YFG0342)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

LIU

Wei

, ANGUELOV

, ERHAN

, et al. SSD: Single Shot Multibox Detector[C]// Proceedings of 14th European Conference (Computer Vision-ECCV 2016), Oct. 11-16, 2016, Amsterdam, Netherlands, 2016:21-37.

[2]

REDMON

, DIVVALA

, GIRSHICK

, et al. You Only Look Once: Unified, Real-Time Object Detection[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV USA.Piscataway NJ: IEEE, 2016:779-788.

[3]

LIN

T Y

, GOYAL

, GIRSHICK

, et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020,42(2):318-327.

[4]

REN

Shaoqing

, HE

Kaiming

, GIRSHICK

, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[5]

Kaiming

, ZHANG

Xiangyu

, REN

Shaoqing

, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015,37(9):1904-1916.

[6]

GAL

. Uncertainty in Deep Learning[D]. Cambridge: University of Cambridge, 2016.

[7]

NEAL

R M

. Bayesian Learning for Neural Networks[M]. Berlin: Springer Nature, 1996.

[8]

HERNÁNDEZ-LOBATO

, LI

Yingzhen

, ROWLAD

, et al. Black-Box a-Divergence Minimization[Z]. arXiv:1511.03243v3, 2015.

[9]

ZHANG

Kai

, ZUO

Wangmeng

. FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denosing[J]. IEEE Transactions on Image Processing, 2018,27(9):4608-4622.

[10]

FENG

, HARAKEH

, WASLANDER

S L

, et al. A Review and Comparative Study on Probabilistic Object Detection in Autonomous Driving[J]. IEEE Transactions on Intelligent Transportation Systems, 2022,23(8):9961-9980.

[11]

KEBDALL

, BADRINARAYANAN

, CIPOLLA

. Bayesian SegNet: Model Uncertainty in Deep Convo-lutional Encoder-Decoder Architectures for Scene Under-standing[Z]. arXiv:1511.02680, 2015.

[12]

POSTELS

, FERRONI

, COSKUN

, NAVAB

, et al. Sampling-Free Epistemic Uncertainty Estimation Using Approximated Variance Propagation[C]// 2019 IEEE/ CVF International Conference on Computer Vision (ICCV), Oct. 27-Nov. 2, 2019, Seoul, Korea (South). Piscataway NJ: IEEE, 2019:2931-2940.

[13]

CORTINHAL

, TZELEPIS

, AKSOY

E E

, et al. SalsaNext: Fast, Uncertainty-Aware Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving[C]// Proceedings of 15th International Symposium on Visual Computing (ISVC 2020), Oct. 5-7, 2020, San Diego, CA, USA.Piscataway NJ: IEEE, 2020:207-222.

[14]

MILLER

, NICHOLSON

, DAYOUB

, et al. Dropout Sampling for Robust Object Detection in Open-Set Conditions[C]// International Conference on Robotics and Automation (ICRA), May 21-25, 2018, Brisbane, QLD, Australia. Piscataway NJ: IEEE, 2018:3243-3249.

[15]

BELUCH

W H

, GENEWEIN

, NURNBERGER

, et al. The Power of Ensembles for Active Learning in Image Classification[C]// 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-23, 2018, Salt Lake City, UT, USA. Piscataway NJ: IEEE, 2018:9368-9377.

[16]

STEFAN

, SENTHIL

, MICHAEL

, et al. Why M Heads are Better than One: Training a Diverse Ensemble of Deep Networks[Z]. arXiv:1511.06314, 2015.

[17]

NEUBWCK

, VAN

G L

. Efficient Non-Maximum Suppression[C]// Proceedings of International Conference on Pattern Recognition (ICPR), Aug. 20-24, 2006, Hong Kong, China. Piscataway NJ: IEEE, 2006:850-855.

[18]

LIN

T Y

, MAIRE

, BELONGIE

, et al. Microsoft COCO: Common Objects in Context[C]// Proceedings of 13th European Conference (Computer Vision-ECCV 2014), Sept. 6-12, 2014, Zurich, Switzerland, 2014:740-755.

[19]

PENG

Liang

, WANG

Hong

, LI

Jun

. Uncertainty Evaluation of Object Detection Algorithms for Autonomous Vehicles[J]. Automotive Innovation, 2021,4:241-252.

[20]

EVERINGHAM

, VAN

G L

, WILLIAMS

K I

, et al. The Pascal Visual Object Classes (VOC) Challenge[J]. International Journal of Computer Vision, 2010,88:303-338.

2024年第14卷第5期

PDF下载

280

106

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.2095–1469.2024.05.03

接收时间：2023-04-20
首发时间：2025-07-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-04-20
修回日期：2023-04-29

基金

国家自然科学基金项目(U1964203)

国家重点研发计划项目(2022YFB2503004)

四川省重点研发项目(2022YFG0342)

作者信息

电子科技大学自动化工程学院成都 611731

通讯作者:

赵洋(1988-),男,山西运城人,博士,助理研究员,主要研究方向为智能网联汽车感知与决策。Tel：028-61830797 E-mail：yzhao@uestc.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcxb/CN/10.3969/j.issn.2095–1469.2024.05.03

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT