汽车文摘

传感器	优势	缺点	应用场景
摄像头	像素高、刷新快；实时性好；物体纹理颜色信息丰富；成本低	距离感知能力弱；受光线影响大；依赖算法	车辆、行人、车道线检测；交通标志识别；场景分割
激光雷达	三维感知能力强；抗干扰能力强；受光线影响小；精度高	无法获取物理纹理颜色信息、受雾霾天气影响大；同频干扰；成本较高	探测障碍物、3D识别；高精度地图构建；高精度定位
毫米波雷达	抗干扰能力强；体积小；穿透力强；不受天气影响	测量角度受限；采样点稀疏，分辨率低；不能识别小物体	自适应巡航等
超声波雷达	近距离测量较准确	距离近、受温度、影响	倒车雷达、自动泊车等

传感器	优势	缺点	应用场景
摄像头	像素高、刷新快；实时性好；物体纹理颜色信息丰富；成本低	距离感知能力弱；受光线影响大；依赖算法	车辆、行人、车道线检测；交通标志识别；场景分割
激光雷达	三维感知能力强；抗干扰能力强；受光线影响小；精度高	无法获取物理纹理颜色信息、受雾霾天气影响大；同频干扰；成本较高	探测障碍物、3D识别；高精度地图构建；高精度定位
毫米波雷达	抗干扰能力强；体积小；穿透力强；不受天气影响	测量角度受限；采样点稀疏，分辨率低；不能识别小物体	自适应巡航等
超声波雷达	近距离测量较准确	距离近、受温度、影响	倒车雷达、自动泊车等

智能汽车多源融合环境感知系统综述

PDF下载

李周达 , 查云飞

汽车文摘 | 福建理工大学汽车前瞻技术综述论文专刊 2025,(4): 1-11

收起

汽车文摘 | 福建理工大学汽车前瞻技术综述论文专刊 2025, (4): 1-11

智能汽车多源融合环境感知系统综述

全屏

李周达, 查云飞

作者信息

福建理工大学，福州 350108

Overview on Multi-Source Fusion Environment Perception System for Intelligent Vehicles

Zhouda Li, Yunfei Zha

Affiliations

Fujian University of Technology, Fuzhou 350108

出版时间: 2025-04-05 doi: 10.19822/j.cnki.1671-6329.20240078

文章导航

摘要

收起

为了系统总结智能汽车多源融合环境感知技术的研究现状，对比分析了摄像头、激光雷达、毫米波雷达等传感器的原理与特性，综述了基于单传感器（如相机目标检测、激光雷达点云处理）及多传感器融合（数据层、特征层、决策层）的环境感知技术，分析了其技术瓶颈与挑战，并结合典型算法案例探讨其应用效果。研究表明：单一传感器存在固有局限性，如相机依赖光照条件、激光雷达成本高昂且无法获取语义信息；多传感器融合技术通过互补优势显著提升环境感知的鲁棒性，但数据异构性、实时性不足等问题仍需突破。为了应对复杂场景下的感知需求，智能化多模态融合算法、高性价比传感器集成及V2X协同感知技术是未来重点发展方向。

关键词

智能汽车 / 环境感知 / 多传感器融合 / 相机 / 激光雷达

Abstract

收起

To systematically summarize the research status of multi-source fusion environmental perception technology for intelligent vehicles, this paper compares and analyzes the principles and characteristics of various sensors including cameras, Light Detection and Ranging (LiDAR), and millimeter-wave radar. The environmental perception technologies based on single-sensor approaches (such as camera-based object detection and LiDAR point cloud processing) and multi-sensor fusion strategies (data-level, feature-level, and decision-level) are reviewed with their technical bottlenecks and challenges. Typical algorithm cases are also discussed to explore their application effectiveness. The research findings indicate that: single sensors exhibit inherent limitations, such as cameras’ dependency on illumination conditions and LiDAR’s high cost with insufficient semantic information acquisition capability, as well as multi-sensor fusion technology significantly enhances environmental perception robustness through complementary advantages, yet challenges like data heterogeneity and insufficient real-time performance still remain unresolved. To meet the perception demands of complex scenarios, future development will focus on intelligent multi-modal fusion algorithms, cost-effective sensor integration, and V2X collaborative perception technologies.

Key words

Intelligent vehicles / Environmental perception / Multi sensor fusion / Camera / LiDAR

引用本文

李周达, 查云飞. 智能汽车多源融合环境感知系统综述. 汽车文摘, 2025 , (4) : 1 -11 . DOI: 10.19822/j.cnki.1671-6329.20240078

Zhouda Li, Yunfei Zha. Overview on Multi-Source Fusion Environment Perception System for Intelligent Vehicles[J]. Automotive Digest, 2025 , (4) : 1 -11 . DOI: 10.19822/j.cnki.1671-6329.20240078

正文

收起

0 引言

收起

智能汽车作为全球汽车产业新一轮科技革命与产业变革的战略制高点，已成为推动我国汽车产业转型升级、培育经济增长新动能的关键引擎。《智能汽车创新发展战略》明确指出，智能汽车的发展不仅有助于提升产业基础能力，更是国家制造强国、科技强国、交通强国等战略规划的重要支撑^[1]。当前，我国智能网联汽车产业规模持续高速增长，2024年市场规模达到11 081.5亿元，年增长率达33.7%，预计2030年全球市场规模将接近2万亿美元^[2]。这得益于政策体系的持续优化、产业链核心技术的加速布局，以及跨行业企业的竞相投入。然而，实现自主决策与控制的核心前提是智能汽车对复杂道路交通环境进行实时、精准的感知。环境感知系统作为信息收集与理解的核心，直接决定了车辆的安全性与智能化水平^[3]。

近年来，国内外学者围绕智能汽车环境感知技术展开了广泛研究。基于单传感器的感知方法已取得显著进展：摄像头凭借丰富的语义信息，在目标检测与场景分割中占据主导地位；激光雷达通过高精度三维点云数据，为障碍物检测与高精度定位提供支撑；毫米波雷达则以全天候、强抗干扰能力成为自适应巡航等场景的标配。然而，单一传感器存在局限性，例如摄像头依赖光照条件、激光雷达成本高昂且缺乏语义信息、毫米波雷达分辨率不足等。为弥补单传感器的局限，多源融合技术成为研究热点，学者们从数据层、特征层及决策层提出了多种融合框架，通过多传感器优势互补提升感知鲁棒性。然而，现有研究仍面临数据异构性高、实时性不足、动态场景适配性差等挑战，尤其在雨雪雾霾、极端光照等复杂环境下，感知系统的稳定性与可靠性亟待突破。此外，V2X协同感知、智能化融合算法等前沿方向的研究尚处于探索阶段，尚未形成系统性技术体系。

本文立足于现有研究的基础与不足，旨在系统梳理智能汽车多源融合环境感知技术的发展现状，深入剖析其技术瓶颈，并展望未来发展方向。相较于已有综述，本文的创新性体现在3方面：（1）通过对比摄像头、激光雷达、毫米波雷达等传感器的原理与特性，构建多维度的技术评价体系；（2）结合典型算法案例（如YOLO系列、PointNet++、VoxelNet等），从单传感器优化到多模态融合策略逐层解析技术路径；（3）探讨了面向复杂场景的智能化多模态融合框架与V2X协同感知范式，为突破异构数据融合效率低、动态环境适应性弱等难题提出可能的发展方向。

1 环境感知系统传感器

收起

作为自动驾驶车辆环境感知系统的核心传感组件^[4]，视觉成像装置与无线电波探测设备在功能上能实现优势互补。视觉传感器通过光学成像原理直接获取环境影像信息，其采集的数字化信号通过标准通信协议可实时传输至中央处理单元，展现出优异的实时响应能力和环境感知灵敏度。然而，常规二维影像传感器在空间维度信息获取方面存在局限性，难以全面满足自动驾驶系统多维度的感知需求。无线电波探测装置能精确解算目标物体的空间坐标参数和运动状态向量，同时通过多普勒效应分析可建立高精度的动态目标轨迹模型，恰好能与视觉成像装置形成技术互补，为决策系统提供了可靠的空间数据基础。

1.1 摄像头

摄像头是环境感知系统中应用最广泛的传感器，能够获取车辆周围的环境信息并传输到自动驾驶系统的决策层。通过图像处理和计算机视觉技术，摄像头可以实现车道偏离预警、交通标志识别、行人检测等功能。视觉传感器的性能评估体系涵盖多重技术参数，主要包括成像解析度、采样频率、焦距、信噪控制性能、色彩保真度以及光学组件品质等要素，需根据应用场景的感知需求进行针对性选型。

视觉传感装置按拓扑结构可分为单目视觉系统、双目立体视觉阵列及复合视觉模组3类；按光学参数维度可分为远距光学系统与大视场角成像装置2类。在特殊功能型传感器领域，还包括热辐射感知器件（红外摄像头）、环视成像系统（全景摄像头）、三维空间感知传感器（深度摄像头）等。随着技术的不断发展，摄像头在智能汽车中的应用将越来越广泛^[5]。

1.1.1 单目摄像头

单目摄像头（Monocular Camera, MC）是指仅配备一个镜头的成像装置。单目视觉系统的硬件架构主要由以下核心组件构成：光学镜头（Optical Lens）、图像传感器（Image Sensor）、图像处理单元（Image Processing Unit, IPU）以及接口电路（Interface Circuit）。其中，镜头负责光线的聚焦，图像传感器将光信号转换为电信号，而图像处理器则对电信号进行处理，生成可读取的数字图像。单目摄像头结构简单、成本较低，多应用于成本有限的项目上，用于标定和识别。但是，其缺点是其拍摄的单张图像与物体的真实大小不完全一致，存在尺度不确定性^[6]。

刘金雄等^[7]运用单目摄像头实现了对车道线的识别，并在此基础上验证了改进的人工势场法进行局部路径规划的有效性。沈念伟等^[8]采用单目摄像头采集行车环境影像数据，基于最大熵值阈值分割算法实现障碍物特征分离，通过多尺度特征融合技术最终构建出前方障碍物的三维空间表征模型。该研究提出的检测方案具体实施流程如图1所示。

1.1.2 双目摄像头

双目摄像头（Binocular Camera, BC）采用先进的视觉传感技术，其设计灵感源自人类的立体视觉原理。该系统由2个并行工作的摄像头组成，分别从略微不同的角度捕捉同一场景，从而生成具有深度信息的三维图像。基于双目视觉理论，通过计算2幅图像中对应点之间的视差，双目摄像头能够比较精确地估计物体的距离和位置，实现对环境的三维感知。然而，其应用仍面临多重局限性。首先，双目摄像头高度依赖于光照条件，极端的明暗环境均会严重影响图像质量和特征点的可靠匹配。其次，对于纹理贫乏或纹理高度重复的表面，双目摄像头难以有效识别特征。此外，双目摄像头处理快速动态场景的时效性和准确性有限，在智能驾驶这种需要在确保安全的前提下做出即时反应的应用中，由于图像匹配和深度图生成的计算密集型特性，系统难以实时应对高速运动物体。硬件层面，双目摄像头的两个镜头须保持严格的空间关系，任何微小的位移或旋转偏差都将直接影响视差测量的准确性，特别是在车辆面对外部环境变化或机械振动时，这一挑战更为严峻。除此之外，双目视觉算法复杂度高，对计算资源需求高，不仅增加了设备的成本，还可能增加功耗，给车辆造成额外负担。最后，遮挡现象也是双目摄像头面临的一大难题，部分物体在一幅图像中的不可见状态影响了深度信息的完整性和连贯性，降低了系统的整体表现^[9]。

申彩英等^[10]在智能驾驶领域的一项创新是提出了dual-YOLO算法，该算法基于YOLO并融入双目摄像头技术，构成了一个从图像获取直至目标检测输出的端到端解决方案，满足了车辆行驶中对物体检测与距离测量的需求。李学森^[11]采用双目摄像头装置，结合优化后的Census变换立体测距算法，在简单场景下实现了目标的高效检测与跟踪。

1.1.3 红外摄像头

红外摄像头（Infrared Camera, IC）的核心在于捕捉并转换由物体发射的红外辐射（即热能）为可解读的图像信号。这一过程通常涉及3个主要组成部分：红外传感器、信号处理器和图像显示单元。红外成像流程如图3所示。

不同于可见光摄像头，红外摄像头能够在完全黑暗的环境中工作，这是因为红外摄像头依赖于目标自身发射的红外线，而非外界光源。这一特性使得红外摄像头在无光条件下也能较好地实现行人检测。但红外摄像头也存在一定的局限性。首先，成本问题一直是制约其普及的主要障碍，特别是高精度的红外摄像头价格昂贵。其次，如雾、烟尘等环境因素或极端温度，会影响红外线的传输，进而降低成像质量。此外，红外摄像头对近距离物体的分辨率有限，且在运动解析方面存在感知局限性，特别是在轴向运动特征辨识与角度参数量化等关键技术指标上存在技术瓶颈。该类传感器受制于主动探测原理约束，既无法实现静态目标的空间坐标解算，也难以构建完整的空间运动学模型，因此在智能驾驶感知体系中的实际部署率相对有限^[12]。

姚翔文^[13]利用红外摄像头，采用YOLO v4 tiny作为基础算法，在边缘系统上较好地实现了行人的检测功能。丁帅帅^[14]提出一种基于粒子群优化（Particle Swarm Optimization, PSO）与支持向量机（Support Vector Machine, SVM）的红外行人检测算法，并通过非极大值抑制（Non-Maximum Suppression, NMS）优化检测框筛选过程。进一步地，作者将该算法集成至车载辅助驾驶系统，并基于跨平台移植技术（Cross-Platform Porting）将其部署至搭载Ubuntu 16.04操作系统的车载上位机，实现了实时红外行人检测与辅助预警功能。

1.1.4 全景摄像头

全景摄像头（Panoramic Camera, PC）作为现代视觉技术的一项重要创新，以其独特的全视角成像能力为视觉信息采集开辟了全新的维度。其核心设计理念在于通过集成多个摄像头或采用特殊光学结构，捕捉并合成360°全方位的图像数据，从而实现无死角的环境覆盖。全景摄像头的工作流程通常包含图像捕获、拼接融合以及后期处理3个关键步骤。首先，多个摄像头从不同角度同时拍摄场景，或单个摄像头通过旋转机制连续拍摄多张图像。然后，通过先进的图像拼接算法，将这些图像无缝融合成一张完整的全景图。最后，经过色彩校正、畸变校正等后期处理，确保输出图像的质量与观感。

然而，全景摄像头技术也面临着若干挑战。首先是图像拼接的精确度问题，尤其是在车辆等动态场景下，如何准确地对齐和融合快速移动的物体是一个技术难点。其次，全景图像的数据量远大于常规图像，对计算资源和存储空间要求较高^[15]。

刘宇^[16]基于Open GL在GPU上实现了全景监测功能，基于MNN使Nano Det网络可在SoC上运行，并基于Open CL并行计算对目标检测网络进行加速。经测试，在嵌入式系统上运行的帧率可达12帧/s，对盲区来车报警的准确率可达94%，满足功能需求，在低成本的国产芯片T5上，完全基于环视摄像头实现了兼具大视野、实时性、准确性的汽车盲区监测技术。全景拼接流程如图4所示。

1.1.5 深度摄像头

深度摄像头（Depth Camera, DC）作为新一代环境感知器件，不仅具备二维影像数据采集功能，更通过光学测距原理实现了同步获取目标物体的三维空间坐标参数与几何特征数据的能力^[17]。依据深度相机深度信息获取原理，主流深度相机分为结构光（Structured Light）、飞行时间（Time of flight, TOF）和双目立体视觉（Binocular Stereo Vision）。

TOF测距技术的核心原理是基于光速恒定的物理特性，通过向目标物体发射连续的光脉冲信号，并由感光元件接收经物体表面反射回的光信号，最终依据光信号往返传播的时间差计算目标与传感器之间的空间距离，如图5所示。TOF相机采用主动光探测，一般由照射单元、光学透镜、成像传感器、控制单元和计算单元组成。

结构光三维成像系统基于主动光学编码原理，其工作流程可分为3个阶段：（1）编码光场投射：通过投影模块向被测场景投射预设编码规则的条纹或点阵结构光场（Structured Light Field, SLF），光场图案受物体表面几何形变调制后产生畸变；（2）形变光场采集：利用双目或多目立体视觉系统同步采集受调制的结构光图像，获取包含物体表面深度信息的形变光场数据；（3）三维信息解算：基于光学三角测量原理（Optical Triangulation Principle），建立投影器-相机-物体的几何约束模型，通过相位解算（Phase Unwrapping）与立体匹配算法（Stereo Matching）重建被测物体的高精度三维点云。结构光深度相机基本原理如图6所示。

相较于二维影像传感器，三维视觉传感器基于空间测距数据构建物体间的空间位姿矩阵，进而实现目标对象的语义分割、运动追踪及特征识别。通过对原始感知数据进行多模态特征融合处理，可重构场景的三维几何拓扑模型，显著提升视觉感知系统的目标辨识精度与动态追踪性能^[5]。

1.2 雷达

雷达是一种利用电磁波探测目标并确定其位置、速度、距离、方位角和高度等信息的电子设备。各类雷达设备尽管在具体功能定位上存在差异，但其系统架构具有较高相似度。核心组成模块涵盖信号发射模块、回波接收模块以及数据处理单元。此外还配备供电模块、信息显示终端、电磁干扰抑制模块等辅助子系统，共同构成完整的雷达探测体系^[18]。环境感知系统中使用的雷达主要有3种，包括激光雷达、毫米波雷达和超声波雷达。

1.2.1 激光雷达

激光雷达（Light Detection and Ranging, LiDAR）在智能车辆领域发挥至关重要的作用，因其能直接提供精确的三维环境数据，适用于障碍检测、三维建模和避障。激光雷达系统依据发射激光线束数量可划分为2类：第1类为安装于车辆前端的单线激光雷达，其主要功能是获取车辆前方障碍物的运动参数及空间坐标信息。该设备具有测量速度快的优势，但仅能生成二维点云数据。第2类为搭载于车辆顶部平台的多线激光雷达，包含机械式与固态式2种技术方案。机械式激光雷达通过机械旋转装置驱动激光发射器进行360°圆周扫描，能实现全向空间覆盖。激光线束越多，系统能够采集到的目标细节特征越多，但会导致点云数据量呈指数级增长，这对数据处理与存储系统的性能要求更高。在测距技术原理方面，激光雷达普遍采用飞行时差测距法（TOF），具体可细分为2种实现方式：（1）直接测量法，通过记录激光脉冲在目标与传感器之间往返传播的时间差，结合光速常数计算目标距离；（2）间接测量法，通过计算发射光信号与接收光信号之间的相位差来推导距离参数^[19]。激光雷达具有高精度、高速测量、无需接触、受环境干扰小的优点。然而，激光雷达目标检测任务的实现依赖大规模数据集开展算法训练，同时系统部署的成本投入较高，容易受雨雾天气的影响。

高鹏等^[20]提出一种激光里程计的方法，通过提取点云的关键信息来估计移动机器人的空间位置并完成环境建模。胡杰等^[21]提出一种基于自适应门控的双路激光雷达三维车道线检测算法，所提算法F₁分数较主流模型、在不良光照、严重遮挡条件下分别有不同程度的提升。激光雷达工作原理如图7所示。

1.2.2 毫米波雷达

毫米波雷达（Millimeter Wave Radar, MWR）根据不同频率，分为3类：24 GHz、77 GHz和79 GHz毫米波雷达。24 GHz频段属于短距探测频段（有效覆盖范围<30 m），典型应用场景包括泊车辅助与倒车预警系统；77 GHz频段传感器具备中程探测能力（有效探测范围≈100 m），主要部署于盲区监测系统；79 GHz频段则具备长程探测特性（探测半径≥250 m），被广泛应用于自适应巡航控制与前方碰撞预警等主动安全系统。该类雷达的核心工作原理是通过发射天线辐射毫米波信号，基于多普勒效应原理，当目标物体存在相对运动时，接收信号与发射信号之间会产生频率偏移，从而解算出目标的空间位置参数^[22]。黄文奎^[23]运用毫米波雷达设计制作了线性调频连续波（Linear Frequency Modulated Continuous Wave, LFMCW）、频移键控（Frequency-Shift Keying, FSK）2种汽车防撞雷达。田勇等^[24]提出了一种融合77 GHz毫米波雷达技术与卡尔曼滤波算法的运动目标检测方案，首先通过调频连续波雷达测量运动异物的速度、距离和角度；其次融合卡尔曼滤波、目标聚类和数据关联算法实现多目标运动异物的轨迹跟踪。该方法能够高精度地测量运动异物的位置和速度，并具备相邻多目标检测和跟踪能力。调频连续波雷达工作原理如图8所示。

1.2.3 超声波雷达

超声波雷达（Ultrasonic Radar, UR）运用超声波在空气中的恒定传播速度，通过计算发射与接收时间差来测定与障碍物的距离。其有效测距较短，约3 m，但对光照和磁场干扰不敏感，适合在恶劣条件下运行，如自动驾驶汽车的倒车或泊车辅助。超声波雷达具有实时性、快速响应、高适应性和简易计算的优点，成为自动驾驶车辆环境感知系统中的重要传感器之一^[5]。

纪者^[25]使用超声波雷达结合轮速传感器搭建了自动泊车系统的感知和定位模块，提出了平行、垂直和斜列3种车位的识别检测和更新算法，对3种车位检测算法进行了实测，并在泊入过程中对车位信息进行更新，提高了以超声波雷达为感知手段的自动泊车系统的泊车性能和适用范围。张海焕等^[26]提出一种测距校准和参数自适应方法，设计合理的超声波雷达运行逻辑，通过融合温度校准、时间校准和自适应算法校准，得到更准确的测距和定位信息。超声波雷达工作原理如图9所示。各传感器的应用对比情况如表1所示。

2 单传感器环境感知技术研究现状

收起

2.1 基于相机的环境感知研究现状

视觉感知技术在环境信息获取中发挥重要作用，其核心在于利用摄像头获取场景图像并实施目标检测。该技术不仅能够通过纹理、色彩等视觉特征实现障碍物检测，还能有效提取交通标志等关键元素的语义特征。凭借其低成本优势，视觉传感器已成为智能驾驶环境感知系统的重要组成部分。当前基于图像的目标检测技术主要分为传统机器视觉方法与深度学习方法2大体系^[19]。

2.1.1 传统机器视觉方法

手工特征驱动的目标检测范式采用“候选生成-特征表征-分类决策”3级处理架构。候选区域生成环节存在2种主流技术路径：滑动窗口法通过预设尺寸的矩形框遍历图像生成候选区域，但存在计算复杂度高的问题；基于纹理线索的区域提议算法（如Selective Search）通过整合颜色、纹理和形状特征提升候选区域质量^[27]。特征提取依赖手工设计的特征描述子，包括SIFT^[28]、HOG^[29]、Haar-like及LBP^[30]等。其中，HOG通过统计局部梯度方向直方图构建特征表示，Haar-like算子则聚焦于灰度变化敏感的结构特征。然而，手工特征的场景适应性较差，需针对特定任务设计专属特征提取方案，显著增加了算法开发成本。

目标分类阶段主要采用SVM^[31]、Adaboost^[32]等判别式模型。经典HOG-SVM框架通过梯度直方图特征与线性分类器结合实现目标检测^[33]，Kim等^[34]进一步融合HOG与LBP特征提升车辆检测精度。Sun等^[35]通过Haar-SURF特征融合结合Adaboost分类器实现车辆识别，Wu^[36]改进Haar-like算子并优化Boosting策略构建前方车辆分类器。DPM算法^[37]在HOG基础上引入梯度符号特征，通过多组件模型优化获得2008-2010年VOC挑战赛冠军。

2.1.2 深度学习方法

近年来，深度学习的发展推动了卷积神经网络（Convolutional Neural Network，CNN）在目标检测领域的广泛应用。深度神经网络的突破性进展革新了目标检测范式，其通过CNN自动学习层次化特征的能力，彻底摒弃了传统手工特征工程的局限性，推动检测精度实现量级提升。2012年AlexNet^[38]的问世标志着深度学习时代的开端，其在ImageNet竞赛中的优异表现宣告了传统方法的落幕。随后，Google与牛津大学联合提出的VGGNet^[39]通过加深网络层级（达19层）构建更鲁棒的特征表示，同年GoogleNet^[40]凭借 Inception模块在ILSVRC-2014竞赛中夺冠。2015年何凯明等^[41]提出的ResNet通过残差连接突破深度限制，构建出152层的超深网络。

两阶段检测算法遵循“候选生成-精修分类”的级联架构：Girshick^[42]提出的R-CNN首次将深度学习引入目标检测，通过Selective Search生成候选区域并利用AlexNet提取特征，在精确度上取得突破性进展。然而该方法存在特征冗余提取问题。何凯明^[43]提出的SPP-Net通过空间金字塔池化解决多尺度问题，实现特征图共享以降低计算量。Girshick^[44]进一步优化提出Fast R-CNN，采用ROI池化替代SPP层并引入多任务损失函数，检测速度提升21倍但仍受限于Selective Search的耗时问题。Ren等^[45]提出Faster R-CNN，通过区域提议网络（RPN）生成锚框候选区域，实现检测速度与精度的双重突破。

单阶段检测算法省略候选生成环节，直接通过端到端网络完成预测。Redmon^[46]提出的YOLOv1开创了全链路检测先河，将图像划分为网格单元直接预测边界框，检测速度达45帧/s，但精度损失约10%。Liu^[47]提出的SSD引入多尺度锚框机制，在保持59帧/s速率的同时提升检测精度。YOLOv2^[48]通过锚框优化与特征融合实现速度与精度的平衡，YOLOv3^[49]采用DarkNet-53骨干网络并引入特征金字塔，在COCO数据集上达到48.1% mAP。2020年YOLOv4^[50]和YOLOv5进一步升级，通过CSP DarkNet 53骨干网络与PANet特征融合，在Edge设备上实现实时检测。

尽管基于视觉的感知技术取得显著进步，但其二维投影特性导致空间信息缺失，且易受光照变化、天气干扰等环境因素影响，复杂场景下的图像质量退化会显著降低检测可靠性。

2.2 激光雷达点云环境感知研究进展

基于激光雷达点云的环境感知通过使用激光雷达传感器获取物体的点云进行目标检测。与相机相比，激光雷达具有优秀的物体三维形状和夜视探测能力，但是激光雷达采集的三维点云数据具有空间采样密度分布不均、空间拓扑无序性以及视角依赖的几何特征缺失等问题。激光雷达目标检测算法主要分为基于传统的方法和基于深度学习的方法^[19]。

2.2.1 基于传统的方法

经典激光雷达点云检测框架包含3个核心模块：点云预处理、特征提取与聚类分析、目标分类决策。在数据采集阶段，三维点云易受环境杂波干扰（如空气中的悬浮颗粒、自然飘落物等），导致离散噪声点的产生。通过预处理技术可有效净化数据，降低后续特征提取的复杂度。预处理流程通常包括多阶段滤波（如中值滤波结合体素滤波）和地面点移除，从而显著抑制非结构化噪声的影响。

特征提取与点云聚类作为传统点云目标检测框架的核心环节，通过设计特征描述子提取点云几何特征，实现具有相似属性的点云分组以完成目标检测。Bhanu等^[51]提出基于边缘特征的点云聚类算法，通过分析点云局部区域的边界特征实现目标分割。

2.2.2 基于深度学习的方法

深度学习在图像处理领域的突破性进展，推动了基于深度学习的激光雷达点云检测技术的快速演进。当前主流方法可划分为3大技术路线：二维投影检测范式、三维点云直接处理方法及体素化特征学习框架。

二维投影检测方法通过将三维点云映射至二维平面，借鉴图像检测范式实现目标定位。VeloFCN^[52]提出前视投影（FVP）技术，将点云转换为二维特征图并通过2D CNN实现端到端车辆检测。MV3D^[53]构建多视图融合框架，将点云分别映射至俯视图（BEV）与前视图（FV），通过双分支CNN提取多视角特征并进行特征级融合。后续研究如AVOD^[54]通过多模态特征聚合（点云+图像）提升检测精度，LMNet^[55]则引入轻量化网络优化特征映射效率，降低计算复杂度。

三维点云直接处理方法采用3D卷积提取点云特征。斯坦福大学团队提出的PointNet^[56]首次实现点云直接特征学习，通过全连接层独立学习点云局部特征，并利用最大池化获取全局表征。针对其缺乏结构特征的问题，PointNet++^[57]引入分层特征学习架构，通过集合抽象层（采样-分组-特征学习）捕获局部几何结构，逐层抽象特征层次。

体素化特征学习框架将稀疏点云离散化为均匀体素网格后进行3D CNN处理。VoxelNet^[58]构建端到端网络，包含体素特征编码层、3D卷积中间层及区域提议网络。针对3D卷积计算量过大问题，改进算法Second^[59]与PointPillars^[60]通过稀疏卷积或柱特征编码优化计算效率。

尽管激光雷达能够精确获取物体空间位置信息，但其数据稀疏性与高维特性增加了处理复杂度，且缺乏颜色与纹理信息的局限性使其难以独立完成全场景环境感知任务。

3 基于多传感器融合的环境感知研究现状

收起

单传感器架构的目标检测技术已取得显著成效，但多模态传感器因物理原理差异存在固有缺陷，例如视觉传感器在深度感知与低光照环境下存在性能短板，激光雷达则缺乏语义信息获取能力。这种单一传感模式的局限性使得多传感器融合成为环境感知的必然选择，通过异构传感器的优势互补实现全场景信息覆盖。当前多传感器融合技术面临数据异构性与融合策略优化的挑战，主流方法包括数据层融合、特征层融合和决策层融合。

3.1 数据层融合

数据层融合（又称像素级融合）作为多传感器融合感知的核心技术，直接对原始观测数据进行统计分析，强调不同传感器原始数据间的时空关联性，并最大限度保留数据细节特征。该融合模式的优势体现在：能够完整保留现场数据的细节信息，为后续处理提供其他融合层级难以获取的底层特征；由于处于数据处理的最底层，对观测数据的不确定性、不完整性及噪声干扰具有较强的容错能力。然而其局限性也十分显著：需处理海量原始数据，导致计算复杂度高、处理延迟大，难以满足实时性要求；当多源数据存在显著时空偏差时，需实施复杂的数据对齐与校准流程。

此外，数据级融合要求传感器具有同质性（即观测同一物理现象）。若传感器为异质类型（观测不同物理现象），则需采用特征级或决策级融合方式。

3.2 特征层融合

特征层融合作为中间层级的融合技术，其处理流程包含2个关键阶段：首先对多源原始数据进行预处理并提取特征表征（如边缘、方向、速度等物理量），随后通过特征级联或特征变换生成联合特征向量，供后续模式识别算法进行决策分析。该融合模式的优势在于：在保留关键信息的同时实现数据降维，显著降低计算负载并提升处理效率；所提取的特征与决策目标直接相关，能够为最终决策提供最具判别性的信息。然而其局限性也不容忽视：特征提取过程可能导致原始数据的信息损失，进而影响系统的检测精度与鲁棒性；特征工程需根据具体应用场景设计，增加了算法开发的复杂度。因此，特征级融合在多传感器融合架构中扮演承上启下的角色，既是对数据级融合结果的进一步抽象，也是决策级融合的输入基础。

3.3 决策层融合

决策层融合作为高层级融合技术，其处理流程包含2个阶段：首先各传感器基于自身观测数据生成局部推断结果，随后通过决策融合算法对多源局部决策进行关联分析，最终形成全局决策结论。

该融合模式的显著特点包括：高适应性、鲁棒性强、容错性能优异且通信带宽需求低。由于决策结果将直接支撑指挥决策系统，因此需结合具体决策任务需求，充分利用特征级融合提取的目标特征信息，采用合理的融合策略实现。此外，决策级融合还具备数据传输量低、实时性强、可处理异步数据及异构信息融合能力等优势。

在实际应用中，研究者也提出了许多决策融合算法，比如D-S证据理论和贝叶斯推理，这些方法都是决策层融合的重要工具。总之，决策层融合是多源融合环境感知技术中的重要组成部分，它能够在各种复杂的环境条件下，有效地整合来自不同传感器的信息，为决策提供全面、准确的数据支持。

综上所述，将相机、雷达的信息融合后进行车辆环境感知可以有效结合各种传感器的优势，提高车辆环境感知的能力。其中，决策层融合方法相比早期融合方法具有更强的抗干扰能力，更有利于环境感知。但是，现有的多传感器决策层融合环境感知方法还存在着传感器检测结果匹配不够准确、不能有效适用于不同环境的问题。

4 总结与展望

收起

环境感知作为智能驾驶系统的核心技术，将持续成为学术界与产业界的研究焦点。本文系统梳理了主流传感器的物理特性（如单目、双目、红外、全景、深度摄像头，激光雷达、毫米波雷达、超声波雷达）及其工作原理，深入分析了单模态（视觉、激光雷达）与多模态融合感知技术的研究进展。尽管智能汽车环境感知技术已取得显著进步，但其在复杂场景下仍面临感知鲁棒性不足、多模态数据融合效率低等技术瓶颈。例如，当车辆遭遇雨雾天气、夜间低光照或城市复杂路况时，现有感知系统能否保持稳定可靠的环境识别能力，仍是当前技术面临的重大挑战。

针对智能汽车环境感知技术未来发展，提出如下展望：

（1）多模态融合感知体系：近年来传感器技术成熟度显著提升，但单一传感器在复杂环境下易受噪声干扰（如雾天激光雷达信号衰减、强光下摄像头过曝）。可行的解决方案是构建多传感器协同感知网络，通过数据优先级动态分配策略（如雾天提升红外传感器权重、雨天增强毫米波雷达数据置信度），突破单一传感器的物理局限与探测盲区，提升感知系统的鲁棒性与准确性。多模态融合将成为智能汽车环境感知的核心发展方向。

（2）传感器技术革新：随着人工智能与物联网技术的深度融合，智能汽车传感器将进入智能化、集成化、网络化的深度发展阶段。未来传感器将具备更强大的跨域协同能力，支持复杂场景下的多维信息采集。然而，传感器技术的发展也面临数据安全、隐私保护等伦理挑战。因此，需同步推进法律法规与技术标准建设，确保智能汽车产业的可持续发展。

（3）车路协同感知网络：当前车辆主要依赖车载传感器进行环境感知，当目标被遮挡或超出探测范围时存在检测盲区。V2X协同感知通过无线通信技术构建车-车、车-路、车-人的信息交互网络，将单车感知扩展为全局感知，显著提升复杂场景下的目标检测与分类能力。该技术将车辆转化为智能交通网络的信息节点，通过环境数据共享优化交通流组织。在未来智能交通系统中，V2X协同感知将成为实现安全高效出行的关键技术。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

桂晶晶, 吴芯洋, 曾月, 等. 我国智能汽车发展现状及前景[J]. 中国高新科技, 2022(4): 60-61.

[2]

广州市人民政府. “智车之城”广州锚定智能网联与新能源汽车关键领域[EB/OL]. (2024-02-08) [2025-02-15]. https://www.gz.gov.cn/zt/gzlfzgzld/gzgzlfz/content/post_10107106.html. https://www.gz.gov.cn/zt/gzlfzgzld/gzgzlfz/content/post_10107106.html

[3]

彭湃, 耿可可, 王子威, 等. 智能汽车环境感知方法综述[J]. 机械工程学报, 2023, 59(20): 281-303.

[4]

宋琪. 基于多源传感器融合的无人车环境感知算法研究[D]. 长春: 吉林大学, 2021.

[5]

刘炜, 陆存豪. 自动驾驶汽车环境感知传感器研究[J]. 汽车实用技术, 2023, 48(10): 197-203.

[6]

ANDRADE

D C

, BUENO

, FRANCO

F R

, et al. A Novel Strategy for Road Lane Detection and Tracking Based on a Vehicle’s Forward Monocular Camera[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 20(4): 1497-1507.

[7]

刘金雄. 基于单目摄像头的车道线识别和路径规划算法研究[D]. 北京: 北京交通大学, 2022.

[8]

沈念伟, 于大泳. 基于单目摄像头的车辆前方障碍物的检测研究[J]. 农业装备与车辆工程, 2022, 60(1): 84-87.

[9]

ZHANG

, LI

. Navigation Path Detection Method for A Banana Orchard Inspection Robot Based on Binocular Vision[J]. Transactions of the CSAE, 2021, 37(21): 9-15.

[10]

申彩英, 朱思瑶, 黄兴驰. 双目视觉的智能汽车目标检测算法研究[J]. 重庆理工大学学报(自然科学), 2023, 37(11): 11-19.

[11]

李学森. 基于双目摄像头的特定环境目标快速检测与追踪研究[D]. 桂林: 广西师范大学, 2021.

[12]

成春阳, 黄渊博, 卢鑫, 等. 基于主动红外滤光环视成像的车道线检测算法[J]. 激光与光电子学进展, 2018, 55(12): 288-296.

[13]

姚翔文. 红外行人检测研究及边缘设备上的系统实现[D]. 北京: 北京邮电大学, 2023.

[14]

丁帅帅. 基于红外热成像技术的车载辅助驾驶系统研究[D]. 沈阳: 沈阳理工大学, 2023.

[15]

孙宛路. 基于鱼眼环视的车道线检测技术研究[D]. 长春: 吉林大学, 2020.

[16]

刘宇. 基于环视摄像头的汽车盲区监测技术[D]. 成都: 电子科技大学, 2022.

[17]

董理, 胡茂海, 杨志荣. 基于深度相机的物体姿态感知方法[J]. 激光与光电子学进展, 2022, 59(14): 300-307.

[18]

李响, 杨德贵. 认知雷达及其关键技术的研究进展分析[J]. 现代雷达, 2022, 44(3): 1-9.

[19]

贺红春. 基于多传感器融合的智能汽车环境感知技术研究[D]. 长春: 长春工业大学, 2023.

[20]

高鹏, 姜军生, 白阳, 等. 基于改进A*算法的果园移动机器人建图定位与路径规划方法与试验[J]. 中国农机化学报, 2022, 43(1): 142-149.

[21]

胡杰, 陈楠, 徐文才, 等. 基于自适应门控的双路激光雷达三维车道线检测[J]. 中国激光, 2023, 50(22): 140-154.

[22]

马小龙, 余强, 刘建蓓. 基于路侧毫米波雷达的车辆碰撞概率计算方法[J]. 交通运输系统工程与信息, 2022, 22(1): 57-66.

[23]

黄文奎. 毫米波汽车防撞雷达的设计与实现[D]. 上海: 中国科学院研究生院(上海微系统与信息技术研究所), 2006.

[24]

田勇, 杨昊, 胡超, 等. 基于毫米波雷达的电动汽车无线充电运动异物检测与跟踪[J]. 电工技术学报, 2023, 38(2): 297-308.

[25]

纪者. 基于超声波雷达的自动泊车系统研究[D]. 北京: 北京交通大学, 2021.

[26]

张海焕, 陈彩霞, 马逸行. 基于超声波雷达的自动泊车自适应测距与定位设计[J]. 科技视界, 2020(28): 1-4.

[27]

UIJLINGS

J R

, SANDE

K E

, GEVERS

, et al. Selective Search for Object Recognition[J]. International; Journal of Computer Vision, 2013, 104(2): 154-171.

[28]

LOWE

D G

. Object Recognition from Local Scale-Invariant Features[C]// Proceedings of IEEE International Conference on Computer Vision. Kerkyra: IEEE, 1999: 1150-1157.

[29]

WIGLASZ

, SEKANINA

. Evolutionary Approximation of Gradient Orientation Module in HOG-Based Human Detection System[C]//2017 IEEE Global Conference on Signal and Information Processing (GlobalSIP). Montreal:IEEE, 2017: 1300-1304.

[30]

DALAL

, TRIGGS

. Histograms of Oriented Gradients for Human Detection[C]// 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). San Diego: IEEE, 2005: 886-893.

[31]

CHANG

C C

, LIN

C J

. LIBSVM: A Library for Support Vector Machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): 1-27.

[32]

CAO

, MIAO

Q G

, LIU

J C

, et al. Advance and Prospects of AdaBoost Algorithm[J]. Acta Automatica Sinica, 2013, 39(6): 745-758.

[33]

GIRSHICK

, DONAHUE

, DARRELL

, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580-587.

[34]

KIM

, LEE

, WOO

, et al. Integration of Vehicle and Lane Detection for Forward Collision Warning System[C]// 2016 IEEE 6th International Conference on Consumer Electronics-Berlin (ICCE-Berlin). Berlin: IEEE, 2016: 5-8.

[35]

SUN

, XU

, WANG

, et al. Real-Time Vehicle Detection Using Haar-SURF Mixed Features and Gentle AdaBoost Classifier[C]// 2015 27th Chinese Control and Decision Conference (CCDC). Qingdao: IEEE, 2015: 1888-1894.

[36]

, DUAN

, MIAO

, et al. Detection of Front-View Vehicle with Occlusions Using AdaBoost[C]// International Conference on Information Engineering & Computer Science. Wuhan: IEEE, 2009: 1-4.

[37]

FELZENSZWALB

P F

, MCALLESTER

D A

, RAMANAN

. A Discriminatively Trained, Multiscale, Deformable Part Model[C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage: IEEE, 2008: 1-8.

[38]

KRIZHEVSKY

, SUTSKEVER

, HINTON

G E

. ImageNet Classification with Deep Convolutional Neural Networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[39]

SIMONYAN

, ZISSERMAN

. Very Deep Convolutional Networks for Large-Scale Image Recognition[EB/OL]. (2014-09-15)[2024-12-31]. https://arxiv.org/pdf/1409.1556v2. https://arxiv.org/pdf/1409.1556v2

[40]

SZEGEDY

, LIU

, JIA

, et al. Going Deeper with Convolutions[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 1-9.

[41]

, ZHANG

, REN

, et al. Deep Residual Learning for Image Recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[42]

GIRSHICK

, DONAHUE

, Darrell

, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2014: 580-587.

[43]

, ZHANG

, REN

, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[44]

GIRSHICK

. Fast R-CNN[C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1440-1448.

[45]

REN

, HE

, GIRSHICK

, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[46]

REDMON

, DIVVALA

, GIRSHICK

, et al. You Only Look Once:Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 779-788.

[47]

WEI

, DRAGOMIR

, DUMITRU

, et al. SSD: Single Shot Multibox Detector[C]// Proceedings of European Conference on Computer Vision(ECCV). Amsterdam: ECCV, 2016: 21-37.

[48]

REDMON

, FARHADI

. YOLO9000: Better, Faster, Stronger[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 7263-7271.

[49]

REDMON

, FARHADI

. YOLOv3:An Incremental Improvement[EB/OL]. (2018-04-08)[2024-12-31]. https://arxiv.org/abs/1804.02767. https://arxiv.org/abs/1804.02767

[50]

BOCHKOVSKIY

, WANG

C Y

, LIAO

. YOLOv4:Optimal Speed and Accuracy of Object Detection[EB/OL]. (2020-04-23)[2024-12-31]. https://arxiv.org/abs/2004.10934. https://arxiv.org/abs/2004.10934

[51]

BHANU

, LEE

, HO

C C

, et al. Range Data Processing: Representation of Surfaces by Edges[C]// Proceedings of the Eighth International Conference on Pattern Recognition. Piscataway: IEEE Computer Society Press, 1986: 236-238.

[52]

VAQUERO

, DEL PINO

, MORENO-NOGUER

, et al. Deconvolutional Networks for Pointcloud Vehicle Detection and Tracking in Driving Scenarios[C]// 2017 European Conference on Mobile Robots (ECMR). Paris:IEEE, 2017: 1-7.

[53]

CHEN

, MA

, WAN

, et al. Multi-View 3D Object Detection Network for Autonomous Driving[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1907-1915.

[54]

, MOZIFIAN

, LEE

, et al. Joint 3D Proposal Generation and Object Detection from View Aggregation[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Marid: IEEE, 2018: 1-8.

[55]

MINEMURA

, LIAU

, MONRROY

, et al. LMNet:Real-Time Multiclass Object Detection on CPU Using 3D LiDAR[C]// 2018 3rd Asia-Pacific Conference on Intelligent Robot Systems (ACIRS). Singapore: IEEE, 2018: 28-34.

[56]

C R

, SU

, MO

, et al. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation[J]. IEEE, 2017: 77-85.

[57]

C R

, SU

, MO

, et al. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 652-660.

[58]

ZHOU

, TUZEL

. VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4490-4499.

[59]

YAN

, MAO

, LI

. Second: Sparsely Embedded Convolutional Detection[J]. Sensors, 2018, 18(10): 3337.

[60]

LANG

A H

, VORA

, CAESAR

, et al. PointPillars: Fast Encoders for Object Detection from Point Clouds[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 12697-12705.

2025年第卷第4期

PDF下载

416

137

引用本文

BibTeX

文章信息

doi: 10.19822/j.cnki.1671-6329.20240078

首发时间：2025-11-10
出版时间：2025-04-05

补充材料

相关文章

文章信息

作者

出版历史

基金

作者信息

福建理工大学，福州 350108

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcwz/CN/10.19822/j.cnki.1671-6329.20240078

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT