汽车工程师

雾浓度等级/级	雾的定义	能见度/m
1	薄雾	330~1 000
2	轻雾	150~330
3	中雾	50~150
4	大雾	20~50
5	浓雾	10~20
6	重雾	0~10

雾浓度等级/级	雾的定义	能见度/m
1	薄雾	330~1 000
2	轻雾	150~330
3	中雾	50~150
4	大雾	20~50
5	浓雾	10~20
6	重雾	0~10

能见度/m	速度限制 /km·h^-1	对交通的影响
200~500	80	保持 150 m以上的行车距离
100~200	60	保持 100 m以上的行车距离
50~100	40	保持 50 m以上的行车距离
<50		交通阻塞，高速公路必须封闭

能见度/m	速度限制 /km·h^-1	对交通的影响
200~500	80	保持 150 m以上的行车距离
100~200	60	保持 100 m以上的行车距离
50~100	40	保持 50 m以上的行车距离
<50		交通阻塞，高速公路必须封闭

序号	图像	算法	t_p/ms	H	$\sigma $
1	中雾	原图		7.287	0.008 2
2	中雾	He等的算法^[17]	36	7.562	0.015 7
3	中雾	本文算法	32	7.835	0.028 4

序号	图像	算法	t_p/ms	H	$\sigma $
1	中雾	原图		7.287	0.008 2
2	中雾	He等的算法^[17]	36	7.562	0.015 7
3	中雾	本文算法	32	7.835	0.028 4

基于引导滤波的车载视频图像去雾简化模型

PDF下载

魏玉聪 , 孙铭辰 , 姜新明 , 刘金沅 , 王多洋

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024,(8): 42-48

收起

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024, (8): 42-48

基于引导滤波的车载视频图像去雾简化模型

全屏

魏玉聪, 孙铭辰, 姜新明, 刘金沅, 王多洋

作者信息

一汽-大众汽车有限公司，长春 130062

Defogging Simplified Model for Vehicular Video Based on Guide Filtering

Yucong Wei, Mingchen Sun, Xinming Jiang, Jinyuan Liu, Duoyang Wang

Affiliations

FAW-Volkswagen Automotive Co., Ltd., Changchun 130062

出版时间: 2024-08-15 doi: 10.20104/j.cnki.1674-6546.20230229

文章导航

摘要

收起

为解决现有视频去雾模型计算量大、运算速度慢且只能处理单幅图像的问题，提出了基于引导滤波的车载视频图像去雾简化模型。对光能的大气衰减指数定律和雾霾退化的物理模型进行修正得到去雾简化模型，利用灰度图法和引导滤波法确定了模型中的雾气浓度系数和环境大气光强度，最后利用计算机仿真对去雾简化模型进行验证，结果显示，模型对连续的视频帧去雾效果显著。

关键词

引导滤波 / 灰度图 / 车载视频 / 去雾简化模型

Abstract

收起

To address the issue of large amount of computation, slow arithmetic speed of the current defogging video model that can only process single image, this article proposed a defogging simplified model for vehicular video based on guide filtering. Firstly, the law of atmospheric attenuation index of light energy and physical model of haze degradation were introduced, then the defogging simplified model was obtained by correcting the attenuation law and the degradation model, and two parameters of the fog concentration factor and ambient air light were determined with the gray scale method and guided filtering method. Finally, the model was verified by computer simulation. The simulation results show that the defogging simplified model works effectively to defog for continuous video.

Key words

Guide filtering / Grey-scale map / Vehicular video / Defogging simplified model

引用本文

魏玉聪, 孙铭辰, 姜新明, 刘金沅, 王多洋. 基于引导滤波的车载视频图像去雾简化模型. 汽车工程师, 2024 , (8) : 42 -48 . DOI: 10.20104/j.cnki.1674-6546.20230229

Yucong Wei, Mingchen Sun, Xinming Jiang, Jinyuan Liu, Duoyang Wang. Defogging Simplified Model for Vehicular Video Based on Guide Filtering[J]. Automotive Engineer, 2024 , (8) : 42 -48 . DOI: 10.20104/j.cnki.1674-6546.20230229

正文

收起

1 前言

收起

恶劣天气是引起严重交通事故的重要原因之一。研究表明，雨天发生交通事故的概率是晴天的6.4倍，而雾天发生交通事故的概率是晴天的3.4倍^[1]。雨、雾天气下如何提高驾驶员对前方车辆等障碍物的辨识能力是汽车主动安全技术的研究热点。

提高雨、雾天气下障碍物辨识能力最常用的方法是采集车辆前方的视频、图像信息，并将图像处理后呈现给驾驶员。Yitzhaky等^[2]针对因大气湍流和前向散射作用造成的模糊，估计大气调制传递函数，通过频域解卷积复原模糊图像；Narasimhan和Nayar^[3-6]利用不同天气条件下同一场景的2幅或多幅图像估算场景的三维结构，建立二色大气散射模型^[3]，进而恢复出清晰图像。雾会使所拍摄到的图像模糊不清，将雾对景物的退化作用等效成照度变化的结果，根据Retinex理论及有雾图像直方图的特点分析多尺度增强算法（Multi-Scale Retinex，MSR），采用正态截取拉伸处理输出图像可实现较好的去薄雾效果^[7-8]。郭璠等^[9]提出2种基于雾气理论的视频去雾算法，一种方法将雾气视为覆盖在各帧图像上的一层遮罩而从原视频中减除，另一种方法将雾气视为光路传播图进行分离消除；弓振鹏等^[10]基于红外图像的视觉处理技术，提出了新的汽车夜视安全控制方法。

但以上方法仅能处理单幅图像，很难满足连续性强的车载视频图像的处理要求。本文提出一种基于引导滤波的车载视频图像去雾模型，实现连续图像的去雾处理。

2 雾对行车的影响

收起

雾天对能见度的影响严重，按照不同雾浓度下的能见度范围，可以将雾划分为6个等级，如表1所示。

研究表明，驾驶员在驾驶车辆时，90%以上的行车信息通过视觉获取^[7]。驾驶员在雾天条件下难以识别交通标志、路面设施，对车距及车速的判断不准确，极易发生追尾事故。按照我国公安部规定^[8]，为了保障雾天行车安全，需根据能见度对高速公路上的行驶车速进行限制。道路能见度对交通安全的影响如表2所示。

3 图像去雾理论

收起

雾霾视频图像恢复技术用于从雾霾退化图像中分离出大气散射光，进而获取清晰图像。

由光能的大气衰减指数定律^[9]可知：

（1）φ(d)=φ(0)e^-^kd

式中：d为场景距离，即图像接收器与被拍摄物之间的距离；ϕ(0)为图像接收器在零距离时获得的光能；ϕ(d)为ϕ(0)经过距离为d的大气传输后图像接收器获得的光能；k为大气介质的衰减系数。

根据光能的大气衰减指数定律，Nayar等^[3-6]提出了图像场景中每一点的光辐射强度模型：

（2）$E\left(d,\lambda \right)=\frac{{E}_{\infty }\left(\lambda \right)\gamma \left(\lambda \right){e}^{-\beta \left(\lambda \right)d}}{{d}^{2}}+{E}_{\infty }\left(\lambda \right)(1-{e}^{-\beta \left(\lambda \right)d})$

式中：E(d,λ)为图像接收器获得的雾霾影响下的实际图像；E_∞(λ)为水平方向的天空光强度；γ(λ)为图像场景中每一点的反射属性；λ为入射光线波长；β(λ)为基于光波长函数的大气散射系数，与雾霾浓度有关。

通过转换式（2）可得场景图像每一点的亮度，即观察到的图像E：

（3）E=I_∞ρe^-^βd+I_∞(1-e^-^βd)

式中：I_∞为环境大气光强度；ρ为标准光辐射强度，是与大气状况无关的距离函数；I_∞ρ为未经雾霾散射的图像亮度，即没有雾霾时的图像受雾霾介质影响衰减，衰减的程度以d为幂次的指数衰减函数来表征，故I_∞ρe^-^βd又称为直接衰减项^[10]；e^-^βd为雾霾介质传输率；I_∞(1-e^-^βd)为大气散射光强度，能使图像模糊退化和色彩偏移失真。

由此可知，图像去雾应从E中恢复出I_∞ρ。

4 去雾简化模型

收起

4.1 简化大气模型

雾霾天气下，空气中各种悬浮粒子数量较多，对成像系统影响如下：景物表面的放射光传播过程中被悬浮粒子吸收而衰减，强度降低；空气中的悬浮粒子会散射大气光，部分散射光和景物反射光叠加后传入成像设备，使图像清晰度降低。

因此，McCartney于1975年提出大气双色散射理论^[11]，建立了雾霾退化的物理模型：

（4）I=I_∞ρ(x)e^-^βd⁽^x⁾+I_∞(1-e^-^βd⁽^x⁾)

式中：I为雾天摄像机捕获的退化图像，ρ(x)为标准光辐射强度，β为雾霾浓度影响系数，d(x)为环境中各点到摄像机的距离函数，x为摄像机捕捉到的环境中点的信息。

令景物表面反射光为I′，由辐射原理可得I′=I_∞ρ(x)，带入式（4）可得：

（5）I′=e^-^βd⁽^x⁾(I-I_∞)+I_∞

相对于天空等长距离光线传播，可假设图像各点对应的环境深度为定值，即e^-^βd⁽^x⁾可简化为当前环境的雾气浓度系数f_β，则式（5）可简化为：

（6）E=f_β(I-I_∞)+I_∞

式（6）中，I为已知量，f_β和I_∞为未知量，需进行估算。对于一个地点的短距离范围，短时间内f_β不会明显改变，因此，不需要实时计算f_β，可以间歇性测量计算，以节省视频图像处理时间。

4.2 f_β估算

f_β是衡量雾浓度大小的重要参数，为避免f_β的取值过大或过小影响修复质量，将f_β的取值范围限定为[1,8]^[12]，本文采用灰度图法估算f_β，灰度图像通常采用每个像素8位的非线性尺度保存，因此，灰度有256级，其中0级为纯黑色、255级为纯白色，该精度可避免可见的条带失真。

假设相机获得的图像中某点的颜色为(R,G,B)，其中R、G、B分别为红色、绿色、蓝色光强度，灰度图法估算f_β时需将彩色图像转换为灰度图像，本文采用整数方法转换：

（7）G_y=(R×30+G×59+B×11)/100

式中：G_y为灰度。

灰度图像同样反映了图像整体及局部色度和亮度等级的分布和特征。雾对灰度图像的亮度影响更加明显，因此，猜想灰度图像和雾浓度存在相关性，设计如下统计试验进行验证：

a. 采集有雾和无雾图像；

b. 将采集到的彩色图像转换为灰度图像；

c. 统计绘制灰度图像灰度等级分布情况；

d. 统计灰度值小于设定的灰度像素阈值n的像素点所占比例。

按照以上试验步骤，将RGB图像转换为灰度图像，统计灰度图像的灰度级分布图，结果如图1所示。

分析灰度级分布情况可知：不同f_β下，图像的灰度分布不同，随着雾气浓度的增加，灰度像素阈值低于50像素的变化明显。

图1中各灰度图像R、G、B值低于50所占比例分别为0.07%、0.05%、0，可见浓雾图像像素值低于50的像素点基本没有，中雾和浓雾下像素值低于100的像素点很少。因此，灰度图像像素值低于50的像素点所占比例越高，则图像越清晰。为方便运算，定义像素值低于50的像素点所占比例p与f_β成线性关系，根据经验值可知，p的取值范围为[0,0.035]，则：

（8）${f}_{\beta }=8-200p$

通过式（8）可实现对雾气浓度的快速估算，需注意，当p>0.035时，f_β=1。

4.3 I_∞的估算

He等于2010年提出的图像引导滤波器^[13]是一种局部线性滤波器，在实时性和去伪影方面优势明显，本文利用该滤波器对有雾图像的灰度图进行滤波处理，作为I_∞的估算值。引导滤波中的局部线性模型如图2所示。

局部线性模型认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数可用多个局部的线性函数表示，当需求解该函数上某一点的值时，仅需计算所有包含该点的线性函数的平均值。同理，可以认为图像是一个二维函数，无法给出解析表达式，假设该函数的输出与输入在一个二维窗口内满足线性关系，图像引导滤波器是一种线性可变滤波器，其滤波核q_i为^[14]：

（9）${q}_{i}={a}_{k}{I}_{i}+{b}_{k}, \forall i\in {w}_{k}$

式中：w_k为第k个核函数窗口，a_k、b_k分别为给定单元窗口w_k内的线性变换系数，I_i为引导图像，i为w_k中的像素索引序号。

引导滤波器必须保证输入图像P与输出图像q的差异值Z最小：

（10）$Z=\underset{\left(a,b\right)}{min}\sum _{k\in {w}_{i}}\left(({q}_{i}-{p}_{i}{)}^{2}-\epsilon {{a}_{k}}^{2}\right)$

式中：a、b为线性变换系数，p_i为输入图像中的像素点，w_i为以像素p_i为中心的单元窗口，$\epsilon $为正则化平滑因子。

以式（10）为目标函数，利用最小二乘法可解得：

（11）${a}_{k}=\frac{co{v}_{k}(I,P)}{va{r}_{k}\left(I\right)+\epsilon }·{b}_{k}$

经换算，可得：

（12）${a}_{k}=\overline{{P}_{k}}-{a}_{k}\overline{{I}_{k}}$

式中：cov_k(I,P)为引导图像I和输入图像P的协方差，var_k(I)为I的方差，$\overline{{P}_{k}}$为P在单元窗口w_k内的均值，$\overline{{I}_{k}}$为I在单元窗口w_k内的均值。

本文中引导图为输入图像P，即I=P，带入式（11）、式（12）中求得a_k和b_k，I_∞可表示为：

（13）${I}_{\infty }\triangleq R\left[\left(\frac{1}{\left|w\right|}\sum _{k\in {w}_{i}}{a}_{k}\right){p}_{i}+\frac{1}{\left|w\right|}\sum _{k\in {w}_{i}}{b}_{k}\right]$

式中：|w|为单元窗口像素数量；R表示对每个像素点作滤波处理，滤波半径为30像素，平滑因子取值为0.3。

如图3所示，原图和灰度图除颜色不同外，没有其他差异，引导滤波后的图像更加模糊，边缘被很好地保留，引导滤波后的图像用来估计各场景深度下的大气环境光。

5 仿真验证

收起

为了更加客观地评价算法的有效性，本文采用信息熵方法评估图像质量，采用处理时间t_p评价算法的处理速度^[15-16]。

图像信息熵H表示灰度集合的比特平均数，描述了图像的平均信息量：

（14）$H=-\sum _{i=0}^{255}{p}_{i}log{p}_{i}$

本文将所提出的模型和行业中典型算法^[17]进行量化对比，由表3可知：本文算法的单帧处理时间为32 ms，可满足帧速率为30 帧/s的视频处理要求，适用于连续视频数据处理；利用本文算法可复原出更多的图像信息，复原的结果较He等的算法^[17]更优，即该算法还原图像信息的能力很强。

图像的方差σ反映图像灰度相对于灰度平均值的离散情况，代表图像的对比度：

（15）$\sigma =\frac{1}{N}\sum _{i=1}^{N}({x}_{i}{-\mu )}^{2}$

式中：x_i为像素的灰度，μ为图像的弧度平均值，N为像素总数量。

相比于文献[17]提出的算法，本文算法处理后的图像对比度较高，成像效果更好。

为了验证本文所提出的去雾简化模型的有效性，基于该模型利用仿真软件处理2张照片，处理结果如图4和图5所示。

6 结束语

收起

本文提出了雨雾状态下的车载视频图像去雾模型，并利用灰度图法和引导滤波法确定了模型中的雾气浓度系数和环境大气光强度。最后利用计算机仿真验证了去雾简化模型，结果显示，该模型去雾效果显著，且对于连续的视频去雾效果明显。

视频去雾可广泛应用于智能驾驶领域，典型应用场景有：流媒体后视镜，可在雨雾等天气情况下较为清晰地显示周边环境；行车记录仪，当雨雾天发生交通事故且事故责任不清晰时，去雾后的视频数据可用于事故分析。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

徐铖铖, 刘攀, 王炜, 等. 恶劣天气下高速公路实时事故风险预测模型[J]. 吉林大学学报(工学版), 2013, 43(1): 68-73.

C C

, LIU

, WANG

, et al. Real Time Crash Risk Prediction Model on Freeways Under Nasty Weather Conditions[J]. Journal of Jilin University (Engineering and Technology Edition), 2013, 43(1): 68-73.

[2]

YITZHAKY

, DOR

, KOPEIKA

N S

. Restoration of Atmospherically Blurred Images According to Weather-Predicted Atmospheric Modulation Transfer Functions[J]. Optical Engineering, 1997, 36(11): 3064-3072.

[3]

NAYAR

S K

, NARASIMHAN

S G

. Vision in Bad Weather[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra, Greece: IEEE, 1999: 820-827.

[4]

NARASIMHAN

S G

, NAYAR

S K

. Contrast Restoration of Weather Degraded Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[5]

NARASIMHAN

S G

, NAYAR

S K

. Vision and the Atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254.

[6]

NARASIMHAN

S G

, NAYAR

S K

. Chromatic Framework for Vision in Bad Weather[C]// Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head, SC, USA: IEEE, 2000: 1598-l605.

[7]

芮义斌, 李鹏, 孙锦涛. 一种图像去薄雾方法[J]. 计算机应用, 2006(1): 154-156.

RUI

Y B

, LI

, SUN

J T

. Method of Removing Fog Effect from Images[J]. Computer Applications, 2006(1): 154-156.

[8]

代红焱, 龙伟, 李炎炎. 高速公路雨雾监测及车辆安全预警系统研究[J]. 南京工程学院学报(自然科学版), 2012, 10(3): 55-60.

DAI

H Y

, LONG

, LI

Y Y

. Study of Rain and Fog Monitoring and Vehicle Safety Warning System for Expressways[J]. Journal of Nanjing Institute of Technology (Natural Science Edition), 2012, 10(3): 55-60.

[9]

郭璠, 蔡自兴, 谢斌. 基于雾气理论的视频去雾算法[J]. 电子学报, 2011, 39(9): 2019-2025.

GUO

, CAI

Z X

, XIE

. Video Defogging Algorithm Based on Fog Theory[J]. Acta Electronica Sinca, 2011, 39(9): 2019-2025.

[10]

弓振鹏, 丁鼎. 红外图像处理在汽车防撞系统中的运用[J]. 汽车科技, 2011(5): 45-48.

GONG

Z P

, DING

. The Application of Infrared Image Processing in the Automotive Anti-Collision System[J]. Auto Sci-Tech, 2011(5): 45-48.

[11]

CAMPBELL

G S

, NORMAN

J M

. An Introduction to Environmental Biophysics[M]. New York, NY, USA: Springer-Verlag, 1998: 105-107.

[12]

MCCARTNEY

E J

. Optics of the Atmosphere[M]. New York, NY, USA: John Wiley and Sons, 1976: 198-200.

[13]

ROBBY

T T

. Visibility in Bad Weather from a Single Image[C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA: IEEE, 2008: 1-8.

[14]

K M

, SUN

, TANG

X O

. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010: 35(6): 1397-1409.

[15]

GUO

F C

, CAI

. Objective Assessment Method for the Clearness Effect of Image Defogging Algorithm[J]. Acta Automatica Sinica, 2012, 38(9): 1410.

[16]

D P

, YU

, XIAO

C B

. No-Reference Quality Assessment Method for Defogged Images[J]. Journal of Image and Graphics, 2011, 16(9): 1753-1757.

[17]

K M

, SUN

, TANG

X O

. Single Image Haze Removal Using Dark Channel Prior[C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2020.

2024年第卷第8期

PDF下载

174

引用本文

BibTeX

文章信息

doi: 10.20104/j.cnki.1674-6546.20230229

首发时间：2025-11-25
出版时间：2024-08-15

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2023-07-22

基金

作者信息

一汽-大众汽车有限公司，长春 130062

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcs/CN/10.20104/j.cnki.1674-6546.20230229

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT