海洋学报

参数	规格
工作波段	8～14 μm
NETD	$\leqslant $30 mK
视场角	25°×19°
镜头焦距	12 mm
分辨率	640×480
帧率	30帧/s

参数

规格

工作波段

8～14 μm

NETD

$\leqslant $30 mK

视场角

25°×19°

镜头焦距

12 mm

分辨率

640×480

帧率

30帧/s

参数	规格
工作波段	8～14 μm
NETD	$\leqslant $30 mK
视场角	25°×19°
镜头焦距	12 mm
分辨率	640×480
帧率	30帧/s

参数

规格

工作波段

8～14 μm

NETD

$\leqslant $30 mK

视场角

25°×19°

镜头焦距

12 mm

分辨率

640×480

帧率

30帧/s

编号	石油样品	水面环境	干扰类型
①	20W-50成品油	平静水面	无
②	20W-50成品油	含波浪干扰	30 cm振幅的规则波
③	20W-50成品油	含漂浮物干扰	10 cm×10 cm泡沫板
④	0W-20成品油	含波浪干扰	30 cm振幅的规则波
⑤	0W-20成品油	含漂浮物干扰	10 cm×10 cm泡沫板

编号

石油样品

水面环境

干扰类型

①

20W-50成品油

平静水面

无

②

20W-50成品油

含波浪干扰

30 cm振幅的规则波

③

20W-50成品油

含漂浮物干扰

10 cm×10 cm泡沫板

④

0W-20成品油

含波浪干扰

30 cm振幅的规则波

⑤

0W-20成品油

含漂浮物干扰

10 cm×10 cm泡沫板

编号	石油样品	水面环境	干扰类型
①	20W-50成品油	平静水面	无
②	20W-50成品油	含波浪干扰	30 cm振幅的规则波
③	20W-50成品油	含漂浮物干扰	10 cm×10 cm泡沫板
④	0W-20成品油	含波浪干扰	30 cm振幅的规则波
⑤	0W-20成品油	含漂浮物干扰	10 cm×10 cm泡沫板

编号

石油样品

水面环境

干扰类型

①

20W-50成品油

平静水面

无

②

20W-50成品油

含波浪干扰

30 cm振幅的规则波

③

20W-50成品油

含漂浮物干扰

10 cm×10 cm泡沫板

④

0W-20成品油

含波浪干扰

30 cm振幅的规则波

⑤

0W-20成品油

含漂浮物干扰

10 cm×10 cm泡沫板

实验条件	处理方法	F-Measure	每帧处理时间/s
平静海面	GMM	0.064	0.458
WEBS	0.933	0.328
SFS	0.952	0.943
本文	0.973	0.194
波浪干扰	GMM	0.068	0.461
WEBS	0.936	0.366
SFS	0.957	0.924
本文	0.969	0.195
漂浮物干扰	GMM	0.067	0.477
WEBS	0.897	0.343
SFS	0.863	0.947
本文	0.911	0.208

实验条件

处理方法

F-Measure

每帧处理时间/s

平静海面

GMM

0.064

0.458

WEBS

0.933

0.328

SFS

0.952

0.943

本文

0.973

0.194

波浪干扰

GMM

0.068

0.461

WEBS

0.936

0.366

SFS

0.957

0.924

本文

0.969

0.195

漂浮物干扰

GMM

0.067

0.477

WEBS

0.897

0.343

SFS

0.863

0.947

本文

0.911

0.208

实验条件	处理方法	F-Measure	每帧处理时间/s
平静海面	GMM	0.064	0.458
WEBS	0.933	0.328
SFS	0.952	0.943
本文	0.973	0.194
波浪干扰	GMM	0.068	0.461
WEBS	0.936	0.366
SFS	0.957	0.924
本文	0.969	0.195
漂浮物干扰	GMM	0.067	0.477
WEBS	0.897	0.343
SFS	0.863	0.947
本文	0.911	0.208

实验条件

处理方法

F-Measure

每帧处理时间/s

平静海面

GMM

0.064

0.458

WEBS

0.933

0.328

SFS

0.952

0.943

本文

0.973

0.194

波浪干扰

GMM

0.068

0.461

WEBS

0.936

0.366

SFS

0.957

0.924

本文

0.969

0.195

漂浮物干扰

GMM

0.067

0.477

WEBS

0.897

0.343

SFS

0.863

0.947

本文

0.911

0.208

基于热红外视频图像监测的海面溢油识别技术研究

PDF下载

王利锋 ¹ , 辛丽平 ¹^,^* , 刘家硕 ¹ , 鞠莲 ²^,³

海洋学报 | 论文 2022,44(5): 148-160

收起

海洋学报 | 论文 2022, 44(5): 148-160

基于热红外视频图像监测的海面溢油识别技术研究

全屏

王利锋¹, 辛丽平¹^,^*, 刘家硕¹, 鞠莲²^,³

作者信息

1.青岛理工大学信息与控制工程学院，山东青岛 266520

2.国家海洋局北海环境监测中心，山东青岛 266033

3.山东省海洋生态环境与防灾减灾重点实验室，山东青岛 266033

王利锋（1996-），男，河南省洛阳市人，主要研究方向为海上油膜检测与图像处理技术。E-mail: 463685634@qq.com

通讯作者:

辛丽平，女，副教授，主要研究方向为模式识别、图像处理技术和海上油膜检测。E-mail：lpxin@qut.edu.cn

Research on identification of marine oil spill based on thermal infrared video image monitoring

Lifeng Wang¹, Liping Xin¹^,^*, Jiashuo Liu¹, Lian Ju²^,³

Affiliations

1. School of Information and Control Engineering, Qingdao University of Technology, Qingdao 266520, China

2. Environment Monitoring Center, State Oceanic Administration, Qingdao 266033, China

3. Shandong Provincial Key Laboratory of Marine Ecological Environment and Disaster Prevention and Reduction, Qingdao 266033, China

出版时间: 2022-05-01 doi: 10.12284/hyxb2022063

文章导航

摘要

收起

针对现有海面溢油检测技术难以在石油泄漏初期（尚未形成海面大规模油膜覆盖）及时发现油膜的难题，本文在前期基于热红外图像测算海面油膜面积方法研究的基础上，结合油泄漏至海面后油膜的扩散特征，提出了一种基于热红外视频图像监测油膜面积变化以及时识别海面溢油的方法。首先，基于单帧热红外图像处理算法提取海面前景区域（包含油膜区域与相似物干扰区域）并计算各区域所代表的实际物理面积。基于视频图像处理技术跟踪测算前景区域中各连通区域的实际物理面积变化情况，根据各连通区域的面积变化率识别前景区域中是否存在油膜，从而判断海面是否发生溢油。实验结果表明：所提出的方法能有效识别不同黏度的石油泄漏至海面形成的扩散油膜，在水面包含波浪与相似物干扰时也具有良好的识别精度。该方法适用于特定场景下（如码头、船舶等）的溢油事故的鉴别，能为溢油事故的及时发现和预警提供技术支持。

关键词

油膜识别 / 热红外视频图像 / 图像处理技术 / 帧间区域跟踪

Abstract

收起

When oil spill occurs and the large scale covering on the sea surface has not been formed, it is hard to find oil film by existing oil spill detection technology. To solve this problem, a novel method for discriminating of oil spill by monitoring the area of oil film is presented based on thermal infrared video image, which combined with the diffusion characteristic of oil spill. Firstly, foreground regions (real oil film region and look-alikes interference region) on the sea surface are extracted and the actual physical area of each region is calculated based on single-frame thermal infrared image processing (i.e., the pixel area calculation method from the previous research). According to the video image processing, the change of the actual physical area of each region is tracked in real-time. The area change rate threshold is set to discriminate whether oil film on the foreground regions, then whether oil spill happened can be determined. The experimental results show that the proposed method can effectively discriminate oil film formed by different viscosity of oil and maintain good identification accuracy under sea surface with waves and floating objects. This strategy is suitable for specific scenes such as wharves and ships, and also can provide technical support for pollution control of oil spill.

Key words

oil spill identification / thermal infrared video image / image processing / inter-frame region tracking

引用本文

王利锋, 辛丽平, 刘家硕, 鞠莲. 基于热红外视频图像监测的海面溢油识别技术研究. 海洋学报, 2022 , 44 (5) : 148 -160 . DOI: 10.12284/hyxb2022063

Lifeng Wang, Liping Xin, Jiashuo Liu, Lian Ju. Research on identification of marine oil spill based on thermal infrared video image monitoring[J]. Haiyang Xuebao, 2022 , 44 (5) : 148 -160 . DOI: 10.12284/hyxb2022063

正文

收起

1 引言

收起

随着海洋运输业的发展，海面溢油事故（船舶溢油、油轮溢油、油井平台溢油）的发生也愈加频繁。若溢油事故未被及时发现并得到有效控制，溢漏的石油（原油、汽油、柴油等）在海风/浪的影响下将会在海面上形成数百甚至数千平方千米的大规模油膜覆盖，这必将严重破坏海洋生态环境^[1-3]。因此，开展海面溢油识别技术的研究以第一时间鉴别溢油的发生，不仅可以及时发现并有效控制溢油事故，而且有利于防治海洋环境污染、保护海洋生物资源。

目前，海面溢油监测方式主要有浮标监测、遥感监测、船舶监测、定点监测等^[4-6]。浮标监测是通过观测浮标监测海水特性指标来分析海面是否存在油膜，该方法只能监测已设置浮标的固定区域海面是否发生溢油，对于未设置浮标的区域无法探测。遥感监测是通过卫星和飞行器携带可见光传感器、紫外传感器、多/高光谱成像仪、合成孔径雷达（SAR）或激光荧光传感器等传感检测设备来感知海面是否存在油膜以识别海面溢油的发生^[7-11]。其中，可见光传感器与紫外传感器受外界光照条件影响严重，其应用场合十分有限；多/高光谱成像仪的检测精度受云层及海面恶劣天气影响严重^[8-9]；SAR虽可穿透云层、全天候检测海面油膜，但难以排除生物油膜、降雨区、低风速区等“假目标”区域的干扰^[10-11]；激光荧光传感器是目前唯一能探测海滩、冰雪油污染的传感器，但其造价昂贵，推广困难^[4]。遥感监测只有在海面已呈现大规模油膜覆盖后才能识别海面溢油，对于石油运输、码头作业等过程中发生的持续性小规模溢油，遥感监测无法及时识别溢油事故。船舶监测是通过巡逻船携带传感器对海域进行巡视来采集海面信息^[12]。定点监测是在码头、港口的特定区域设置固定的传感器来监视海面是否发生溢油^[6]。如德国OPTIMARE公司的溢油监测设备SpillWatch；美国InterOcean公司的Slick Sleuth；深圳盐田港布置的激光荧光传感器溢油报警装置^[13]；它们能实时获取特定区域的海面环境信息，故在及时发现溢油事故方面有一定优势。但由于它们所采用的传感器易受到太阳耀斑、海面波浪、低光照、海雾等恶劣天气条件的干扰，其检测精度和灵敏度难以令人满意^[12-13]。热红外传感器是基于油膜呈现的热特性来分析油膜的物理化学性质，不仅能克服太阳耀斑及光照条件对油膜识别带来的影响，还能全天候监测海面油膜的具体分布情况及其变化趋势^[14-18]。但热红外传感器难以区分与油膜具有相同/相似的热特性的自然物体（如水藻及其他海面漂浮物）^[5]。此外，目前主流的视频监测算法在复杂海面环境下容易产生误报，且处理时间较长，因此难以满足实时监测的需求^[19-20]。

为此，本文结合溢油发生时油膜面积迅速扩大的特性，采用热红外视频图像监测油膜面积变化，通过设置面积变化率阈值来排除相似物干扰区域，从而提出快速识别海面溢油区域的方法。基于单帧热红外图像提取海面前景区域并通过已开发的像素面积法^[21]计算各区域所代表的实际物理面积；基于单帧热红外图像提取海面前景区域（包含油膜区域和相似物干扰区域）并通过已开发的像素面积法^[19]计算各区域所代表的实际物理面积；基于视频图像跟踪测算前景区域中各连通区域的实际物理面积；依据石油泄露时海面油膜的扩散特征，设置面积变化率阈值，当海面前景区域的面积变化率大于所设阈值时，标志着该海面区域正在发生溢油。本方法能快速识别特定场景下（如码头、船舶等）正在发生的海面溢油，能为溢油事故的及时发现和有效控制提供技术支持。

2 实验与原理

收起

2.1 实验材料与装置

本次实验选用Fotric288非制冷型红外热像仪采集海面视频数据，红外热像仪的关键设备参数如表1所示。实验用石油样品为美孚（Mobil）公司黏度等级为20W-50和0W-20的成品油。实验海水来自胶州湾近海水域。实验水槽为污染物运移水动力模拟水槽（国家海洋局北海环境监测中心，青岛），长、宽、高分别为20 m、0.8 m、2 m，水槽外侧与底部设有隔光纸（去除杂光干扰），水槽配有造浪装置，可产生周期为2 s、振幅为0～50 cm的规则波，实验时水槽内水深为1 m。溢油模拟装置采用直径8 cm、高10 cm的自制塑料圆环。

2.2 视频图像采集

实验室位于地下一层，为恒温实验室，实验时室内温度为23 °C、湿度为65%；实验前将海水注入实验水槽中并于恒温实验室内静置48 h以上。将热像仪安装在距水面1.5 m位置以垂直监测水面状况。水面溢油油膜视频图像采集示意图如图1所示，将溢油模拟装置（塑料圆环）静置于水面（热像仪可监测范围内）；用量筒量取50 mL的石油样品，通过导油管缓慢滴入溢油模拟装置；待石油样品完全滴入并保持稳定后，撤除模拟装置，用红外热像仪记录油膜扩散的动态变化过程。实验设置3种不同的水面环境（分别为平静水面环境、含波浪干扰的水面环境、含漂浮物干扰的水面环境），共采集5组不同实验条件下的视频数据，具体实验条件如表2所示。每组数据采集完毕后，使用吸油毡清理水槽。

2.3 海面油膜识别原理

由于油与水的热辐射率存在差异，油膜区域与海面背景在热红外图像中的亮度温度不同，当油膜厚度大于最小可检测厚度时，亮度温度是识别油膜的可靠参数^[17]。虽然海面漂浮物等相似物干扰区域可能在热红外图像中表现出与油膜区域相同或近似的亮度温度特性，但相似物干扰区域通常无明显的面积变化特性。而石油在泄漏初期会向四周快速扩散，具有明显的扩散特征。Lehr等^[1]于波斯湾进行了溢油扩散实验，使用同种轻质原油，分别获取了20桶与51桶油在水面的扩散情况。油膜区域面积变化情况如图2所示。

可见，在石油泄漏早期，油膜区域面积呈单调递增趋势。因此，可以通过热红外视频图像中油膜的面积变化特性来排除相似物的干扰。

3 方法

收起

3.1 单帧热红外图像处理方法

3.1.1 图像预处理

热像仪采集到的原始热红外视频图像以RGB颜色空间表示，R、G、B分别代表图像的红、绿、蓝3个色彩通道，图像中每个像素点以一个三维数组表示。通过下述步骤对图像进行预处理：（1）对比R、G、B各通道的灰度分布特征，选择灰度分布最均匀的分量灰度图像替代原始图像；（2）采用3×3的中值滤波器进行滤波处理；（3）采用拉普拉斯算子进行锐化处理，补偿由中值滤波引起的图像模糊现象。

3.1.2 前景区域分割

在本文中，水面油膜区域和相似物干扰区域为前景区域，其他区域为背景区域。由于前景区域与背景区域之间具有明显的灰度值差异，因此选用Otsu^[22]提出的最大类间方差法对图像进行分割。将图像中灰度值大于阈值T的像素群认定为前景区域，小于T的像素群认定为背景区域，可表示为

(1)

$ g\left( {x,y} \right) = \left\{ \begin{aligned} &1, \;\; f\left( {x,y} \right) \geqslant T \\ &0, \;\; f\left( {x,y} \right) < T \end{aligned} \right.\text{，} $

式中，$f(x,y)$为灰度图像中任一点的像素值； $g(x,y)$为分割后二值图像中对应点的像素值。

分割后图像中存在孔洞与离散像素的干扰，采用形态学操作对图像进行降噪处理。设${Q_i}$为前景区域中的第$i$连通区域，$i \geqslant 1$，则经形态学操作后图像中任意一点的像素值可表示为

(2)

$ {h_i}\left( {x,y} \right) = \left\{ \begin{aligned} &1, \;\; \left( {x,y} \right) \in {Q_i} \\ &0, \;\; {\text{其他}} \end{aligned} \right. . $

${Q_i}$的像素数量和可表示为

(3)

$ {A_i} = \sum\limits_{x = 0}^{m - 1} {\sum\limits_{y = 0}^{n - 1} {{h_i}} } \left( {x,y} \right), $

式中，$m$和$n$为图像储存数组的行数与列数。${Q_i}$的重心坐标$\left( {\overline {{x_i}},\overline {{y_i}} } \right)$可表示为

(4)

$ \overline {{x_i}} = \frac{1}{{{A_i}}}\sum\limits_{x = 0}^{m - 1} {\sum\limits_{y = 0}^{n - 1} {x \cdot {h_i}} } \left( {x,y} \right)\text{，} $

(5)

$ \overline {{y_i}} = \frac{1}{{{A_i}}}\sum\limits_{x = 0}^{m - 1} {\sum\limits_{y = 0}^{n - 1} {y \cdot {h_i}} } \left( {x,y} \right). $

3.2 面积计算方法

图像中任一单位像素在世界坐标系中都代表一块实际物理区域，利用像素面积法^[21]可求得单位像素在世界坐标系下所代表的实际物理尺寸，从而计算出图像中任意区域所代表的实际物理面积。连通区域${Q_i}$的实际物理面积可表示为

(6)

$ {S_i} = {A_i} \cdot \dfrac{{4{H^2}\tan \dfrac{\alpha }{2}\tan \dfrac{\beta }{2}\displaystyle\sum\limits_{x = 0}^{m - 1} {\sum\limits_{y = 0}^{n - 1} {{h_i}(x,y)} } }}{{mn}}, $

式中，H为红外镜头焦点至成像平面的物距；$\alpha \times \beta $为红外镜头的视场角。

3.3 视频图像处理方法

3.3.1 多帧图像间的区域跟踪

由于海面存在海风、海浪、海流等外力的影响，海面油膜除了扩散外，往往还会出现径向移动。在图像中的表现为：多帧视频图像间的${Q_i}$的像素数量和重心坐标会不断发生改变^[23]。为此，本文通过以下步骤实现多帧图像间的连通区域跟踪：

（1）分别对当前帧图像${f^t}$与前一帧图像${f^{t - 1}}$进行3.1节中的单帧图像处理，得到处理后的图像$h_i^t$与$h_j^{t - 1}$，其中$i$和$j$分别为当前帧图像与前一帧图像中连通区域的数量。

（2）遍历图像$h_i^t$与$h_j^{t - 1}$中的连通区域，计算$Q_i^t$与$Q_j^{t - 1}$的像素数量和$A_i^t$与$A_j^{t - 1}$，直到所有连通区域计算完毕。

（3）计算$Q_i^t$的重心坐标$\left( {\overline {x_i^t},\overline {y_i^t} } \right)$与$Q_j^{t - 1}$的重心坐标$\left( {\overline {x_j^{t - 1}},\overline {y_j^{t - 1}} } \right)$。

（4）计算$Q_i^t$与$Q_j^{t - 1}$重心坐标之间的像素距离为

(7)

$ D_{i,j}^t = \sqrt {{{\left(\overline {x_i^t} - \overline {x_j^{t - 1}} \right)}^2} + {{\left(\overline {y_i^t} {- }\overline {y_j^{t - 1}} \right)}^2}}. $

（5）因海面的油膜区域与相似物干扰区域在短时间内的空间位置变化不大，故可认为重心像素距离最小的区域为两帧图像间的对应区域，即若$D_{i,k}^t = \min \left( {D_{i,j}^t} \right)$, $k \in j$，则认为$Q_i^t$与$Q_k^{t - 1}$为图像间的对应区域。

（6）重复上述步骤实现连续多帧图像间的区域跟踪。

3.3.2 油膜区域的提取与标记

由于在溢油初期油膜区域面积会迅速增大，若前景区域中某一连通区域在多帧图像内的面积呈单调递增趋势且变化率大于一定范围，则可将其认定为感兴趣的油膜区域（Region of Interest, ROI）；若前景区域中某一连通区域在多帧图像内面积变化不大或无变化，则将其认定为相似物干扰区域。基于上述特性，通过多帧图像间的连通区域面积变化率进行ROI提取，可表示为

(8)

$ \frac{{S_i^t - S_i^{t - 1}}}{{S_i^t}} > M\text{，} $

式中，$S_i^t$为当前帧图像中第$i$连通区域的面积；$S_i^{t - 1}$为前一帧图像第$i$连通区域的面积；M为面积变化阈值，$0 \leqslant M \leqslant 1$，其取值与石油的种类与性质有关，本文对20W-50成品油单帧图像间的M取0.014 5，0W-20成品油取0.015 1。

若前景区域中连通区域${Q_i}$的面积变化率满足式（8），则${Q_i}$为图像中的ROI，数学表达式为

(9)

$ h\_roi_i^t\left( {x,y} \right) = \left\{ \begin{aligned} &{1, \;\;\left( {x,y} \right) \in {Q_i}} \\ &{0, \;\; {\text{其他}} } \end{aligned} \right.\text{，} $

式中，$h\_roi_i^t$为图像中任一点的像素值。

如此一来，图像中的ROI即被提取出来，且表示为白色。通过对$h\_roi_i^t$与原始热红外图像进行像素融合，可在原始热红外图像中标记ROI^[24]。

4 结果与讨论

收起

4.1 单帧热红外图像处理结果

图3是平静水面条件下的20W-50成品油单帧图像处理结果。可以看出，原始热红外图像中前景区域与海面背景的亮度温度差异明显。经预处理后图像中的细微噪声被较好地去除且区域边缘特征明显。经前景区域分割后，图像转换为二值图像，图像中仅有一块连通区域。经面积计算后可得，连通区域所代表的实际物理面积（S₁）为42.23 cm²。为含漂浮物干扰的水面条件下的0W-20成品油单帧图像处理结果。图4能得到与图3相同的前景区域分割效果。图4c的二值图像中有两块连通区域。由图4d可见，经面积计算后，各连通区域的序号在区域重心位置给出，连通区域1（ S₁）与连通区域2（ S₂）所代表的实际物理面积分别为84.41 cm²与96.02 cm²。

4.2 视频图像处理结果

4.2.1 平静水面条件下的多帧图像处理结果

为了提高实际应用场景下的处理速度，选择等间隔采样构造视频图像处理数据集，采样间隔为5帧（即1/6 s），在每秒30帧图像中选择6帧进行处理。本文取每秒钟图像的第1帧、第6帧、第11帧、第16帧、第21帧、第26帧（分别用t₁−t₆表示）构建数据集。

图5为水槽实验平静水面条件下的20W-50成品油多帧图像处理结果，可以看出，6幅二值图像中都仅存在单块连通区域。连通区域1所代表的实际物理面积不断增大，在6幅图像中从42.23 cm²逐步增加至114.63 cm²。由于其面积变化率大于M，判定连通区域1为ROI。如图5d所示，连通区域1在原始热红外图像中以黄色标记，其面积在图像左上角以黄色字符表示。

4.2.2 含波浪干扰的水面条件下的多帧图像处理结果

图6是水槽实验含波浪干扰水面条件下20W-50成品油多帧图像处理结果。可以看出，图像中仅有一块面积逐渐增加的连通区域，其面积从58.93 cm²逐步增加至207.54 cm²。从图6d可以看出，标记出的ROI与原始图像中的前景区域完全吻合。与图5d中的计算结果对比可以看出，相较于平静海面下的油膜扩散情况，在水面含波浪干扰的情况下，油膜的扩散面积更大。图7是水槽实验含波浪干扰水面条件下0W-20成品油多帧图像处理结果，可见图7也能达到与图6相同的分割效果。图7中ROI区域面积从156.35 cm²逐步增加至455.2 cm²。图7d中标记出的ROI与原始图像中的前景区域完全吻合。对比图6与图7的面积结果可见，由于0W-20成品油的黏度低于20W-50成品油，其在水面的扩散面积更大。

4.2.3 含漂浮物干扰的水面条件下的多帧图像处理结果

图8是含漂浮物干扰的水槽实验条件下的20W-50成品油多帧图像处理结果。可以看出，经前景区域分割后，各连通区域被完整地提取，其形状特征与原始图像保持一致。连通区域1的面积在6幅图像中基本无变化，保持在95～98 cm²的区间内；连通区域2的面积在6幅图像中逐渐增大，从63.23 cm²增加至149.13 cm²；连通区域3的面积保持在6～6.20 cm²区间内；连通区域4仅在后两幅图像中出现，面积分别为1.17 cm²与1.02 cm²。由于连通区域2的面积呈单调递增趋势，且面积变化率大于M，而其他连通区域虽然面积发生变化，但变化率不大，且不满足单调递增规则。因此，将连通区域2认定为ROI，如图8d所示，标记出的ROI与实际观察到的水面油膜区域一致。

图9是含漂浮物干扰的水槽实验条件下的0W-20成品油多帧图像处理结果。可见，图9也能达到与图8相同的分割效果，分割后海面上存在两处明显的连通区域。连通区域1的面积在6幅图像中逐渐增大，从84.41 cm²增加至351.54 cm²；连通区域2的面积维持在93～99 cm²区间内。由于连通区域1的面积呈单调递增趋势且变化率大于M，将其认定为ROI，这与实际观察到的海面油膜区域一致。

4.3 面积计算结果与误差分析

图10是在5种实验条件下的ROI面积变化情况。可以看出，各实验条件下的ROI面积均呈单调递增趋势，这与Leh等^[1]所得到的实验结果一致。在保持相同的水面条件时，黏度更低的0W-20成品油的ROI扩散面积大于20W-50成品油的扩散面积。在使用相同的石油样品时，油膜在含波浪干扰的条件下的扩散面积大于平静水面下的扩散面积。在海面存在漂浮物干扰时，所用方法依然能准确跟踪ROI扩散情况。显然，该方法在5种实验条件下均能有效跟踪水面油膜的面积变化情况。

为了获得各帧图像间的油膜扩散速率，在含漂浮物干扰的水面条件下，取原始热红外视频中的前60帧（即前2 s）图像，根据式（8）计算了20W-50成品油与0W-20成品油图像ROI的面积变化率M，并对M进行了最小二乘拟合，结果如图11与图12所示。可以看出，在溢油刚扩散时的ROI面积变化率最大，随着时间的推移，M呈递减趋势并逐渐趋近于0。

对比图11与图12可以发现，黏度更低的0W-20成品油的M在数值上整体高于20W-50成品油，20W-50成品油的M最大值为15.18%，0W-20成品油的M最大值为19.31%，可见石油样品的黏度会对M取值产生影响，黏度越低的石油样品M值越大。20W-50成品油的M值在变化率为1.45%之前变化较快，之后变化稳定并逐渐趋近于0；0W-20成品油的M在变化率为1.51%之前变化较快，之后变化稳定并逐渐趋近于0。故本文所用视频图像（采样间隔为5帧）的M分别取上述变化率的5倍值，即7.25%与7.55%作为参考值。此参考值仅适用于本文所述实验条件，在实际应用时需要根据应用场景调整参数。

在进行包含漂浮物干扰的海面实验时，海面存在10 cm×10 cm的均匀泡沫板。以泡沫板作为参照物，可根据式(10)计算本次实验的面积计算平均误差，

(10)

$ \delta = \left(S - \frac{1}{I}\sum\limits_{i = 1}^I {S_i}\right) /S \times 100\text{%} \text{，} $

式中，I为采样帧数；S为参照物面积，本实验S为100 cm²。

可得面积计算平均误差为4.05%。结合图8与图9所得的面积计算结果可以看出，所得到的参照物面积计算结果均小于参照物的实际物理面积。

4.4 方法对比与定量评估

为了验证算法的有效性，将本文算法与GMM（Gaussian Mixture Model）、WEBS（Wigner–Entropy-based Background Subtraction）^[19]、SFS （Spatiotemporal Features of Superpixel）^[20]的ROI提取效果进行对比。以20W-50成品油在3种实验条件下的前60帧图像作为数据集，分别使用上述方法进行处理，结果如图13、图14、图15所示。

可以看出，GMM在3种条件下可以检测到帧间的像素变化情况，但无法完整提取变化区域。WEBS算法虽然可以完整提取ROI，但其前景区域中也包含了大量的干扰信息；SFS算法提取的ROI损失了部分区域信息；相较之下本文方法提取出的ROI保证了区域完整性，与原始图像中的油膜区域吻合度最高，又较好地剔除了非目标区域像素的干扰。

通过定量评估进一步验证算法的有效性，本文以F-Measure与处理时间为指标，对不同方法之间的性能进行客观对比，F-Measure与处理时间均取60帧图像计算结果的平均值。F-Measure为精确率和召回率的加权平均和，该值表示算法在提取ROI的同时又抑制非ROI目标的能力。F-Measure的计算方法为

(11)

$ {\rm{F}}{\text{-}}{\rm{Measure}} = \frac{{(1 + {\beta ^2}) \cdot P \cdot R}}{{{\beta ^2} \cdot P + R}}\text{，} $

式中，P为精确率；R为召回率；β为权重系数，在算法评价时准确度相较于召回率更加重要，因此本文的${\beta ^2}$取0.3以强调精确率。

不同方法的对比结果如表3所示。可以看出，相较于GMM、WEBS、SFS算法，本文算法在3种实验条件下的F-Measure均有明显提升，且本文的平均处理时间为各算法最短。这表明本文算法可快速、精准、有效地提取ROI，且对不同的水槽实验环境均有良好的适应度。

5 结论

收起

本文基于热红外视频图像观测数据，提出了一种识别海面溢油的方法。基于单帧图像处理算法对数据进行预处理、前景区域分割、连通区域面积计算。基于视频图像处理算法对ROI进行提取并标记。实验结果表明：所用单帧热红外图像处理算法可有效分离图像中的前景区域；所用像素面积法可准确计算各连通区域所代表的实际物理面积，面积计算平均误差为4.05%。所用视频图像处理算法可实现帧间区域跟踪，基于面积变化阈值的油膜识别方法可有效提取并标记ROI，提取出的ROI与海面真实油膜区域吻合度高，且对不同种类石油样品产生的油膜均具有良好的适应性。在实验室模拟的平静水面、包含波浪干扰的水面、包含漂浮物干扰的水面条件下，该方法均能有效跟踪油膜区域的面积变化，具有良好的溢油识别精度。

致谢：本研究的实验过程中得到了国家海洋局北海环境监测中心的大力帮助，在此表示衷心的感谢！

基金

收起

山东省重点研发项目(2018GHY115025)
国家自然科学基金(201606141)
山东省自然科学基金(ZR2016FB04)
中国博士后面上项目(2018M642611)
南宁市科学研究与开发计划项目−重点研发类(20183045-2)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Lehr W J, Cekirge H M, Fraga R J, et al. Empirical studies of the spreading of oil spills[J]. Oil and Petrochemical Pollution, 1984, 2(1): 7−11.

Leifer I, Lehr W J, Simecek-Beatty D, et al. State of the art satellite and airborne marine oil spill remote sensing: application to the BP Deepwater Horizon oil spill[J]. Remote Sensing of Environment, 2012, 124: 185−209.

Svejkovsky J, Hess M, Muskat J, et al. Characterization of surface oil thickness distribution patterns observed during the Deepwater Horizon (MC-252) oil spill with aerial and satellite remote sensing[J]. Marine Pollution Bulletin, 2016, 110(1): 162−176.

李四海. 海上溢油遥感探测技术及其应用进展[J]. 遥感信息, 2004(2): 53−57.

Li Sihai. Application of remote sensing for oil slicks detecting and its progress[J]. Remote Sensing Information, 2004(2): 53−57.

Fingas M, Brown C E. A review of oil spill remote sensing[J]. Sensors, 2017, 18(2): 91.

景海朋. 基于红外图像的水面溢油检测及系统实现[D]. 西安: 西安电子科技大学, 2014.

Jing Haipeng. Surface oil spill detection and system implementation based on infrared image[D]. Xi’an: Xidian University, 2014.

蒋兴伟, 何贤强, 林明森, 等. 中国海洋卫星遥感应用进展[J]. 海洋学报, 2019, 41(10): 113−124.

Jiang Xingwei, He Xianqiang, Lin Mingsen, et al. Progresses on ocean satellite remote sensing application in China[J]. Haiyang Xuebao, 2019, 41(10): 113−124.

任广波, 过杰, 马毅, 等. 海面溢油无人机高光谱遥感检测与厚度估算方法[J]. 海洋学报, 2019, 41(5): 146−158.

Ren Guangbo, Guo Jie, Ma Yi, et al. Oil spill detection and slick thickness measurement via UAV hyperspectral imaging[J]. Haiyang Xuebao, 2019, 41(5): 146−158.

Lacava T, Ciancia E, Coviello I, et al. A MODIS-based robust satellite technique (RST) for timely detection of oil spilled areas[J]. Remote Sensing, 2017, 9(2): 128.

Shu Yuanming, Li J, Yousif H, et al. Dark-spot detection from SAR intensity imagery with spatial density thresholding for oil-spill monitoring[J]. Remote Sensing of Environment, 2010, 114(9): 2026−2035.

陈韩, 谢涛, 方贺, 等. 基于SAR极化比和纹理特征的海面溢油识别方法[J]. 海洋学报, 2019, 41(9): 181−190.

Chen Han, Xie Tao, Fang He, et al. Sea surface oil spill identification method based on SAR polarization ratio and texture feature[J]. Haiyang Xuebao, 2019, 41(9): 181−190.

尹奇志, 初秀民, 孙星, 等. 船舶溢油监测方法的应用现状及发展趋势[J]. 船海工程, 2010, 39(5): 246−250.

Yin Qizhi, Chu Xiumin, Sun Xing, et al. Application and development trend of detecting techniques for oil slick from vessel[J] Ship & Ocean Engineering, 2010, 39(5): 246−250.

张果. 近距离海面溢油监测系统的设计与实现[D]. 西安: 西安电子科技大学, 2018.

Zhang Guo. Design and implementation of close-range sea surface spill oil monitoring system[D]. Xi’an: Xidian University, 2018.

Bagavathiappan S, Lahiri B B, Saravanan T, et al. Infrared thermography for condition monitoring—A review[J]. Infrared Physics & Technology, 2013, 60: 35−55.

De Carolis G, Adamo M, Pasquariello G. On the estimation of thickness of marine oil slicks from sun-glittered, near-infrared MERIS and MODIS imagery: the Lebanon oil spill case study[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 559−573.

Niclòs R, Doña C, Valor E, et al. Thermal-infrared spectral and angular characterization of crude oil and seawater emissivities for oil slick identification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(9): 5387−5395.

Lu Yingcheng, Zhan Wenfeng, Hu Chuanmin. Detecting and quantifying oil slick thickness by thermal remote sensing: a ground-based experiment[J]. Remote Sensing of Environment, 2016, 181: 207−217.

Zhou Yang, Jiang Lu, Lu Yingcheng, et al. Thermal infrared contrast between different types of oil slicks on top of water bodies[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(7): 1042−1045.

Akula A, Ghosh R, Kumar S, et al. Moving target detection in thermal infrared imagery using spatiotemporal information[J]. Journal of the Optical Society of America A, 2013, 30(8): 1492−1501.

李艳荻, 徐熙平. 基于超像素时空特征的视频显著性检测方法[J]. 光学学报, 2019, 39(1): 315−322.

Li Yandi, Xu Xiping. Video saliency detection method based on spatiotemporal features of superpixels[J]. Acta Optica Sinica, 2019, 39(1): 315−322.

王利锋, 辛丽平, 于波, 等. 基于热红外图像的海面油膜面积的测算方法[J]. 海洋通报, 2020, 39(6): 750−760.

Wang Lifeng, Xin Liping, Yu Bo, et al. A calculation method for oil film area at sea surface based on thermal infrared image[J]. Marine Science Bulletin, 2020, 39(6): 750−760.

Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62−66.

刘伯运, 赵博, 王腾. 基于连续帧图像面积变化的火灾探测方法[J]. 消防科学与技术, 2016, 35(12): 1723−1725.

Liu Boyun, Zhao Bo, Wang Teng. A fire detection method based on the area variety of consecutive frames[J]. Fire Science and Technology, 2016, 35(12): 1723−1725.

刘松涛, 刘振兴, 姜宁. 基于融合显著图和高效子窗口搜索的红外目标分割[J]. 自动化学报, 2018, 44(12): 2210−2221.

Liu Songtao, Liu Zhenxing, Jiang Ning. Target segmentation of infrared image using fused saliency map and efficient subwindow search[J]. Acta Automatica Sinica, 2018, 44(12): 2210−2221.

2022年第44卷第5期

PDF下载

146

引用本文

BibTeX

文章信息

doi: 10.12284/hyxb2022063

接收时间：2020-12-17
首发时间：2026-02-01
出版时间：2022-05-01

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2020-12-17
修回日期：2021-11-13

基金

山东省重点研发项目(2018GHY115025)

国家自然科学基金(201606141)

山东省自然科学基金(ZR2016FB04)

中国博士后面上项目(2018M642611)

南宁市科学研究与开发计划项目−重点研发类(20183045-2)

作者信息

1.青岛理工大学信息与控制工程学院，山东青岛 266520

2.国家海洋局北海环境监测中心，山东青岛 266033

3.山东省海洋生态环境与防灾减灾重点实验室，山东青岛 266033

通讯作者:

辛丽平，女，副教授，主要研究方向为模式识别、图像处理技术和海上油膜检测。E-mail：lpxin@qut.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/hyxb/CN/10.12284/hyxb2022063

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT