海洋学报

真实值	模型预测结果
正例	TP	FN
反例	FP	TN

真实值	模型预测结果
正例	TP	FN
反例	FP	TN

模型		GF2	GF23S	GF23B
U-Net	总体精度/%	85.30	87.47	91.33
	Kappa系数	0.708 7	0.751 0	0.826 8
SE_U-Net	总体精度/%	89.42	89.68	93.71
	Kappa系数	0.788 7	0.794 3	0.874 0

模型		GF2	GF23S	GF23B
U-Net	总体精度/%	85.30	87.47	91.33
	Kappa系数	0.708 7	0.751 0	0.826 8
SE_U-Net	总体精度/%	89.42	89.68	93.71
	Kappa系数	0.788 7	0.794 3	0.874 0

数据集	类别	召回率/ %	精确率/ %	错分率/%	漏分率/%	F1分数
GF2	背景	95.08	88.61	11.39	4.92	91.73
	养殖区	80.54	91.14	8.86	19.46	85.51
GF23S	背景	97.11	93.78	6.22	2.89	95.42
	养殖区	89.74	95.12	4.88	10.26	92.35
GF23B	背景	96.96	96.16	3.84	3.04	96.56
	养殖区	93.84	95.10	4.90	6.16	94.50

数据集	类别	召回率/ %	精确率/ %	错分率/%	漏分率/%	F1分数
GF2	背景	95.08	88.61	11.39	4.92	91.73
	养殖区	80.54	91.14	8.86	19.46	85.51
GF23S	背景	97.11	93.78	6.22	2.89	95.42
	养殖区	89.74	95.12	4.88	10.26	92.35
GF23B	背景	96.96	96.16	3.84	3.04	96.56
	养殖区	93.84	95.10	4.90	6.16	94.50

数据集	总体精度/%	Kappa系数
GF2	89.47	0.772 9
GF23S	94.27	0.877 7
GF23B	95.75	0.910 2

数据集	总体精度/%	Kappa系数
GF2	89.47	0.772 9
GF23S	94.27	0.877 7
GF23B	95.75	0.910 2

测试区	数据集	总体精度/%	Kappa系数
Test1	GF2	81.41	0.6334
	GF23S	84.75	0.6965
	GF23B	91.61	0.8277
Test2	GF2	89.52	0.7463
	GF23S	91.79	0.8052
	GF23B	94.30	0.8717
Test3	GF2	82.40	0.6428
	GF23S	88.18	0.7620
	GF23B	91.59	0.8309

测试区	数据集	总体精度/%	Kappa系数
Test1	GF2	81.41	0.6334
	GF23S	84.75	0.6965
	GF23B	91.61	0.8277
Test2	GF2	89.52	0.7463
	GF23S	91.79	0.8052
	GF23B	94.30	0.8717
Test3	GF2	82.40	0.6428
	GF23S	88.18	0.7620
	GF23B	91.59	0.8309

基于卷积神经网络和数据融合的筏式养殖区提取

PDF下载

李龙坤 ¹ , 蔡玉林 ¹^,^* , 徐慧宇 ¹ , 刘照磊 ¹ , 王思超 ¹ , 高洪振 ¹

海洋学报 | 论文 2023,45(8): 155-165

收起

海洋学报 | 论文 2023, 45(8): 155-165

基于卷积神经网络和数据融合的筏式养殖区提取

全屏

李龙坤¹, 蔡玉林¹^,^*, 徐慧宇¹, 刘照磊¹, 王思超¹, 高洪振¹

作者信息

¹ 山东科技大学测绘与空间信息学院3S工程技术研究中心，山东青岛 266590

李龙坤（1997-），男，山东省济南市人，主要从事资源与环境遥感研究。E-mail: 1475013073@qq.com

通讯作者:

*蔡玉林，副教授，主要从事遥感图像处理和信息提取以及遥感在资源环境中的应用研究。E-mail: caiyl@sdust.edu.cn

Extraction of the raft aquaculture area based on convolutional neural networks and data fusion

Longkun Li¹, Yulin Cai¹^,^*, Huiyu Xu¹, Zhaolei Liu¹, Sichao Wang¹, Hongzhen Gao¹

Affiliations

¹3S Engineering and Technology Research Center, College of Geodesy and Geomatics, Shandong University of Science and Technology, Qingdao 266590, China

出版时间: 2023-08-31 doi: 10.12284/hyxb2023147

文章导航

摘要

收起

准确提取海水筏式养殖区信息对于海洋资源管理和环境监测具有重要意义，但是筏式养殖区养殖筏因淹没于水中常出现数据弱信号区域的现象，导致仅凭光学影像提取精度较低。因此，本文以威海荣成湾为研究区域，通过添加通道注意力机制改进U-Net神经网络并结合高分2号光学影像光谱信息以及高分3号雷达影像纹理信息，尝试提高筏式养殖区提取精度。结果表明：（1）无论是对于单一的光学影像还是光学和雷达影像融合影像，添加通道注意力机制的U-Net神经网络预测结果总体精度都会提高，提高幅度在2.21%～4.12%之间。（2）利用改进后的U-Net神经网络处理融合数据，总体精度达到95.75%，相对于仅用高分2号影像的精度高4.3%；（3）对于弱信号区域，利用改进网络以及融合数据提取的总体精度和Kappa系数分别为91.61%和0.827 7。该方法可以对海洋筏式养殖区弱信号区域进行有效提取，能够为海洋养殖面积统计以及海洋环境检测提供技术支持。

关键词

筏式养殖区 / 弱信号区域 / 通道注意力机制 / U-Net / 影像融合

Abstract

收起

Accurate extraction of marine raft aquaculture area information is of great significance for marine resource management and environmental monitoring. But the raft culture area is often submerged in water with weak data signal areas, resulting in low extraction accuracy based on optical images alone. Therefore, this paper takes Weihai Rongcheng Bay as the research area, and improves the U-Net neural network by adding channel attention mechanism to combine the spectral information of GF-2 optical image and the texture information of GF-3 radar image, trying to improve the extraction accuracy of raft aquaculture area. The results show that: （1) Whether it is a single optical image or a fusion image of optical and radar images, the overall accuracy of the prediction results of the U-Net neural network with channel attention mechanism will be improved, with an increase of 2.21%−4.12%. （2) Using the improved U-Net neural network to process the fusion data, the overall accuracy is 95.75%, which is 4.3% higher than that of only using GF-2 image. （3) For weak signal region, the overall accuracy and Kappa coefficient of extraction based on improved network and data fusion are 91.61% and 0.827 7, respectively. This method can effectively extract the weak signal area of marine raft aquaculture area, and can provide technical support for marine aquaculture area statistics and marine environment detection.

Key words

raft aquaculture area / weak signal area / channel attention mechanism / U-Net / image fusion

引用本文

李龙坤, 蔡玉林, 徐慧宇, 刘照磊, 王思超, 高洪振. 基于卷积神经网络和数据融合的筏式养殖区提取. 海洋学报, 2023 , 45 (8) : 155 -165 . DOI: 10.12284/hyxb2023147

Longkun Li, Yulin Cai, Huiyu Xu, Zhaolei Liu, Sichao Wang, Hongzhen Gao. Extraction of the raft aquaculture area based on convolutional neural networks and data fusion[J]. Haiyang Xuebao, 2023 , 45 (8) : 155 -165 . DOI: 10.12284/hyxb2023147

正文

收起

1 引言

收起

近海养殖在我国海洋经济中占有重要地位，浅海筏式养殖是海水养殖的主要生产方式，筏式养殖规模迅速扩大，海水养殖密集造成的环境压力日益突出^[1-2]，精确提取浮筏养殖范围、持续监测浮筏养殖用海面积，对于海洋养殖业的健康发展以及海洋资源的可持续利用具有十分重要的意义^[3-4]，也是灾害应急响应的需要^[5]。

遥感具有大范围、同步观测、数据现势性强的技术优势，使得筏式养殖区的研究与监测更加方便快捷^[6]。目前，通过遥感数据对筏式养殖区提取的方式主要有3类：基于人机交互的目视解译、基于空间与光谱特征的信息提取、基于深度学习的信息提取。第一类方法提取结果准确，但是费时费力。2005 年杨英宝等^[7]利用 TM 影像，采取人机交互解译的方法，证明了利用遥感的方法提取养殖区的可行性。第二类方法基于光学及雷达影像使用了波段比值的方法，自动化程度提高，提取精度逐渐改善。2013 年刘晓等^[8]设计了以邻域分析为基础的图像增强及分类方法进行筏式养殖区提取，总体精度达到86%。2017 年胡园园等^[9]使用模糊紧致性和分离性（Fuzzy Compacness and Separation, FCS）算法聚类对筏式养殖区进行无监督提取，分类精度达到85%。2022年Cui等^[10]提出差分比浮筏指数（Difference Ratio Raft Index, DRRI）筏识别指标，提取研究区的浮筏信息，但是当地物光谱特征与浮筏相似时会影响提取精度。第三类方法由于具有强大的数据挖掘和特征提取能力^[11-13]，逐渐被应用于遥感图像的语义分割领域^[14]，其中也包括水产养殖区信息提取^[15]。2019年Cui等^[16]提出了一种基于全卷积网络模型FCN（Fully Convolutional Networks）的端到端筏式水产养殖区提取模型，有效地减少了相邻养殖区之间的海水被识别为养殖区导致多个养殖区域黏连在一起的现象。2020年Zhang等^[17]提出了一种结合非下采样Contourlet转换及语义分割网络的方法，在筏式养殖区提取中是有效的。综上，与其他方法相比，深度学习方法精度更高，使用深度学习方法提取养殖区信息，是养殖区信息提取的趋势。

上述深度学习研究中，应用于水产养殖区域信息的提取大多基于单一的光学或者雷达影像。光学遥感影像具有丰富的光谱信息，是养殖区信息提取的主要数据源，但是因为某些海水养殖区养殖筏通常部分淹没在水中，目标信号微弱，导致养殖区提取精度大幅降低，我们将该区域称为弱信号区域。合成孔径雷达（Synthetic Aperture Radar, SAR）受天气条件影响较小，几乎可以全天时、全天候成像，并且纹理信息丰富，但是SAR图像具有波段单一性，无法提供丰富的光谱信息，提取精度受限^{[10, 18-22]}。因此，将两种数据源结合使用会提高养殖区信息提取的精度，相关研究也证明了这一点。2019年，于慧男^[19]提出将影像融合算法用于提取浮筏养殖区的方法，利用特征指数法及面向对象法提取海洋浮筏养殖区的整体精度可达90%以上。然而，到目前为止，关于如何利用深度学习方法结合不同数据源的优势以进一步提高养殖区提取精度的研究鲜有报道。综上所述，本文拟探索通过添加通道注意力机制改进U-Net卷积神经网络以综合利用光学影像和SAR影像的优势，提高浮筏养殖区提取的精度和可靠性。

2 数据和方法

收起

2.1 研究区概况及数据

2.1.1 研究区概况

研究区位于山东半岛荣成湾（图1），位于山东省荣成市东北部的黄海海域，面积约为21.6 km²，水温年变化较小，盛产海参、贝类和藻类。荣成市是我国著名的渔业海产基地，历史悠久，水产品产量、渔业总收入连续28年名列全国县级第一，以荣成湾区域为例进行筏式养殖区提取具有代表性意义。因受地形等因素的影响，荣成湾海流比较复杂，境内近海有风浪和涌浪，以风浪为主，导致浮筏常因海浪而被淹没于海面以下，导致筏式养殖区提取难度增加。

2.1.2 数据获取

研究所用的光学影像和SAR影像，分别来自中国高分2号（GF-2）和高分3号（GF-3）卫星，如图1所示。GF-2是我国自主研制的首颗亚米级的民用光学遥感卫星，包含红、绿、蓝、近红外、全色5个波段，其中全色波段空间分辨率为0.8 m，多光谱波段为3.2 m。本文选用的影像为GF-2卫星3景影像（成像时间为2020年4月22日）和GF-3卫星5景影像（成像时间为2019年12月31日和2020年1月7日）。GF-2全色波段为单波段，在图上显示为灰度图片，多光谱波段具有丰富的光谱信息，但分辨率较低，因此在数据处理之前先对其进行融合，使其既有全色影像的高分辨率，又有多波段影像的光谱信息。GF-3是我国首颗高分辨率C频段多极化合成孔径雷达卫星，可以清晰地识别地上、海上目标，其中本文所用的GF-3超精细条带（UFS）模式数据，分辨率为3 m、幅宽为30 km，且选择了对于海洋应用效果较好的VV 极化方式。

2.2 研究方法

考虑到光学影像和SAR影像之间的互补性^[23]，本文探索采用简单的波段合成以及影像融合方法构成不同的数据集，利用加入通道注意力机制的卷积神经网络分别提取不同数据集下筏式养殖区信息，然后与仅基于光学影像提取的结果进行对比分析。

2.2.1 数据融合

（1）波段合成

以GF-2影像的4个波段和GF-3雷达影像进行波段合成，构成具有5波段的GF23Stacking。

（2）影像融合

NNDiffuse Pan Sharpening方法在像元级别上对GF-2和GF-3影像进行数据融合，融合图像每个像元光谱是由多光谱每个相邻像素加权组合而成，权重大小由全色图像扩散模型决定^[24]。GF-2光学影像具有光谱波段数目多、空间分辨率高的优点，而GF-3雷达影像上水体及浮筏光谱特征差异明显，且影像纹理丰富，该融合方法可以有效融合两种数据源的空间和光谱特征^[25-27]。融合后的影像命名为GF23Blending。融合后影像如图2所示，通过增加纹理特征可以更有效突出弱信号区域筏式养殖区，从而实现对弱信号区域的有效提取。

2.2.2 采用通道注意力机制的U-Net神经网络

对于遥感影像多通道数据集，不同通道信息对于筏式养殖区提取的贡献是不同的，深度学习中的注意力机制可以重点关注关键信息，忽略或者抑制无关信息。因此，有必要采取注意力机制以调整不同通道在信息提取中的权重。

U-Net神经网络是Ronneberger等^[28]于2015年提出的语义分割网络，对于U-Net神经网络，输入特征图中不同的通道对于分类任务有着不同的贡献，如果将所有的输入特征都赋予相同的权重信息和关注度，随着网络的加深，特征图的数量不断增加，尺度不断减小，在筏式养殖区提取过程中会造成边缘信息及纹理信息损失，同时对于弱信号区域，由于浮筏被海水淹没信号较弱，信息损失后会被误判为水体，导致提取效果较差。为了最大程度的获取筏式养殖区的细节信息，忽略其他无用的信息，本文将基于全局最大池化和平均池化的通道注意力模块引入到 U-Net 语义分割网络构成SE_U-Net模型，在SE_U-Net神经网络左边解码器的前5层中，将每一层经过两次3 × 3卷积完成信息提取后的特征图加入到通道注意力模块，对有利于筏式养殖区提取的信息赋予更高的权重，生成一个带有通道权重信息的新特征图，其中新的特征图的一部分通过跳跃连接输入到解码器部分，另外一部分经过最大池化操作后作为下一层网络的输入。改进后的网络结构如图3所示，该网络可以在通道维度上加强重要的通道信息，并对冗余的信息进行抑制，从而提高筏式养殖区提取的准确率。

原始的SE结构在2017年由自动驾驶公司Momenta公布^[29]，通过对特征通道之间的相关性进行建模，强化重要的特性来提高结果的准确率。原始SE模块主要包含维度压缩（Squeeze）和激励加权（Excitation）两部分，维度压缩部分进行全局平均池化（global average pooling）处理，将特征图压缩为1 × 1 × C向量，激励加权是为了利用维度压缩操作中整合的信息完全捕获每个通道之间相关性，赋予每个通道不同的权重。

Woo等^[30]通过实验证明在原始SE模块基础上加入第二个全局最大池化的分支可以获取更丰富的全局信息，尽量避免过多信息的丢失，使得通道权重信息更有说服力，且利用这两个特性可以大大提高网络的表示能力，改进后的通道注意力模块如图4所示，给定一个特征通道数为$ {C_1} $的输入图像X，通过卷积处理得到一个特征通道数为$ C $的特征图，然后对其进行维度压缩，上下分支分别经全局平均池化和全局最大池化得到尺寸大小为$1\; \times \;1 \;\times\; C$的池化结果，利用全连接层进行处理，并将ReLU函数作为激活函数，分别得到尺寸大小均为$1 \;\times \;1 \;\times \;C/\gamma$的上下分支全连接层结果，γ的作用是控制注意力强度和参数量，根据Woo等^[30]的研究，将γ设置为16，可以较好地平衡SE模块的有效性和参数数目。将上下分支经全连接层后进行逐通道融合，利用Sigmoid激活函数将逐通道融合结果压缩至[0, 1]之间得到最终的各通道权重值。最后将输入特征图与各通道权重值进行逐通道权重相乘，得到带有通道权重信息的特征图$\widetilde{{X} }$。$\widetilde {{X}}$包含全局的语义信息和更大的感受野，$\widetilde{{X}}$的计算过程如下：

(1)$ \widetilde {{X}} = {M_C}（U) \otimes U \text{，} $

式中，$\widetilde {{X}}$为经过加权后带有各通道权重信息的特征图；$ \otimes $为逐通道权重相乘；$ {M_C}（U) $表示输入特征图$ U $ 经过通道注意力模块处理后得到的不同的权重，其具体的定义如下：

(2)$ {M_C}（F) = \sigma \{{W_1}{{\rm{Re}}} {\rm{LU}}[{W_0}（U_{{\rm{avg}}}^C)] + {W_1}{{\rm{Re}}} {\rm{LU}}[{W_0}（U_{\max }^C)]\} \text{，} $

式中，$ {W_0} $和$ {W_1} $代表两层全连接层当中学习到的权重，$ {W_0} \in {R^{\frac{C}{8} \times C}} $、$ W1 \in {R^{C \times \frac{C}{8}}} $；$ \sigma $代表Sigmoid激活函数；ReLU为激活函数；$ U_{{\text{avg}}}^C $和$ U_{\max }^C $分别代表经过平均池化和最大池化后得到的特征描述算子。

2.2.3 技术路线流程

技术路线流程如图5所示，主要分为影像预处理、波段合成和影像融合、数据集制作、训练预测及精度验证。具体步骤如下：

（1）首先对原始高分2号、高分3号影像进行预处理，将高分3号影像重采样为与高分2号影像分辨率（0.8 m）相同的影像。

（2）融合后影像以高分2号影像为主，与融合前影像相比视觉差异不大，如图2所示，为控制变量以对比3种数据提取效果，对高分2号影像进行人工标注，生成标签数据。

（3）然后对两幅影像进行波段合成得到GF23Stacking影像；通过NNDiffuse Pan Sharpening方法对两幅影像进行融合得到GF23Blending影像；由于计算机图形处理器（GPU）显存的限制，网络的加深很容易导致内存溢出，因此无法将整幅影像直接输入到网络。为了解决这个问题，我们将影像数据以及标签数据经扩充后裁剪成512 × 512大小的图片。经扩充裁剪后得到GF2数据集、GF23Stacking数据集、GF23Blending数据集（简称GF2、GF23S、GF23B）。

（4）通过添加通道注意力机制的U-Net神经网络对各数据集分别进行训练预测，并针对部分典型区域结果进行对比分析。

3 结果和分析

收起

3.1 精度评价指标

本文采用精确率、召回率、F1分数、总体精度及Kappa系数对分类结果进行定量的评估，这些指标都基于混淆矩阵计算得到（表1），混淆矩阵的各元素定义如下：正样本（True Positive, TP），表示养殖区被模型正确分为养殖区；负样本（False Positive, FP），表示背景被模型分为养殖区；假正类（False Negative, FN），表示养殖区被模型错误分为背景；真负类（True Negative, TN），表示背景被模型分为背景。

各个评价指标的定义及公式如下^[31-32]：

精确率（P）：表示养殖区被模型正确分类的像元数占模型分类结果为养殖区像元数量的比例。

(3)$ P = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} . $

召回率（R）：表示养殖区被模型正确分类的像元数占真实养殖区像元数量的比例。

(4)$ R = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} . $

F₁分数：F₁分数是对精确率和召回率的一个综合考量。

(5)$ {F_1} = 2 \times \frac{{{{P}} \times {{R}}}}{{{{P }}+ {{R}}}} . $

总体精度（OA）：表示模型正确分类的像元数占真实所有地物像元数的比例。

(6)$ {\rm{OA}} = \frac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FN}} + {\rm{FP}} + {\rm{TN}}}} . $

Kappa系数：用来衡量养殖区被模型正确分类的像元数与真实地物养殖区像元之间的吻合程度。

(7)$ {\rm{K}}{\text{appa}} = \frac{{N\sum\limits _{i = 1}^r{x_{ii}} - \sum\limits _{i = 1}^r（{x_{i - 1}} \times {x_{i + 1}})}}{{{N^2} - \sum\limits _{i = 1}^r（{x_{i - 1}} \times {x_{i + 1}})}} , $

式中，r为类别数；N为像元总数；x_ii为i类目标被正确分类数量；x_i−1指x−1类地物真实像元总数；x_i+1为分为i+1类像元总数。

3.2 模型对比分析

我们对比分析了加入通道注意力机制的U-Net模型及原始U-Net模型针对GF2、GF23S、GF23B 3种数据集提取的性能。图6为模型预测结果，Image为原始影像、Label为标签数据，U-Net_GF2、U-Net_GF2S、U-Net_GF2B分别为利用U-Net模型对GF2、GF23S、GF23B 3种数据集预测的结果，SE_U-Net_GF2、SE_U-Net_GF23S、SE_U-Net_GF23B分别为添加通道注意力机制的U-Net模型预测的结果。表2为提取精度对比。

对图6以及表2进行分析，3种数据集使用SE_U-Net模型进行预测总体精度分别为89.42% 、89.68%、93.71%，较U-Net模型分别高4.12%、2.21%、2.38%；Kappa系数分别为0.788 7、0.794 3、0.874 0，较U-Net模型分别高0.08、0.043 3、0.047 2。实验对比证明通过对U-Net神经网络经过添加通道注意力模块进行改进后精度更高、效果更好，因此本文选用该改进模型进行进一步的研究。

3.3 数据对比分析

对比不同数据集的表现，局部典型区域如图7所示，将预测结果与真实标签值进行了对比，精度定量评估的结果见表3。

通过观察图7可以发现：

对于图7a至图7e所示区域，3种数据均可较好进行提取，GF23B分类效果最好，错分漏分现象最少，相较于GF2和GF23S，黏连现象以及噪声现象有一定程度的减少。

如图7f至图7j所示，GF2漏分现象较多，噪声严重，边缘提取效果较差；GF23S分类效果较GF2数据集有所提高，但是黏连以及漏分现象仍较为明显；GF23B分类结果最好，错分漏分及黏连现象较少，且对于如图6i和图6j所示信号极弱区域提取结果远好于其他两种数据集。

通过表3对比分析可知：GF2各项指标均低于GF23S及GF23B，GF23B养殖区召回率较GF23S高4.1%，F1分数高2.15，达到94.50，较GF2高约9.0。

表4是不同数据集总体精度和Kappa系数的对比，GF23S及GF23B预测结果所得总体精度及Kappa系数均大幅度高于GF2，总体精度高5%以上，Kappa系数高0.1以上；GF23S与GF23B相比，后者总体精度较前者高1.48%、Kappa系数高0.032 5。

3.4 弱信号区域精度评价

为了测试本文方法的有效性，我们对不同数据集的弱信号区域筏式养殖区提取效果进行了对比分析。不同区域结果如图8所示，表5是对不同数据集信息提取精度的比较，Test1区域提取总体精度分别为81.41%、84.75%、91.61%，Kappa系数分别为0.633 4、0.696 5、0.827 7；Test2区域提取总体精度分别为89.52%、91.79%、94.30%，Kappa系数分别为0.746 3、0.805 2、0.871 7；Test3区域提取总体精度分别为82.40%、88.18%、91.59%，Kappa系数分别为0.642 8、0.762 0、0.830 9。GF23B对于弱信号区域筏式养殖区提取效果远好于GF23S，相较于GF2总体精度提升幅度分别达到7.2%、4.78%、9.19%。

4 总结

收起

针对筏式养殖区往往存在弱信号现象导致信息难于提取，本研究提出了一种基于改进卷积神经网络（SE_U-Net）的方法，比较了多光谱光学影像及SAR影像数据以不同结合方式构建的3种数据集（GF2、GF23Stacking、GF23Blending）在筏式养殖区识别与提取的表现。主要结论如下：

（1）SE_U-net神经网络对3种数据集进行筏式养殖区提取总体精度分别为89.42% 、89.68%、93.71%，较改进前的U-Net神经网络分别高4.12%、2.21%、2.38%。添加通道注意力机制可以明显提高U-Net神经网络的提取精度。

（2）对于强弱信号均匀区域，3种数据集均有较好的准确率，GF-2和GF-3影像融合后表现最好，总体精度与Kappa系数分别达到95.75%与0.9102，总体精度分别比仅使用GF-2影像提取养殖区的方案高6.28%，Kappa系数高0.1373。

（3）结合SE_U-Net和GF-2、GF-3影像融合数据对于弱信号区域筏式养殖区提取效果远好于其他两种数据。对于弱信号区域，GF-2、GF-3影像融合后数据总体精度达91%以上，较GF-2、GF-3波段合成影像与仅用GF-2影像总体精度均大幅度提高。当前针对影像弱信号区域养殖区信息提取方面的探索较少，Liu等^[31]提出基于多源特征融合的语义分割方法，即使用GF-2影像利用一种可以减弱海水信号的反水体指数和波段比值提供的特征完成弱信号区域的目标识别和分类，总体精度为82.02%。相比之下，本文所提方法对于弱信号区域提取总体精度较高。

综上，基于改进卷积神经网络利用多光谱影像与SAR影像融合数据进行筏式养殖区提取的方法对于强弱信号均匀区域及弱信号区域均具有较好效果。但是对于部分弱信号区域及其边缘提取精度仍有提升空间，养殖区之间黏连、残缺等现象仍未完全解决。

基金

收起

山东省自然科学基金（ZR2022MD002）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Gu Yangguang, Lin Qin, Jiang Shijun, et al. Metal pollution status in Zhelin Bay surface sediments inferred from a sequential extraction technique, South China Sea[J]. Marine Pollution Bulletin, 2014, 81(1): 256−261.

Han Qingxi, Wang Yueqi, Zhang Yong, et al. Effects of intensive scallop mariculture on macrobenthic assemblages in Sishili Bay, the northern Yellow Sea of China[J]. Hydrobiologia, 2013, 718(1): 1−15.

Wartenberg R, Feng Limin, Wu Jiajun, et al. The impacts of suspended mariculture on coastal zones in China and the scope for integrated multi-trophic aquaculture[J]. Ecosystem Health and Sustainability, 2017, 3(6): 1340268.

Kang Y H, Hwang J R, Chung I K, et al. Development of a seaweed species-selection index for successful culture in a seaweed-based integrated aquaculture system[J]. Journal of Ocean University of China, 2013, 12(1): 125−133.

Cheng Bo, Liang Chenbin, Liu Xunan, et al. Research on a novel extraction method using deep learning based on GF-2 images for aquaculture areas[J]. International Journal of Remote Sensing, 2020, 41(9): 3575−3591.

钟勇. 基于深度学习的筏式养殖区识别与检测方法[D]. 青岛: 山东科技大学, 2019.

Zhong Yong. Recognition and detection method of raft aquaculture area based on deep learning[D]. Qingdao: Shandong University of Science and Technology, 2019.

杨英宝, 江南, 殷立琼, 等. 太湖围湖利用及网围养殖的遥感调查与分析[J]. 农村生态环境, 2005, 21(3): 25−28.

Yang Yingbao, Jiang Nan, Yin Liqiong, et al. Remote sensing investigation and analysis of ponding and enclosure culture in Taihu Lake[J]. Journal of Ecology and Rural Environment, 2005, 21(3): 25−28.

刘晓, 黄海军, 杨曦光, 等. 基于SPOT影像的筏式养殖区提取方法研究[J]. 测绘科学, 2013, 38(2): 41−43.

Liu Xiao, Huang Haijun, Yang Xiguang, et al. Method to extract raft-cultivation area based on SPOT image[J]. Science of Surveying and Mapping, 2013, 38(2): 41−43.

胡园园, 范剑超, 王钧. 广义统计区域合并的SAR图像浮筏养殖信息提取[J]. 中国图象图形学报, 2017, 22(5): 610−621.

Hu Yuanyuan, Fan Jianchao, Wang Jun. Modifying generalized statistical region merging for unsupervised extraction of floating raft aquaculture in SAR images[J]. Journal of Image and Graphics, 2017, 22(5): 610−621.

Cui Yishuo, Zhang Xuehong, Jiang Nan, et al. Remote sensing identification of marine floating raft aquaculture area based on sentinel-2A and DEM data[J]. Frontiers in Marine Science, 2022, 9: 955858.

Hu Fan, Xia Guisong, Hu Jingwen, et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015, 7(11): 14680−14707.

Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778−782.

Li Erzhu, Xia Junshi, Du Peijun, et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5653−5665.

Ding Lei, Tang Hao, Lorenzo Bruzzone. LANet: Local attention embedding to improve the semantic segmentation of remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59（1): 426−435.

Lu Yimin, Shao Wei, Sun Jie. Extraction of offshore aquaculture areas from medium-resolution remote sensing images based on deep learning[J]. Remote Sensing, 2021, 13(19): 3854.

Cui Bin’ge, Fei Dong, Shao Guanghui, et al. Extracting raft aquaculture areas from remote sensing images via an improved U-net with a PSE structure[J]. Remote Sensing, 2019, 11(17): 2053.

Zhang Yi, Wang Chengyi, Ji Yuan, et al. Combining segmentation network and nonsubsampled contourlet transform for automatic marine raft aquaculture area extraction from sentinel-1 images[J]. Remote Sensing, 2020, 12(24): 4182.

李连伟, 张源榆, 岳增友, 等. 基于全卷积网络模型的高分遥感影像内陆网箱养殖区提取[J]. 山东科学, 2022, 35(2): 1−10.

Li Lianwei, Zhang Yuanyu, Yue Zengyou, et al. Extracting inland cage aquacultural areas from high-resolution remote sensing images using fully convolutional networks model[J]. Shandong Science, 2022, 35(2): 1−10.

于慧男. 基于光学影像与SAR影像融合的海洋浮筏养殖区提取[D]. 成都: 西南交通大学, 2019.

Yu Huinan. Extracting marine floating raft region based on fusion of optical image and radar image[D]. Chengdu: Southwest Jiaotong University, 2019.

陈家长, 孟顺龙, 胡庚东, 等. 空心菜浮床栽培对集约化养殖鱼塘水质的影响[J]. 生态与农村环境学报, 2010, 26(2): 155−159.

Chen Jiazhang, Meng Shunlong, Hu Gengdong, et al. Effect of ipomoea aquatica cultivation on artificial floating rafts on water quality of intensive aquaculture ponds[J]. Journal of Ecology and Rural Environment, 2010, 26(2): 155−159.

耿杰, 范剑超, 初佳兰, 等. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别[J]. 自动化学报, 2016, 42(4): 593−604.

Geng Jie, Fan Jianchao, Chu Jialan, et al. Research on marine floating raft aquaculture SAR image target recognition based on deep collaborative sparse coding network[J]. Acta Automatica Sinica, 2016, 42(4): 593−604.

张瑞, 刘国祥, 于慧男, 等. 基于SAR和光学影像融合的近海浮筏养殖区提取方法: 202010128207.2[P]. 2020−06−26.

Zhang Rui, Liu Guoxiang, Yu Huinan, et al. Extraction method of offshore floating raft aquaculture area based on SAR and optical image fusion. 202010128207.2[P]. 2020−06−26.

武易天. 基于遥感影像的近海岸水产提取方法研究[D]. 北京: 中国科学院大学（中国科学院遥感与数字地球研究所), 2017.

Wu Yitian. Research on coastal aquaculture detection using remote sensing images[D]. Beijing: University of Chinese Academy of Sciences （Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences), 2017.

邵亚奎, 朱长明, 张新, 等. 国产高分卫星遥感影像融合方法比较与评价[J]. 测绘通报, 2019(6): 5−10.

Shao Yakui, Zhu Changming, Zhang Xin, et al. Comparison of diffirent fusion methods and their performance evaluation to high spatial resolution remote sensing data of GF[J]. Bulletin of Surveying and Mapping, 2019(6): 5−10.

福建省统计局, 国家统计局福建调查总队. 福建统计年鉴2016[M]. 北京: 中国统计出版社, 2016.

Fujian Provincial Bureau of Statistics, Survey Office of the National Bureau of Statistics in Fujian. Fujian Statistical Yearbook 2016[M]. Beijing: China Statistics Press, 2016.

刘海江, 张建辉, 何立环, 等. 我国县域尺度生态环境质量状况及空间格局分析[J]. 中国环境监测, 2010, 26(6): 62−65.

Liu Haijiang, Zhang Jianhui, He Lihuan, et al. Analysis of the status and spatial distribution patterns of county-level eco-environmental quality of China[J]. Environmental Monitoring in China, 2010, 26(6): 62−65.

王井利, 马畅, 张宁. 基于遥感归一化指数的生态环境破坏和恢复能力的监测与评价[J]. 沈阳建筑大学学报(自然科学版), 2018, 34(4): 676−683.

Wang Jingli, Ma Chang, Zhang Ning. Monitoring and evaluation of ecological environmental damage and recovery capability based on remote sensing image normalization index[J]. Journal of Shenyang Jianzhu University (Natural Science), 2018, 34(4): 676−683.

Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer, 2015: 234−241.

Hu Jie, Shen Li, Sun Gang. Squeeze-and-excitation networks[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7132−7141.

Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the 15th European Conference on Computer Vision. Munich: Springer, 2018: 3−19.

Liu Chenxi, Jiang Tao, Zhang Zhen, et al. Extraction method of offshore mariculture area under weak signal based on multisource feature fusion[J]. Journal of Marine Science and Engineering, 2020, 8(2): 99.

Jiang Zongchen, Ma Yi. Accurate extraction of offshore raft aquaculture areas based on a 3D-CNN model[J]. International Journal of Remote Sensing, 2020, 41(14): 5457−5481.

2023年第45卷第8期

PDF下载

231

112

引用本文

BibTeX

文章信息

doi: 10.12284/hyxb2023147

接收时间：2022-10-03
首发时间：2025-12-28
出版时间：2023-08-31

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2022-10-03
修回日期：2022-12-22

基金

山东省自然科学基金（ZR2022MD002）

作者信息

¹ 山东科技大学测绘与空间信息学院3S工程技术研究中心，山东青岛 266590

通讯作者:

*蔡玉林，副教授，主要从事遥感图像处理和信息提取以及遥感在资源环境中的应用研究。E-mail: caiyl@sdust.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/hyxb/CN/10.12284/hyxb2023147

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

真实值	模型预测结果
正例	TP	FN
反例	FP	TN

真实值

模型预测结果

正例

反例

正例

反例

模型		GF2	GF23S	GF23B
U-Net	总体精度/%	85.30	87.47	91.33
	Kappa系数	0.708 7	0.751 0	0.826 8
SE_U-Net	总体精度/%	89.42	89.68	93.71
	Kappa系数	0.788 7	0.794 3	0.874 0

模型

GF2

GF23S

GF23B

U-Net

总体精度/%

85.30

87.47

91.33

Kappa系数

0.708 7

0.751 0

0.826 8

SE_U-Net

总体精度/%

89.42

89.68

93.71

Kappa系数

0.788 7

0.794 3

0.874 0

数据集	类别	召回率/ %	精确率/ %	错分率/%	漏分率/%	F1分数
GF2	背景	95.08	88.61	11.39	4.92	91.73
	养殖区	80.54	91.14	8.86	19.46	85.51
GF23S	背景	97.11	93.78	6.22	2.89	95.42
	养殖区	89.74	95.12	4.88	10.26	92.35
GF23B	背景	96.96	96.16	3.84	3.04	96.56
	养殖区	93.84	95.10	4.90	6.16	94.50

数据集

类别

召回率/
%

精确率/
%

错分
率/%

漏分
率/%

F1分数

GF2

背景

95.08

88.61

11.39

4.92

91.73

养殖区

80.54

91.14

8.86

19.46

85.51

GF23S

背景

97.11

93.78

6.22

2.89

95.42

养殖区

89.74

95.12

4.88

10.26

92.35

GF23B

背景

96.96

96.16

3.84

3.04

96.56

养殖区

93.84

95.10

4.90

6.16

94.50

数据集	总体精度/%	Kappa系数
GF2	89.47	0.772 9
GF23S	94.27	0.877 7
GF23B	95.75	0.910 2

数据集

总体精度/%

Kappa系数

GF2

89.47

0.772 9

GF23S

94.27

0.877 7

GF23B

95.75

0.910 2

测试区	数据集	总体精度/%	Kappa系数
Test1	GF2	81.41	0.6334
	GF23S	84.75	0.6965
	GF23B	91.61	0.8277
Test2	GF2	89.52	0.7463
	GF23S	91.79	0.8052
	GF23B	94.30	0.8717
Test3	GF2	82.40	0.6428
	GF23S	88.18	0.7620
	GF23B	91.59	0.8309

测试区

数据集

总体精度/%

Kappa系数

Test1

GF2

81.41

0.6334

GF23S

84.75

0.6965

GF23B

91.61

0.8277

Test2

GF2

89.52

0.7463

GF23S

91.79

0.8052

GF23B

94.30

0.8717

Test3

GF2

82.40

0.6428

GF23S

88.18

0.7620

GF23B

91.59

0.8309