船舶力学

结构物形式	训练集数量	测试集数量	流场形式	概述	训练集速度场数量	测试集速度场数量
楔形体入水	60	50	均匀流（如图5（a））	流场中所有速度值保持一致。	1000	500
后台阶流动（如图5（b））	论文中公开的后台阶流动数据，Re=800~1500^[14]。	3000	500
圆柱绕流流场（如图5（c））	论文中公开的圆柱绕流流场数据，Re=40~400^[14]。	3000	500
船艏入水	240	50	JHTB-channel（如图5（d））	Johns Hopkins Turbulence公开数据集^[24]。	3000	500
DNS-turbulence（如图5（e））	各向同性自由湍流流场公开数据集（DNS-turbulence，简称DNS）^[25]。	2000	500
Surface Quasi-Geostrophic（如图5（f））	海洋表面流场仿真模型公开数据集（Surface Quasi-Geostrophic，简称SQG）^[26]。	3000	500

结构物形式	训练集数量	测试集数量	流场形式	概述	训练集速度场数量	测试集速度场数量
楔形体入水	60	50	均匀流（如图5（a））	流场中所有速度值保持一致。	1000	500
后台阶流动（如图5（b））	论文中公开的后台阶流动数据，Re=800~1500^[14]。	3000	500
圆柱绕流流场（如图5（c））	论文中公开的圆柱绕流流场数据，Re=40~400^[14]。	3000	500
船艏入水	240	50	JHTB-channel（如图5（d））	Johns Hopkins Turbulence公开数据集^[24]。	3000	500
DNS-turbulence（如图5（e））	各向同性自由湍流流场公开数据集（DNS-turbulence，简称DNS）^[25]。	2000	500
Surface Quasi-Geostrophic（如图5（f））	海洋表面流场仿真模型公开数据集（Surface Quasi-Geostrophic，简称SQG）^[26]。	3000	500

模型	流场形式
WIDIM^[5]	0.0262	0.0412	0.0721	0.0823	0.3070	0.4392
Mask-PIV-LiteFlowNet	0.0279	0.0323	0.0532	0.0617	0.1221	0.1256
PIV-LiteFlowNet-en^[19]	0.0396	0.0479	0.0663	0.0739	0.1448	0.1474

模型	流场形式
WIDIM^[5]	0.0262	0.0412	0.0721	0.0823	0.3070	0.4392
Mask-PIV-LiteFlowNet	0.0279	0.0323	0.0532	0.0617	0.1221	0.1256
PIV-LiteFlowNet-en^[19]	0.0396	0.0479	0.0663	0.0739	0.1448	0.1474

参数	数值	单位
粒子直径	2~4	Pixels
粒子中心强度	200~255	Gray Value
粒子浓度	0.04	Particle Per Pixels
图像分辨率（宽，高）	（256，256）	Pixels

参数	数值	单位
粒子直径	2~4	Pixels
粒子中心强度	200~255	Gray Value
粒子浓度	0.04	Particle Per Pixels
图像分辨率（宽，高）	（256，256）	Pixels

名称	PIV-LiteFlowNet-en	WIDIM	Mask-PIV-LiteFlowNet
处理器	GPU	CPU	GPU
输入图像分辨率	256×256	256×256	256×256
输出速度场分辨率	256×256	31×31	256×256
计算时长（500个速度场）	61.2 s	224.9 s	57.7 s

名称	PIV-LiteFlowNet-en	WIDIM	Mask-PIV-LiteFlowNet
处理器	GPU	CPU	GPU
输入图像分辨率	256×256	256×256	256×256
输出速度场分辨率	256×256	31×31	256×256
计算时长（500个速度场）	61.2 s	224.9 s	57.7 s

基于光流卷积网络的粒子图像测速自动掩模及速度场计算

PDF下载

郭春雨 ^1a , 范毅伟 ^1a , 韩阳 ^1a , 于长东 ^1b , 徐鹏 ^1a , 毕晓君 ²

船舶力学 | 流体力学 2024,28(3): 379-391

收起

船舶力学 | 流体力学 2024, 28(3): 379-391

基于光流卷积网络的粒子图像测速自动掩模及速度场计算

全屏

郭春雨^1a, 范毅伟^1a, 韩阳^1a, 于长东^1b, 徐鹏^1a, 毕晓君²

作者信息

^1a.哈尔滨工程大学　船舶工程学院，哈尔滨　150001

^1b.哈尔滨工程大学　信息通信学院，哈尔滨　150001

^2.中央民族大学　信息工程学院，北京　100081

郭春雨（1981-），男，教授

韩阳（1988-），女，实验师，硕士生导师，通讯作者，E-mail：hanyang@hrbeu.edu.cn。

通讯作者:

通讯作者，E-mail：hanyang@hrbeu.edu.cn

Automatic mask and velocity field calculation of particle image velocimetry based on optical flow convolution network

Chun-yu GUO^1a, Yi-wei FAN^1a, Yang HAN^1a, Chang-dong YU^1b, Peng XU^1a, Xiao-jun BI²

Affiliations

^1a.College of Shipbuilding Engineering, Harbin Engineering University, Harbin 150001, China

^1b.College of Information Engineering, Harbin Engineering University, Harbin 150001, China

^2.College of Information Engineering, Minzu University of China, Beijing 100081, China

出版时间: 2024-03-20 doi: 10.3969/j.issn.1007-7294.2024.03.006

文章导航

摘要

收起

粒子图像测速（PIV）技术是一种定量的非接触式全局速度场测量技术。在船舶与海洋工程领域，PIV实验中拍摄的粒子图像常出现结构物遮挡或自由液面等干扰现象，需要对其进行掩模后计算液相区域速度场。因此，实现PIV图像中干扰区域自动掩模及液相区域速度场高精度计算具有重要的意义。本文基于光流卷积神经网络LiteFlowNet，设计了一种可实现自动掩模及速度场计算的深度学习模型Mask-PIV-LiteFlowNet，并使用基于物体入水PIV实验图像掩模数据集和PIV速度场计算数据集制作的数据集对其进行训练和测试。测试结果表明，该模型能够有效减少临近掩模边界区域的速度场计算错误并能够精细地提取流场小尺度流动信息，相比于当前先进的PIV深度学习模型PIV-LiteFlowNet-en，本文提出的模型在对带结构物的合成粒子图像进行流场计算时精度获得了至少14.5%的提升，计算速度上获得了5.7%的提升。最后，使用楔形体入水PIV图像对提出的模型进行了测试，验证了模型的泛化能力。

关键词

粒子图像测速 / 深度学习 / 自动掩模 / 速度场计算

Abstract

收起

Particle image velocimetry (PIV) technology is a non-contact global velocity field measurement technology. In the field of shipbuilding and ocean engineering, the particle images taken in the PIV experiment often contain interference such as structure occlusion and free liquid surface, which needs to be masked before the liquid phase velocity field is calculated. Therefore, it is of great significance to realize the automatic masking of the interference area in the PIV image and the high-precision calculation of the velocity field in the liquid phase area. In this paper, based on the optical flow convolutional neural network LiteFlowNet, a deep learning model Mask-PIV-LiteFlowNet that can realize automatic mask and velocity field calculation was designed. Furthermore, based on the PIV mask dataset of the object entering the water and on the PIV velocity field calculation data set, a data set was made to train and test. The test results show that the model can effectively reduce the calculation errors of the velocity field near the boundary of the mask and can extract small-scaled flow information of the flow field finely. Compared with the current advanced particle image velocimetry deep learning model, the calculation accuracy was improved by more than 20%, and the calculation speed was improved by 5.7%. Finally, the proposed model was tested with the actual images of the wedge-shaped body entering the water and the carp swimming PIV, verifying that the model has a strong generalization ability.

Key words

particle image velocimetry / deep learning / automatic mask / velocity field calculation

引用本文

郭春雨, 范毅伟, 韩阳, 于长东, 徐鹏, 毕晓君. 基于光流卷积网络的粒子图像测速自动掩模及速度场计算. 船舶力学, 2024 , 28 (3) : 379 -391 . DOI: 10.3969/j.issn.1007-7294.2024.03.006

Chun-yu GUO, Yi-wei FAN, Yang HAN, Chang-dong YU, Peng XU, Xiao-jun BI. Automatic mask and velocity field calculation of particle image velocimetry based on optical flow convolution network[J]. Journal of Ship Mechanics, 2024 , 28 (3) : 379 -391 . DOI: 10.3969/j.issn.1007-7294.2024.03.006

正文

收起

0　引言

收起

粒子图像测速（Particle Image Velocimetry，PIV）技术发展始于20世纪80年代，是一种能够无接触地获得全场流场瞬态流动速度矢量信息的测量技术，在海洋、航空等领域具有广泛的应用^[1-3]。在船舶与海洋工程领域的PIV实验中，常出现固体结构物遮挡及其表面反光、强非线性变形自由液面以及空化卷气等现象，这些现象会对液相区域速度场计算造成干扰，具体表现在不同相位的流体的流动状态存在着较大差异，在两相边界处容易存在速度穿过相位交界面、速度数值差异过大导致的过度插值等错误^[4]，且由于气腔与气泡的脉动导致的激光散射会严重影响液相区域速度场计算结果^[5]，因此需要对该干扰区域进行掩模处理。研究人员在PIV试验图像中非液相区域掩模算法的开发及应用上做了大量的研究，2011年Arnaud Sanchis等^[6]基于Radon变换提出了一种空气-水自由液面边界自动检测算法，此算法可对具有明显线性特征的自由液面边界进行检测并对自由液面以上的气体进行掩模；2020年Vennemann等^[4]提出了三种基于卷积自动编码器的图像自动掩模方法，该方法可对液体中的固体结构物进行识别并对其边界进行逐像素的分割。

在对粒子图像中的非液相区域进行掩模后，再采用运动估计算法计算液相区域的速度场，其中掩膜和速度场计算两个步骤各自独立完成^[6]。速度场计算是PIV图像处理过程中最重要的一步，在其发展的三十多年过程中，互相关算法由于其高效简单的特性一直占据主导地位。2002年Scarano等^[7]对多网格迭代变形窗口互相关算法进行了系统的总结，并将此方法称之为window deformation iterative multigrid（WIDIM）方法，该方法逐渐成为PIV运动估计的基准方法。2010年，Wieneke等^[8]提出了自适应互相关算法应用于PIV运动估计，该方法可根据图像中不同的粒子浓度自适应改变询问窗口大小和形状。2018年，Wang等^[9]使用N-S方程进行TR-PIV计算以减少计算误差。但是相关分析法假设流体在迭代窗口内均匀流动，因此，当流动结构的尺寸小于最小迭代窗口尺寸时会出现计算不准的现象^[14]。

近几年来，卷积神经网络（CNN）的出现大大促进了机器学习与计算机视觉相结合^[10]，随着深度学习方法在图像光流计算领域的广泛应用^[11]，研究者们提出使用深度学习方法应用于PIV运动估计领域并取得了突破性的进展。2017年，Rabault等^[12]首次提出了一种端到端的人工神经网络进行PIV运动估计，但计算能力并未超越相关分析法。2017年Lee等^[13]构建了一种级联形式神经网络用于PIV运动估计，该网络采用类似于相关分析法的查询窗口进行流体运动估计，计算结果较为稀疏且机选效率较低。在计算机视觉领域，以LiteFlowNet^[16]和PWC-Net^[27]等为代表的基于深度学习的光流模型展现出了优秀的计算性能，近些年来研究人员开始尝试将其用于PIV流场计算。LiteFlowNet^[16]是一种金字塔形结构的轻量级光流计算卷积神经网络，具有模型体量小、计算效率高和计算精度高等优点，是当前较为先进的光流估计深度学习模型，极具改进潜力。本质上，PIV任务也属于一种粒子的运动估计问题，2020年Cai等^[14]在LiteFlowNet^[16]的基础上进行了拓展，增加了一层包含特征匹配、亚像素细化、流场正则化完整的光流估计层，使其能够输出具有像素级空间分辨率的流场，并将其命名为PIV-LiteFlowNet-en。与互相关算法相比，该模型在进行湍流小尺度涡结构的速度场测量时，在精度上具有较大的提升，但是PIV-LiteFlowNet-en存在过多的冗余结构，这导致模型在训练和使用时会占据大量的显存空间。此外，目前基于深度学习的算法仅适用于纯流场（即粒子图像中都是流体信息）PIV计算，当图像中存在固体结构物遮挡或自由液面等现象时，会严重干扰临近相位边界位置的流场速度场计算，并造成较多的计算错误。

本文研究的关键问题是对现有的PIV运动估计深度学习模型进行改进，使其同时具有对粒子图像中的非液相区域进行自动掩模和计算液相区域速度场的能力，并着重于减少相位边界位置计算错误从而提高模型的计算精度。本文在LiteFlowNet基础之上对模型整体结构进行改进，在模型中加入全卷积特征解码模块实现PIV图像目标特征检测，使其具有图像特征语义分割能力^[17]，并根据分割结果对各中间层速度场进行逐层掩模，最后采用特征正则化模块对速度场进行平滑处理及错误矢量去除等修正，改进后的模型命名为Mask-PIV-LiteFlowNet。实验结果表明，其能够对PIV图像中的固体结构物以及液滴飞溅等非液相区域进行自动掩模，并对液相区域进行高精度、高空间分辨率运动估计，并输出稠密的速度场。

1　Mask-PIV-LiteFlowNet模型结构

收起

1.1　LiteFlowNet光流估计模型介绍

Mask-PIV-LiteFlowNet是在LiteFlowNet的基础上改进得来，LiteFlowNet是一种具有金字塔结构的轻量级光流计算卷积神经网络，在每层金字塔结构中进行从粗到细的优化计算^[16]，其模型结构如图1所示。LiteFlowNet由NetC特征提取器和NetE运动估计器组成。其中NetC由六层全卷积模块串联而成，用于对输入的图像进行特征等级由低到高的编码。NetE为具有五层金字塔结构的运动估计结构，通过使用特征金字塔中的图像特征信息进行由粗到细的运动估计。以NetE的第二层计算流程为例，NetE的计算可简单描述为

(1)

式中，v²为第二层输出速度场，f为特征解码层计算函数，

的上标代表第二层结构，下标代表第二张图像的特征，v³为NetE第三层速度场输出。特征解码层NetE主要包含三种结构：特征扭曲模块、特征匹配与亚像素细化模块（图1中的M：S）和特征正则化模块（图1中的R）。计算流程如下：第一步，使用v³对

的特征信息进行扭曲得到

，以减少其与

之间的特征空间距离。第二步，特征匹配与亚像素细化（图1中的M：S模块）：通过使用最小化代价体方法（cost volume）对

与

进行特征匹配产生像素级速度场匹配结果，并基于匹配结果与图像特征进行亚像素细化。第三步，流场正则化（图1中的R模块）：该结构类似于光流法中的正则项^[18]，通过限制速度场空间梯度的方式提高速度场平滑度。在LiteFlowNet中的流场正则化模块根据

作为遮挡概率图，并根据当前层的特征

和

，使用特征驱动的卷积层对速度场估计结果

进行后处理，从而实现速度场平滑和错误矢量去除的目的，其中，各模块的参数采用监督学习的方式通过训练得到。

1.2　Mask-PIV-LiteFlowNet改进

在深度学习与计算机视觉领域，常采用卷积模块进行图像特征降采样及特征编码，并采用反卷积模块进行图像上采样及特征表达，最终实现逐像素的分类即语义分割功能^[17]。而在LiteFlowNet中的特征提取结构（NetC）中，同样使用串联的全卷积模块对输入的图像进行由低到高的特征编码形成特征图，本文提出使用该特征信息实现对图像中的目标进行逐像素的分类，从而使模型兼顾自动掩模的功能，以此思路对LiteFlowNet模型进行改进，改进后的模型结构如图2所示，其中蓝色虚线框内的Velocity masking model和Mask generating module为本文的改进部分，模型输入为带结构物的粒子图像，输出为掩模后的速度场。具体改进方法如下：

（1）掩模生成模块（Mask generating module）：在NetE结构中增加掩模生成模块（Mask generating module），该模块可利用NetC提取的信息对特征图进行上采样及特征解码（如图2中蓝色箭头所示），以实现对不同目标进行逐像素的识别与分类。卷积上采样模块由转置卷积层批正则化（Batch Normalization）^[19]和ReLU激活函数组成，并在最后一层卷积模块中，使用Sigmoid激活函数将特征值映射到0~1之间，表示此区域为液相的概率（如图2中绿色箭头所示），并在使用过程中将掩模结果矩阵（图2中的Mask output）中概率小于0.5的位置值赋值为0，概率大于等于0.5的位置值赋值为1，最后得到掩模结果（图2中Mask output）。

（2）速度场掩模模块（Velocity masking module）：从光流估计模块中间层入手，使用Mask output对每层的M：S模块和Feature ReLU输出的速度场进行非液相‘归零’处理（如公式（2）、（3）所示），并将计算结果传入下一层网络中进行计算，模型中每层均以此方式进行迭代计算。以第二层Velocity masking module中的计算为例：

(2)

(3)

式中，M为掩模矩阵，v_M：S²为第2层中M：S模块输出的速度场，v_M：S^2~为掩模后的v_M：S²，R₂为第2层的Feature ReLU模块，v²为第二层输出速度场，·为矩阵的点乘，

代表特征编码模块第二层第一张粒子图像的特征图。

（3）输出端流场正则化（图2中的R₀）：在模型的输出端额外增加了一个流场正则化模块，用以对速度场进行平滑及错误矢量去除，并使速度场分辨率达到像素级空间分辨率。流场正则化模块的原理是，通过构建一个特征驱动的局部卷积层（feature-driven local convolution filter，f-lcon）对计算的速度场进行后处理，从而使流体区域的速度场更加平滑并减少流场的计算错误。其中f-lcon是根据单独的计算区块自适应构建的，它的构建包含以下几个步骤：首先，使用第一个图像I₁（x）和经过特征扭曲的第二个图像

构建遮挡概率图O，

(4)

其次，定义一个特征驱动的卷积距离度量D用于估计局部流动变化，它基于第一张图像的特征

和上采样后的速度场输出v_up¹以及遮挡概率图O进行构建，

(5)

式中，R_D为使用卷积层和ReLU激活层构建的6层卷积计算单元。随后，使用特征驱动的距离度量D构建f-lcon的每一个卷积层g，

(6)

式中，c为张量D的通道数，（x_i，y_i）∈ N（x，y），代表以位置（x，y）为中心处的ω×ω大小范围内的像素点。总体而言，公式（6）中分母部分的计算原理就是，对以位置（x，y）为中心、尺寸大小为ω×ω范围内的所有像素点求解exp（-D（x，y，c）²）函数值并求和。更多关于流场正则化模块的细节可参考论文[16]。最后，定义G={g}作为f-lcon所有的卷积层，并定义流场正则化模块R₀，

(7)

式中，v⁰为最终输出速度场。

2　深度学习模型训练策略及数据集

收起

Mask-PIV-LiteFlowNet是一种采用监督学习的方式进行训练的神经网络模型，其具有非液相区域自动掩模及液相区域速度场计算的功能，两种功能的实现过程均采用迁移学习的方式，分三步对模型参数进行训练：

（1）训练特征编码模块NetC和掩模生成模块（Mask generating module）：采用物体入水PIV图像掩模数据集^[5]对NetC特征编码模块和Mask generating module进行训练，该数据集中包含60张楔形体入水和240张船艏入水的PIV实验图像及掩模结果，关于更多训练集的信息可参考文献[5]。训练过程中固定模型中光流估计模块参数（图2中的Optical flow estimation block）。模型输入为“带结构物”的PIV实验图像并对其进行了图像随机拉伸、旋转以及裁剪等数据增强操作，将Mask-PIV-LiteFlowNet的掩模结果（图2中的Mask output）作为模型输出。根据掩模结果Mask output与掩模标签计算模型损失，损失函数L_M采用交叉熵损失L_H（如公式（8）所示）和Smoothing Dice Loss^[20]（L_S）（如公式（9）所示）的平均值计算：

(8)

(9)

(10)

公式（8）中p（x，y）和q（x，y）分别为（x，y）位置的预测值和真实值；公式（9）中X为模型计算出的图像掩模矩阵，Y为图像掩模矩阵标签，此衡量标准不仅强调分割的精确性，还对欠分割和过度分割实施惩罚。模型基于Pytorch进行搭建、训练和测试，Pytorch是Torch的Python版本，是由Facebook开源的神经网络框架，专门针对GPU加速的深度神经网络（DNN）编程，在机器学习和其他数学密集型应用中有广泛应用。采用Adma等^[21]优化算法优化模型参数，Adma优化算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置矫正后每一次迭代学习率的范围较为稳定，使得优化参数过程较为平稳。再采用余弦退火学习率衰减算法（Cosine Annealing LR）^[22]调节学习率，该方法以余弦函数为周期，在每个周期的最大值处重新设置学习率，采用此方法能够使优化的参数跳出局部最优解，学习率调整范围为1E-5~2E-6。经测试，模型迭代400次达到收敛，训练曲线如图3（a）所示。

（2）训练NetC特征编码模块和光流估计模块（Optical estimation module）：采用公开的人工合成PIV粒子图像-速度场数据集对NetC特征编码模块和NetE中的光流估计模块进行迁移学习，采用的训练集其中含有15 000组粒子图像输入及速度场标签，关于更多训练集的信息请参考论文[14]。在训练过程中模型中掩模生成模块参数（图2中的Mask generating module）固定不变，并且掩模结果（图2中的Mask output）不参与计算，将无结构物的粒子图像作为模型的输入，速度场输出结果作为模型的输出。采用期待预测损失（Expected Predicted Error loss，EPE loss）计算模型输出速度场与标签速度场误差进行模型参数优化，EPE loss如公式（11）所示。采用Adma算法优化模型参数，并采用Cosine Annealing LR算法调节学习率，学习率调整范围为1E-6~2E-7，经测试，模型迭代500次达到收敛，训练曲线如图3（b）所示。

(11)

式中，u^e_i和v^e_i为第i个预测的水平和竖直速度场，u^t_i和v^t_i为第i个真实的水平和竖直速度场，N为数据总量。

（3）Mask-PIV-LiteFlowNet模型所有参数微调：本阶段基于物体入水PIV图像掩模数据集^[5]以及公开的PIV数据集^[14]制作“带结构物”的粒子图像-速度场训练集，对Mask-PIV-LiteFlowNet所有参数进行微调。值得注意的是，文中所有人工合成的“带结构物”的粒子图像均做了特殊标注，因为真正的结构物涉及物体边界的运动和边界流动条件的改变，文中生成的数据集是为了指导模型的训练。数据集制作流程如图4所示，具体流程如下：①提取物体入水PIV图像掩模数据集中的PIV实验图像和掩模结果。②使用掩模结果对公开的PIV数据集^[14]中合成粒子图像对应的非液相位置灰度值清零，得到部分遮挡的合成粒子图像；使用掩模结果对PIV实验图像中对应的的液相位置灰度值清零，得到非液相区域图像信息。将部分遮挡的合成粒子图像与非液相区域图像信息进行拼接，得到“带结构物”的合成粒子图像，以此作为模型的输入。③使用掩模结果对公开的PIV数据集中的速度场标签对应非液相位置的速度值清零，得到部分遮挡的速度场，以此作为模型的标签。物体入水PIV图像掩模数据集^[5]中的300张实验图像和掩模结果经过随机旋转、平移和拉伸等变换后，与公开的PIV数据集^[14]中的15 000组粒子图像-速度场随机组合。训练集和测试集分布如表1所示，合成的粒子图像及速度场标签可视化结果如图5所示，训练集和测试集使用了不同的数据。

模型训练时以人工合成的“带结构物”的粒子图像（图2中的I₁和I₂）作为模型输入，并以掩模后的速度场（图2中的Masked v out）作为模型输出，与训练集中部分遮挡的速度场标签计算EPE损失，采用Adma算法优化模型参数，并采用Cosine Annealing LR算法调节学习率，调整范围为5E-7~1E-7，经测试，模型迭代500次达到收敛，训练曲线如图3（c）所示。

3　仿真实验及结果分析

收起

3.1　人工合成“带结构物”的粒子图像测试

为了定量评估Mask-PIV-LiteFlowNet应用于不同复杂程度流场计算的准确度，本节使用表1中生成的测试集对算法进行对比测试，测试集中包含楔形体入水实验和船艏入水实验两种结构物形式共100张，并与六种流动形式共3000个流场随机组合，分别记录各流动形式的均方根误差（root mean square error，RMSE）的平均值，均方根误差为

(12)

式中，u^e_i和v^e_i为第i个预测的水平和竖直速度场，u^t_i和v^t_i为第i个真实的水平和竖直速度场，N为数据总量。

本次实验中采用的硬件环境配置为Intel（R）Core（TM）i7-9700K CPU@3.00GHz处理器、32G内存，并采用RTX 2080Ti GPU进行运算加速，操作系统为64位Windows 10。采用基于Python的PyTorch深度学习框架完成模型搭建。对比算法包括：

（1）基于PIVlab^[15]开源计算平台的WIDIM方法，三重迭代窗口尺寸为64×64 pixel、32×32 pixel、16×16 pixel，窗口重复率为50%，输入粒子图像分辨率为256×256 pixel，速度场输出尺寸为31×31。WIDIM算法是PIV计算最常用的基准方法，在PIVlab软件中支持直接导入掩模矩阵对粒子图像进行掩模。在测试过程中直接使用掩模标签对粒子图像中的非液相区域掩模后输入算法进行计算。

（2）PIV-LiteFlowNet-en，采用网络上公开的模型及其参数^[14]，输入粒子图像分辨率为256×256 pixel，输出速度场尺寸为256×256。在测试时首先使用掩模标签对“带结构物”的粒子图像中的非液相区域的灰度值归零生成部分遮挡的粒子图像，随后将部分遮挡的粒子图像输入到算法中计算流场。

六种流动形式的均方根误差如表2所示，其中WIDIM方法的速度场计算结果尺寸为31×31，将速度场标签降采样至相同尺寸后计算误差，另外两种算法速度场计算结果的尺寸与标签相同。其中WIDIM方法在计算均匀流和后台阶流动的误差较低，但是随着流动复杂程度的增加误差也随即增大，特别是当计算DNS-turbulent以及SQG流场时，均方根误差分别达到了0.3070和0.4392，此时WIDIM方法已经无法进行正确的流场估计，这是因为WIDIM方法无法计算流动结构尺寸小于最小判读窗口的情况，只能计算判读窗口平均流动速度。另外，在测试时曾尝试将最小迭代窗口的尺寸设置为8×8 pixel，但是发现此方法无法降低计算误差，这种情况在相关论文中也曾出现^[14]。此外，Mask-PIV-LiteFlowNet在除均匀流以外的所有流场中都取得了最低的计算误差。在均匀流、后台阶流两种结构较为简单的流场的计算误差与WIDIM相近，且随着流场复杂程度的增加，Mask-PIV-LiteFlowNet与WIDIM计算误差的差距逐渐增大，尤其是在DNS-turbulent以及SQG两种复杂流场时的计算误差远小于WIDIM方法，在计算后台阶流、圆柱绕流、JHTDB-channel流、DNS-turbulence和SQG五种流场时的均方根误差分别降低了21.6%、26.2%、25.0%、60.2%和71.4%。从表中也可以发现Mask-PIV-LiteFlowNet相比于PIV-LiteFlowNet-en在计算均匀流、后台阶流、圆柱绕流、JHTDB-channel流、DNS-turbulence和SQG六种流场时的均方根误差分别降低了29.3%、32.5%、19.7%、16.5%、18.5%和14.5%。

为了探寻Mask-PIV-LiteFlowNet误差降低的原因，下面将从流场可视化的角度进行说明。本节使用楔形体入水图像制作的“带结构物”的粒子图像，并选择表2中误差最高的SQG流场作为基准进行误差可视化比较，可视化平方根误差为

(13)

式中，u^e_x，y和v^e_x，y为位于点（x，y）处预测的水平和竖直速度值，u^t_x，y，v^t_x，y位于点（x，y）处真实的水平和竖直值。该指标表征不同位置处的预测速度场和真实速度场的平方根误差。

流场可视化结果如图6所示，其中完整的粒子图像如图6（a）所示，图像中粒子的参数如表3所示，参数的设置参考了文献[14]中的设置。遮挡图像如图6（b）所示，完整的SQG流场真值如图6（c）所示，从图中可以看到流场中存在多个较为明显的漩涡。使用图4中的方法制作的“带结构物”的粒子图像如图6（d）所示，Mask-PIV-LiteFlowNet输出的掩模结果如图6（e）所示，在图中蓝色区域代表液相区域，红色代表非液相区域，在速度云图中该区域速度值为0。可以发现分割边界严格按照气液、固液相位边界分布，并且对液体飞溅区域进行了掩模。

图6（f）为部分遮挡的SQG流场速度场真值可视化结果。WIDIM、Mask-PIV-LiteFlowNet和PIV-LiteFlowNet-en的平方根误差分布如图6（g）~（i）所示，从图6（g）中红色圆圈区域可以看到WIDIM的计算结果中存在较多的高误差区域，并且这些高误差区域多集中在速度数值较大且速度剪切率较大的小尺度旋涡位置（如图6（f）中红色圆圈所示）。而Mask-PIV-LiteFlowNet和PIV-LiteFlowNet-en在这些小尺度涡结构区域误差较低，这是由于两种具有稠密速度场估计能力的算法能够提取复杂流场中的流动细节。在图6（i）黄色圆圈区域中可以发现，PIV-LiteFlowNet-en的计算结果在掩模边界位置存在明显的计算错误，并且错误速度场延伸到液相区域（黄圈左端），而Mask-PIV-LiteFlowNet的计算结果的掩模边界位置的错误较少，这说明Mask-PIV-LiteFlowNet结构能够减少相位边界速度场计算发生错误的现象，从而降低平均计算误差。

对三种算法的计算时间进行了测试，结果如表4所示。测试采用1000张分辨率为256×256像素的粒子图像，输出500个速度场。其中PIV-LiteFlowNet-en和Mask-PIV-LiteFlowNet采用GPU并行加速计算，WIDIM采用CPU进行计算。从表4可以发现，Mask-PIV-LiteFlowNet在同时进行掩模和速度场计算两项工作时，处理1000张粒子图像耗时57.7 s，比PIV-LiteFlowNet-en少了5.7%。

3.2　楔形体入水两相流PIV实验图像速度场计算结果分析

为测试Mask-PIV-LiteFlowNet算法用于实际粒子图像速度场计算的性能，本节使用楔形体入水PIV实验图像进行测试，实验设置在文献[23]中有详细介绍，选择楔形体下落高度15 cm、接触水面后10 ms时的粒子图像进行进行计算。WIDIM方法实验设置如下：掩模采用Mask-PIV-LiteFlowNet掩模输出结果（如图7（a）所示），计算采用三重迭代窗口，窗口尺寸为64×64 pixel、32×32 pixel和16×16 pixel，窗口重叠率为50%，最小步长为8 pixel，并保证最小迭代窗口中具有10个左右粒子，且速度场最大值小于1/4最小迭代窗口尺寸^[7]。使用PIVlab内置的预处理程序对粒子图像进行了直方图均衡化，高通滤波预处理，对速度场计算结果进行了平滑。

Mask-PIV-LiteFlowNet自动掩模结果如图7（a）所示，数值模拟结果的速度云图等值线如图7（b）所示。由于楔形体入水现象较为简单且具有丰富的理论基础，文献的作者进行了8.2×10⁶网格数量的数值模拟并证明了模拟结果的正确性，因此本节使用该模拟结果作为基准进行分析^[23，28-29]。WIDIM和Mask-PIV-LiteFlowNet计算结果的速度云图等值线如图7（c）、（d）所示，从速度极大值和速度场的分布两个方面对两种算法计算结果进行对比分析。图7（b）、（c）、（d）的红圈处位于楔形体外侧流体堆积根部射流区域，速度等值线较为密集，速度梯度较大。模拟结果（图7（b））射流处的极大值超过了2.0 m/s，并且Mask-PIV-LiteFlowNet的计算结果（图7（d））中的速度极大值同样超过了2.0 m/s，在WIDIM的计算结果（图7（c））中出现了速度极大值明显低于模拟结果的现象。Mask-PIV-LiteFlowNet计算结果（如图7（d）红圈所示）的速度极大值的位置与模拟结果（图7（b））中速度极大值所处位置相同，都位于楔形体外侧的流体堆积根部射流区域。在WIDIM的计算结果中（图7（c）），速度极大值位置向楔形体内侧发生了明显的偏移，并且相较于图7（c），图7（d）的1.2 m/s、0.8 m/s，0.4 m/s速度等值线的位置与图7（b）更为接近。

以上两点表明，Mask-PIV-LiteFlowNet的计算结果与数值模拟结果具有更好的一致性，说明其在计算速度梯度较大且流动结构尺度较小的流场时结果更加精确，模型能够展现更为准确的流动细节。

4　结语

收起

文中提出了一种PIV实验图像遮挡区域掩模及剩余区域速度场计算一体化的深度学习模型Mask-PIV-LiteFlowNet，模型在经典的光流估计算法LiteFlowNet的基础上增加了掩模生成模块，并根据掩模输出对光流估计金字塔的逐层结果进行非液相区域速度场清零，并在模型输出层对速度场进行了正则化。制作了带结构物的人工合成粒子图像-速度场数据集对算法进行测试，结果表明算法能够对PIV粒子图像中的固体结构物、自由液面及液滴飞溅等目标进行掩模，并且算法具有较高的精度和计算空间分辨率，应用于具有小尺度复杂流动结构的速度场计算时具有更大的优势，并能有效改善掩模边界位置速度场计算错误的现象。Mask-PIV-LiteFlowNet在同时完成非液相区域掩模和液相速度场计算的情况下，计算耗时相较于PIV-LiteFlowNet-en减少了5.7%。最后使用物体入水PIV实验图像对提出的算法进行了对比测试，证明了该算法能够用于多种场景的PIV计算。本文提出的方法为深度学习粒子图像测速算法应用于船舶与海洋工程领域的复杂流动现象的测量提供了解决思路，具有广阔的应用前景。

基金

收起

中央高校基本科研业务费项目(3072020CFT0104)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Jeon

Y J

, Gomit

, Earl

, et al. Sequential least-square reconstruction of instantaneous pressure field around a body from TR-PIV[J]. Experiments in Fluids, 2018, 59(2): 27.

[2]

Wang

, Wang

, Lu

. PIV measurements of the cross flow induced by a wrapped wire spacer[J]. Annals of Nuclear Energy, 2020, 146: 107634.

[3]

Mitsugi

, Kusumegi

, Nishida

, et al. Visualization of plasma-induced liquid flow using KI-starch and PIV[J]. IEEE Transactions on Plasmaence, 2020, 99: 1-6.

[4]

Vennemann

, Rsgen

. A dynamic masking technique for particle image velocimetry using convolutional autoencoders[J]. Experiments in Fluids, 2020, 61(7): 1-11.

[5]

Chun

Y G

, Yi

W F

, Yang

, et al. Deep-learning-based liquid extraction algorithm for particle image velocimetry in two-phase flow experiments of an object entering water[J]. Applied Ocean Research, 2021, 108(6): 102526.

[6]

Sanchis

, Jensen

. Dynamic masking of PIV images using the Radon transform in free surface flows[J]. Experiments in Fluids, 2011, 51(4): 871-880.

[7]

Scarano

. Iterative image deformation methods in PIV[J]. Measurement Science & Technology, 2002, 13(13): R1.

[8]

Wieneke

, Pfeiffer

. Adaptive PIV with variable interrogation window size and shape[C]//The 15th International Symposia on Applications of Laser Techniques to Fluid Mechanics, 2010.

[9]

Wang

H P

, Gao

, Wang

S Z

, et al. Error reduction for time-resolved PIV data based on Navier-Stokes equations[J]. Experiments in Fluids, 2018, 59: 1-21.

[10]

Esteva

, Chou

, Yeung

, et al. Deep learning-enabled medical computer vision[J]. NPJ Digital Medicine, 2021, 4(1): 5.

[11]

Zhai

, Xiang

, Lü

, et al. Optical flow and scene flow estimation: A survey[J]. Pattern Recognition, 2021, 114(3):107861.

[12]

Rabault

, Kolaas

, Jensen

. Performing particle image velocimetry using artificial neural networks: A proof-of-concept[J]. Measurement Science & Technology, 2017, 28(12): 125301.

[13]

Lee

, Yang

, Yin

. PIV-DCNN: Cascaded deep convolutional neural networks for particle image velocimetry[J]. Experiments in Fluids, 2017, 58(12): 171.

[14]

Cai

, Liang

, Gao

, et al. Particle image velocimetry based on a deep learning motion estimator[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(6): 3538-3554.

[15]

Thielicke

, Stamhuis

E J

. PIVlab-towards user-friendly, affordable and accurate digital particle image velocimetry in MATLAB[J]. Journal of Open Research Software, 2014, 2(1): 30.

[16]

Hui

, Tang

, Loy

. LiteFlowNet: A lightweight convolutional neural network for optical flow estimation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8981-8989.

[17]

Long

, Shelhamer

, Darrell

. Fully convolutional models for semantic segmentation[C]//CVPR. 2015.

[18]

Horn

B K P

, Schunch

B G

. Determining opticla flow[J]. Proceedings of SPIE, 1981, 0281: 319-331.

[19]

Santurkar

, Tsipras

, Ilyas

, et al. How does batch normalization help optimization?[J]. Advances in Neural Information Processing Systems, 2018, 31.

[20]

Soomro

T A

, Afifi

A J

, Gao

, et al. Strided U-net model: Retinal vessels segmentation using dice loss[C]//2018 Digital Image Computing: Techniques and Applications (DICTA), 2018.

[21]

Kingma

D P

, Ba

. Adam: A method for stochastic optimization[J]. Computer Science, 2014: 1412-6980.

[22]

Jacobson

, Reichman

, Bjornstad

, et al. Reliable training of convolutional neural networks for GPR-based buried threat detection using the Adam optimizer and batch normalization[C]//Detection and Sensing of Mines, Explosive Objects, and Obscured Targets XXIV, 2019.

[23]

佘文轩. 物体入水问题的流场诊断技术与Time-resolved PIV分析[D]. 哈尔滨：哈尔滨工程大学，2019.

She

Wenxuan

. Flow field diagnosis technology and time-resolved PIV analysis of objects entering water[D]. Harbin: Harbin Engineering University, 2019. (in Chinese)

[24]

, Perlman

, Wan

, et al. A public turbulence database cluster and applications to study Lagrangian evolution of velocity increments in turbulence[J]. Journal of Turbulence, 2008, 9(31): N31.

[25]

Carlier

. Second set of fluid mechanics image sequences[J]. European Project Fluid Image Analysis and Description (FLUID), 2005: 0018-9456.

[26]

Resseguier

, Mémin

, Chapron

. Geophysical flows under location uncertainty, Part II: Quasigeostrophic models and efficient ensemble spreading[J]. Geophysical & Astrophysical Fluid Dynamics, 2017, 111(3): 177-208.

[27]

Sun

, Yang

, Liu

M Y

, et al. PWC-Net: CNNs for optical flow using pyramid, warping, and cost volume[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.

[28]

佘文轩，郭春雨，周广利，等. 楔形体入水的时间解析-粒子图像测速测试及数值研究[J]. 上海交通大学学报，2020，54(08): 839-848.

She

Wenxuan

, Guo

Chunyu

, Zhou

Guangli

, et al. Time analysis of wedge entering water—Particle image velocimetry test and numerical study[J]. Journal of Shanghai Jiao Tong University, 2020, 54(08): 839-848.

[29]

佘文轩，周广利，郭春雨，等. 楔形体入水砰击问题研究与流场结构演变的POD分析[J]. 中国造船，2019，60(02): 36-49.

She

Wenxuan

, Zhou

Guangli

, Guo

Chunyu

, et al. Research on wedge body slamming into water and POD analysis of flow field structure evolution[J]. Shipbuilding of China, 2019, 60(02): 36-49.

2024年第28卷第3期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.1007-7294.2024.03.006

接收时间：2023-09-14
首发时间：2026-03-21
出版时间：2024-03-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-09-14

基金

中央高校基本科研业务费项目(3072020CFT0104)

作者信息

^1a.哈尔滨工程大学　船舶工程学院，哈尔滨　150001

^1b.哈尔滨工程大学　信息通信学院，哈尔滨　150001

^2.中央民族大学　信息工程学院，北京　100081

通讯作者:

通讯作者，E-mail：hanyang@hrbeu.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/cblx/CN/10.3969/j.issn.1007-7294.2024.03.006

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

结构物形式	训练集数量	测试集数量	流场形式	概述	训练集速度场数量	测试集速度场数量
楔形体入水	60	50	均匀流（如图5（a））	流场中所有速度值保持一致。	1000	500
后台阶流动（如图5（b））	论文中公开的后台阶流动数据，Re=800~1500^[14]。	3000	500
圆柱绕流流场（如图5（c））	论文中公开的圆柱绕流流场数据，Re=40~400^[14]。	3000	500
船艏入水	240	50	JHTB-channel（如图5（d））	Johns Hopkins Turbulence公开数据集^[24]。	3000	500
DNS-turbulence（如图5（e））	各向同性自由湍流流场公开数据集（DNS-turbulence，简称DNS）^[25]。	2000	500
Surface Quasi-Geostrophic（如图5（f））	海洋表面流场仿真模型公开数据集（Surface Quasi-Geostrophic，简称SQG）^[26]。	3000	500

结构物形式

训练集数量

测试集数量

流场形式

概述

训练集速度场数量

测试集速度场数量

楔形体入水

均匀流（如图5（a））

流场中所有速度值保持一致。

1000

500

后台阶流动（如图5（b））

论文中公开的后台阶流动数据，Re=800~1500^[14]。

3000

500

圆柱绕流流场（如图5（c））

论文中公开的圆柱绕流流场数据，Re=40~400^[14]。

3000

500

船艏入水

240

JHTB-channel（如图5（d））

Johns Hopkins Turbulence公开数据集^[24]。

3000

500

DNS-turbulence（如图5（e））

各向同性自由湍流流场公开数据集（DNS-turbulence，简称DNS）^[25]。

2000

500

Surface Quasi-Geostrophic（如图5（f））

海洋表面流场仿真模型公开数据集（Surface Quasi-Geostrophic，简称SQG）^[26]。

3000

500

模型	流场形式
WIDIM^[5]	0.0262	0.0412	0.0721	0.0823	0.3070	0.4392
Mask-PIV-LiteFlowNet	0.0279	0.0323	0.0532	0.0617	0.1221	0.1256
PIV-LiteFlowNet-en^[19]	0.0396	0.0479	0.0663	0.0739	0.1448	0.1474

模型

流场形式

Uniform

Back Step^[14]

Cylinder^[14]

JHTDB-channel^[24]

DNS-turbulence^[25]

SQG^[26]

WIDIM^[5]

0.0262

0.0412

0.0721

0.0823

0.3070

0.4392

Mask-PIV-LiteFlowNet

0.0279

0.0323

0.0532

0.0617

0.1221

0.1256

PIV-LiteFlowNet-en^[19]

0.0396

0.0479

0.0663

0.0739

0.1448

0.1474

参数	数值	单位
粒子直径	2~4	Pixels
粒子中心强度	200~255	Gray Value
粒子浓度	0.04	Particle Per Pixels
图像分辨率（宽，高）	（256，256）	Pixels

参数

数值

单位

粒子直径

2~4

Pixels

粒子中心强度

200~255

Gray Value

粒子浓度

0.04

Particle Per Pixels

图像分辨率（宽，高）

（256，256）

Pixels

名称	PIV-LiteFlowNet-en	WIDIM	Mask-PIV-LiteFlowNet
处理器	GPU	CPU	GPU
输入图像分辨率	256×256	256×256	256×256
输出速度场分辨率	256×256	31×31	256×256
计算时长（500个速度场）	61.2 s	224.9 s	57.7 s

名称

PIV-LiteFlowNet-en

WIDIM

Mask-PIV-LiteFlowNet

处理器

GPU

CPU

GPU

输入图像分辨率

256×256

输出速度场分辨率

256×256

31×31

256×256

计算时长（500个速度场）

61.2 s

224.9 s

57.7 s