船舶力学

图像尺寸与最大视差	FasterStereoCuda	SGBM
1280×1024，D=240 pixel	13.74 ms（72.78 fps）	1167.02 ms（0.86 fps）
808×608，D=160 pixel	5.80 ms（172.41 fps）	227.00 ms（4.41 fps）
720×540，D=140 pixel	4.76 ms（210.10 fps）	174.99 ms（5.71 fps）
640×512，D=120 pixel	3.63 ms（275.20 fps）	152.35 ms（6.56 fps）

图像尺寸与最大视差	FasterStereoCuda	SGBM
1280×1024，D=240 pixel	13.74 ms（72.78 fps）	1167.02 ms（0.86 fps）
808×608，D=160 pixel	5.80 ms（172.41 fps）	227.00 ms（4.41 fps）
720×540，D=140 pixel	4.76 ms（210.10 fps）	174.99 ms（5.71 fps）
640×512，D=120 pixel	3.63 ms（275.20 fps）	152.35 ms（6.56 fps）

测量方式	聚焦波	规则波
浪高仪	1.1337	36.07	0.7996	41.97
SGBM	1.1309	35.76	0.7991	42.37
FasterStereoCuda	1.1315	35.48	0.7995	41.12

测量方式	聚焦波	规则波
浪高仪	1.1337	36.07	0.7996	41.97
SGBM	1.1309	35.76	0.7991	42.37
FasterStereoCuda	1.1315	35.48	0.7995	41.12

基于双目立体视觉的实验室波浪场实时重建

PDF下载

李德玉 ¹ , 肖龙飞 ¹^,² , 魏汉迪 ¹^,²

船舶力学 | 流体力学 2024,28(10): 1463-1471

收起

船舶力学 | 流体力学 2024, 28(10): 1463-1471

基于双目立体视觉的实验室波浪场实时重建

全屏

李德玉¹, 肖龙飞¹^,², 魏汉迪¹^,²

作者信息

^1.上海交通大学　海洋工程国家重点实验室，上海　200240

^2.上海交通大学　三亚崖州湾深海科技研究院，海南　三亚　572024

李德玉（1999-），男，博士研究生

肖龙飞（1973-），男，教授，博士生导师，通讯作者，E-mail：xiaolf@sjtu.edu.cn。

通讯作者:

通讯作者，E-mail：xiaolf@sjtu.edu.cn

Real-time reconstruction of wave field in laboratory based on binocular stereo vision

De-yu LI¹, Long-fei XIAO¹^,², Han-di WEI¹^,²

Affiliations

^1.State Key Laboratory and Ocean Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

^2.SJTU Yazhou Bay Institute of Deepsea Sci-Tech, Sanya 572024, China

出版时间: 2024-10-20 doi: 10.3969/j.issn.1007-7294.2024.10.001

文章导航

摘要

收起

准确测量波浪场演化对于海洋结构物的水动力研究十分重要。本文基于双目立体视觉建立了一套用于测量室内波浪的图像识别方法，以轻质泡沫作为示踪粒子标记波面以获得具有丰富纹理的波面图像，根据极线约束矫正图像，使用阈值分割避免光照不均和水底反射的干扰，使用GPU加速的立体视觉匹配算法，实现波浪图像的实时立体匹配，重建出波面的三维点云与网格模型。通过对图像序列的重建，提取出的波浪时历与浪高仪的测量结果基本一致，波高以及周期值的吻合性良好。结果表明，该方法可以准确测量实验室内的三维波浪场，捕捉瞬时波浪演化，并可提供实时的监控。

关键词

波浪测量 / 实时三维重建 / 双目视觉 / 立体匹配 / 图像处理

Abstract

收起

The accurate measurement of wave evolution is fundamental for the hydrodynamic studies of marine structures. An image-based method was proposed to measure waves in the laboratory based on binocular stereo vision. The light foam particles were used as trackers to mark wave surface for obtaining the wave images with sufficient textures. The images were rectified based on epipolar constraint, and threshold segmentation was used to avoid the interference of uneven light and bottom reflection. A stereo matching algorithm with GPU acceleration was used to achieve the real-time matching of wave images, obtaining the point cloud and mesh of the wave surface. Through the reconstruction of the image sequences, the wave time series, wave heights and periods were extracted. They were then compared with the measurements by wave probes, showing great agreements. The results indicate that the proposed method can accurately measure the 3D wave field in the laboratory, capturing the instantaneous evolution of wave and providing real-time monitoring.

Key words

wave measurement / real-time 3D reconstruction / binocular stereo vision / stereo matching / image processing

引用本文

李德玉, 肖龙飞, 魏汉迪. 基于双目立体视觉的实验室波浪场实时重建. 船舶力学, 2024 , 28 (10) : 1463 -1471 . DOI: 10.3969/j.issn.1007-7294.2024.10.001

De-yu LI, Long-fei XIAO, Han-di WEI. Real-time reconstruction of wave field in laboratory based on binocular stereo vision[J]. Journal of Ship Mechanics, 2024 , 28 (10) : 1463 -1471 . DOI: 10.3969/j.issn.1007-7294.2024.10.001

正文

收起

0　引言

收起

在波浪水池实验中，波浪的准确测量至关重要。浸入式浪高仪是最常见的波浪测量仪器，适合于单点波浪测量，难以获得整个波面的三维信息，而且多个浪高仪的布置也会对待测波浪场产生干扰。

基于双目立体成像的波浪测量方法是近年来兴起的一种非浸入式波浪测量方法，已经被成功应用于海上波浪测量^[1-4]。然而，在将其应用于室内水池波浪测量时遇到了很多困难。对于海上波浪，风的扰动和足够远的拍摄距离使得海上波浪面可以看作为朗伯面^[5]。但是，在室内的测量中，水表面的镜面反射和水底的景物反射使得图像难以获得水面的有效特征。因此，必须在水面添加纹理特征作为水面的一种物理表征。Mozumi等^[6]使用轻质的标记网来可视化水气界面，使用直接线性变换方法来重建三维波面；Molfetta等^[7]将浮子系泊于水池底，通过追踪浮子在左右图像中的位置来完成立体匹配，以获取波面时历；李继磊等^[8]在激光阵列的辅助下，基于双目视觉在波浪水槽中测量了规则波圆柱绕射波面，与电容式浪高仪测量结果对比，波高和周期均吻合良好；梁海香^[9]利用投影仪向水面投影网格图像以增加水面特征，并使用SIFT特征点立体匹配算法实现了波面的三维重建；冯笑冰等^[10]基于双目摄像头获得的深度图像序列，通过帧间点云追踪算法计算速度场来优化深度图像，实现了室外波浪的三维重建。

图像处理效率也是限制双目立体视觉在波浪测量领域应用的重要原因。基于双目视觉的三维重建是复杂的图像处理过程，会占用大量计算资源和存储资源。目前对实时双目视觉的需求，主要集中在自动驾驶领域^[11]和遥感领域^[12]。但使用双目视觉来测量波浪，实时监督波浪场的动态变化也是很有必要的。特别是在高速摄像和长时间实验测量中，如果将所有的图像都加以保存，那么后续的处理将耗费大量的计算资源和存储资源，而波浪场的实时重建有助于实现实时监控，可有选择地保留感兴趣的图像数据，大幅减少后续处理的工作量。

本文基于双目立体视觉方法，使用轻质的泡沫颗粒作为波面人工特征，获取波浪水槽内的规则波和聚焦波图像序列，使用实时立体匹配算法执行双目图像匹配，进而重建三维波面，并将提取的波浪时历与浪高仪的测量结果进行验证。

1　立体视觉测量方法

收起

双目立体视觉本质上是三角测量的过程。双目系统由两个相机组成，对测量对象进行同步成像。基于相机标定结果对左右图像进行畸变矫正和极线矫正，然后采用立体匹配算法对矫正后的左右图像进行匹配，搜索同源像素，构成三角测量，获取深度信息，实现三维重建。

1.1　相机模型与标定

针孔相机模型^[13]通常用来近似实际的透镜相机模型。假设目标点P在全局坐标系里的坐标为(X，Y，Z)，在相机坐标系里的坐标为(X_C，Y_C，Z_C)，在像平面坐标系的坐标为(x，y)，以及在像素坐标系下的坐标为(u，v)，则P点在针孔相机模型的成像如式（1）所示。

（1）

式中，I是相机的内参数矩阵；E是相机相对于全局坐标系的外参数矩阵，由旋转矩阵R和位移向量T组成；f_x和f_y是相机分别沿x和y方向的焦距；（u₀，v₀）是图像的主点坐标。这里Z_C也被称为尺度因子，是单目相机难以进行三维测量的一个重要原因。

相机的标定过程参照张氏标定法^[14]，通过拍摄不同位置的棋盘格图像，获取相机的内外参数。本文采用的畸变模型包含三系数的径向畸变（k₁，k₂，k₃)和二系数的切向畸变（p₁，p₂)。

1.2　双目测量原理

双目系统由两个相机组成，其相对位姿需要标定，获得两个相机坐标系之间的本征矩阵。基于本征矩阵可对左右图像进行极线矫正^[15]。所谓极线矫正是根据对极几何原理对左右图像的成像平面进行统一，使两个像平面共面且平行于基线。矫正后左右图像的同源像素点都处在同一像素行，极大降低了后续立体匹配的复杂度，简化了三角测量模型。极线矫正后的双目立体成像模型（二维）如图1所示。图中，f为焦距，B为基线，Z_C也称深度（depth）。根据相似三角形可推算深度Z_C为

（2）

式中，d = u_R - u_L是左右图像中同源点的u向坐标差，也被称为视差（disparity）。

1.3　立体匹配算法

半全局立体匹配算法（semi-global matching，SGM）^[16]是传统双目立体视觉领域最常用的算法之一。对于经过极线矫正的、具有重叠视场的左右图像，SGM可以计算得到重叠视场的稠密视差图，从而完成重叠视场的稠密三维重建。

匹配代价的计算是立体匹配的第一步，通常设定一个固定的视差搜索范围D（d_min~d_max），计算得到三维代价空间C（W×H×D）。代价计算的常用方法有互信息方法、Census变换等。第二步是代价聚合，考虑全局相关性，克服噪声的影响。SGM定义了全局能量函数E（d），但是该能量函数最小化是一个NP完全问题。因此以多路径的动态规划来近似这个二维优化，路径数量越多，聚合效果越好，但计算量也越大。第三步是视差计算，根据聚合后的代价使用赢者通吃策略（WTA）获得最优视差。最后是视差优化，常用的优化方法有左右一致性检查、剔除小连通域和亚像素优化。

所应用的实时立体匹配算法FasterStereoCuda^[12]针对SGM的四个步骤分别设计基于CUDA的并行优化算法，最大化地利用GPU上千个核心并行计算，充分使用共享内存优化储存效率。基于CUDA进行分层匹配，进一步提高了匹配效率。为衡量双目立体视觉测量结果的准确性，将实时算法的重建结果与浪高仪的结果进行对比。同时，采用OpenCV提供的SGBM（semi-global block matching）算法来处理图像数据，与实时算法做对比，分析计算效率和匹配质量。

2　测波实验与图像预处理

收起

2.1　实验布置

用于测波实验的波浪水槽长为14 m，宽为1 m，高为1.2 m，实验水深为0.8 m，配置有摇板式造波机和消波滩，实验装置的布置情况如图2和图3所示。双目系统布置于水面上方约0.7 m处，由两个130万像素的工业相机组成，镜头焦距为6 mm。实验使用的聚苯乙烯泡沫颗粒直径为0.5~1.0 mm，密度为0.015~0.030 g/cm³，远小于水的密度，对波浪水动力性能的影响可以忽略。波浪开始前，将粒子均匀洒在水面上，尽可能涵盖整个测量区域。粒子的分布密度应该尽量保持均匀，避免出现大面积的无纹理区域。实验中，为避免水底景物的反射和波浪面的镜面反射，调整光源在水槽一侧水平布置，与水线同高，这样就避免了对测量区域的直接照明，从而减少了反射对成像的干扰。

实验数据采集之前需要对双目相机进行标定，标定板为12×9的黑白棋盘格，标定过程参照张氏标定法。

2.2　波浪模拟与图像预处理

实验模拟了聚焦波和规则波。聚焦波谱峰周期T_p=1.14 s，最大波幅A_max=40.7 mm，持续时间约为40 s；规则波周期T=0.80 s，波陡H/λ=0.04，持续时间约为60 s。实验开始前将泡沫颗粒均匀撒在水面上，波浪图像的采集帧率为50 fps，通过内触发的方式实现左右相机的帧同步。浪高仪布置于相机视野右侧，获取波浪时历以验证图像测量结果的精度。实验中不可避免地有粒子附着在浪高仪上，导致测量的波浪时历存在一些高频毛刺，在数据处理时，对波浪时历进行低通滤波可滤除这些毛刺。

在进行立体匹配前，需要对获得的左右图像进行预处理，包括畸变矫正、极线矫正和阈值分割。预处理过程如图4所示，原始图像为灰度图像。基于双目相机标定的结果，对原始图像做了畸变矫正和极线矫正，矫正后左右图像的同源点处在同一条水平线上。然后应用阈值分割，滤去水底景物反射和光照不均的干扰。

3　结果分析

收起

3.1　实时测量结果

采用两种立体匹配算法对预处理后的图像进行立体匹配，得到视差图如图5所示。由图可见，相比于SGBM的视差图，FasterStereoCuda的匹配结果存在很多的孔洞。这是因为两个算法在执行代价聚合时动态规划的路径数目不同，SGBM算法使用了8个路径的动态规划，而FasterStereoCuda为提高效率仅采用了4个路径的动态规划。实验中，泡沫粒子在表面张力的作用下会聚集成块，因此所获得的波浪图像不可避免地存在低纹理区域，但考虑到波面的光滑性和连续性，低纹理区域的视差值可从邻近高纹理区域外推得到。但大面积的无纹理区域的视差估算是困难的，动态规划的路径数目对低纹理区域的视差外推有较大的影响，FasterStereoCuda算法采用较少的路径数目，因此减弱了对无纹理区的视差推理能力，会导致视差图出现孔洞或局部的翘曲。因此，实验中应尽量保证粒子播撒均匀并覆盖整个测量区域。当然，粒子的播撒密度，即粒子稠密度，对测试结果的定量影响如何，有待进一步研究。

视差与深度之间的换算关系如式（2）所示，视差图不便于观察，在监测波浪的时候可选择将其转换为深度图，并且减去静水面的初始深度值，实时获得水面高程图。图6为图5中两个时刻的波浪图像对应的波面高程图。

3.2　实时性分析

为验证所用立体匹配算法FasterStereoCuda的实时性，对不同分辨率的波浪图像进行匹配效率的对比测试。硬件配置为：CPU为AMD Ryzen 7 5800X，GPU为NVIDIA GeForce RTX 3060，CUDA版本为11.4.177。测试结果如表1所示，GPU加速FasterStereoCuda算法的效率是SGBM的数十倍。

表1中的图像尺寸对应了常用的工业相机的分辨率，分别是130万、50万、40万和30万像素；D是最大视差搜索范围，是算法参数之一，直接影响图像匹配耗时。FasterStereoCuda相对于SGBM，在匹配效率上有巨大的优势，可以满足高速摄像实时重建的需要。特别是，波浪与结构物的强非线性作用常常是瞬时发生的，实时重建波浪场有助于实时观察其演化特征，并可及时作出反馈响应。

3.3　后处理分析

基于获得的稠密视差图，可根据式（3）将其重建为三维点云：

（3）

式中，（u₀ - u^′₀）是左右图像主点的水平坐标差，获得的点云坐标仍处在相机坐标系下。

然后可对点云进行更精细的后处理，首先降采样减少点云数量以降低后续计算量，根据统计值移除离群点，再使用移动最小二乘法对点云作重采样和平滑处理。最后是坐标系的转换，根据采集的静水面图像重建得到静水面在相机坐标系下的平面方程，定义其为全局坐标系的XOY平面，法线方向为Z轴方向，竖直向上为正。经过处理和坐标转换的点云除个别孔洞外，整体上是光滑且连续的。然而这些点云是离散的，使用球旋法^[17]（ball pivoting algorithm）为这些离散点构建三角网格，获得曲面模型以实现波面的重建，一些较大的孔洞也得以填充，如图7所示。

相邻时刻的波面点云可以拼接以获得完整的波形，以便更好地分析波浪的空间演化。应用迭代最近点（iterative closest point，ICP）算法^[17]进行点云拼接，结果如图8（a）所示，其纵向剖面形状如图8（b）所示，与图中五阶Stokes波的理论波形相比，两者吻合良好。因此，双目视觉方法可以准确获取波浪场的空间信息，也有望测量更加复杂的三维波浪场。

对波浪的图像序列进行处理，获得每一帧的波面点云，可以从中提取出波浪在某一固定坐标处的时历曲线。将FasterStereoCuda算法结果与SGBM算法结果进行对比，如图9所示，其中图9（a）是聚焦波时历，图9（b）是规则波时历，均以浪高仪测量结果为参照标准，由图可见，FasterStereoCuda和SGBM的测量结果都与浪高仪结果基本一致。

表2对比了不同方法测量的波浪时历的统计值，包括聚焦波的谱峰周期T_p和最大幅值A_max，规则波的平均周期

和平均波高

。两个算法对周期的测量都是极为准确的，相对误差小于0.5%。波高或波幅的相对误差小于3%，因其测量等价于深度的测量，会受到多方面因素的影响，如像素的离散误差、相机标定误差和算法匹配误差等。整体来看，两个算法在测量精度上差距不大，均与浪高仪结果吻合较好，但在实时性上，FasterStereoCuda具有巨大的优势。

4　结语

收起

基于双目立体视觉和图像处理，构建了一套基于图像识别的实验室内波浪场实时三维重建方法。以轻质泡沫作为示踪粒子标记波面，实时立体匹配算法可根据采集的左右图像实时获得波浪图像的视差图和深度图，可为实验提供实时的观测。通过对实时匹配算法的匹配效率测试，表明其足以满足常用工业相机的帧率要求。然后对重建结果进行更精细的后处理，视差图转换为三维点云，并重构了波面的曲面模型。通过点云拼接，获得了完整的规则波波形，与理论波形吻合良好。通过对图像序列的处理，提取出波浪时历，与浪高仪测量结果基本一致。波高测量误差小于3%，周期测量误差小于0.5%，表明该方法在实验室环境下，具备对波浪场时空演化的准确测量能力，并可提供实时监控，进一步改进后有望用于测量更加复杂的三维波浪场。

基金

收起

国家自然科学基金资助项目(52031006; 51879158)
浦东新区科技发展基金资助项目(PKX2020-R05)
上海市扬帆计划项目(20YF1419800)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Benetazzo

. Measurements of short water waves using stereo matched image sequences[J]. Coastal Engineering, 2006, 53(12): 1013-1032.

[2]

De Vries

, Hill

D F

, De Schipper

M A

, et al. Remote sensing of surf zone waves using stereo imaging[J]. Coastal Engineering, 2011, 58(3): 239-250.

[3]

Bechle

A J

, Wu

C H

. Virtual wave gauges based upon stereo imaging for measuring surface wave characteristics[J]. Coastal Engineering, 2011, 58(4): 305-316.

[4]

Benetazzo

, Fedele

, Gallego

, et al. Offshore stereo measurements of gravity waves[J]. Coastal Engineering, 2012, 64:127-138.

[5]

Lavieri

R S

, Tannuri

E A

, de Mello

P C

. Image-based measurement system for regular waves in an offshore basin[J]. Journal of the Brazilian Society of Mechanical Sciences and Engineering, 2020, 42(6): 1-17.

[6]

Mozumi

, Waseda

, Chabchoub

. 3D stereo imaging of abnormal waves in a wave basin[C]//International Conference on Offshore Mechanics and Arctic Engineering, American Society of Mechanical Engineers, 2015, 56499: V003T02A027.

[7]

Molfetta

M G

, Bruno

M F

, Pratola

, et al. A sterescopic system to measure water waves in laboratories[J]. Remote Sensing, 2020, 12(14): 2288.

[8]

李继磊，郭晓宇，王本龙. 基于激光阵列辅助的波面立体视觉测量[J]. 力学季刊，2017，38（3）：420-427.

Jilei

, Guo

Xiaoyu

, Wang

Benlong

. Stereo photography measurement of wave surface with laser beams[J]. Chinese Quarterly of Mechanics, 2017, 38(3): 420-427. (in Chinese)

[9]

梁海香. 双目立体视觉的波浪表面重建[J]. 无线电工程，2019，49（8）：678-682.

Liang

Haixiang

. Reconstruction of wave surface based on binocular stereo vision[J]. Radio Engineering, 2019, 49(8): 678-682.(in Chinese)

[10]

冯笑冰，朱登明，王兆其. 基于深度图的水面重建[J]. 高技术通讯，2020，30（3）：223-232.

Feng

Xiaobing

, Zhu

Dengming

, Wang

Zhaoqi

. Depth image based fluid reconstruction[J]. Chinese High Technology Letters, 2020, 30(3): 223-232. (in Chinese)

[11]

Long

, Xie

, Mita

, et al. A real-time dense stereo matching method for critical environment sensing in autonomous driving[C]//17th International IEEE Conference on Intelligent Transportation Systems (ITSC), IEEE, 2014: 853-860.

[12]

李迎松. 摄影测量影像快速立体匹配关键技术研究[D]. 武汉：武汉大学，2018.

Yingsong

. Research on key techniques of fast stereo matching for photogrammetric images[D]. Wuhan: Wuhan University, 2018. (in Chinese)

[13]

Hartley

, Zisserman

. Multiple view geometry in computer vision[M]. Cambridge University Press, 2003.

[14]

Zhang

. Flexible camera calibration by viewing a plane from unknown orientations[C]//Proceedings of the Seventh IEEE International Conference on Computer Vision, IEEE, 1999, 1: 666-673.

[15]

Szeliski

. Computer vision: Algorithms and applications[M]. Springer Science & Business Media, 2010.

[16]

Hirschmuller

. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(2): 328-341.

[17]

Zhou

Q Y

, Park

, Koltun

. Open3D: A modern library for 3D data processing[DB/OL]. http://doi.org/10.48550/arXiv:1801.09847, 2018.

2024年第28卷第10期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.1007-7294.2024.10.001

接收时间：2024-04-26
首发时间：2026-03-26
出版时间：2024-10-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-04-26

基金

国家自然科学基金资助项目(52031006; 51879158)

浦东新区科技发展基金资助项目(PKX2020-R05)

上海市扬帆计划项目(20YF1419800)

作者信息

^1.上海交通大学　海洋工程国家重点实验室，上海　200240

^2.上海交通大学　三亚崖州湾深海科技研究院，海南　三亚　572024

通讯作者:

通讯作者，E-mail：xiaolf@sjtu.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/cblx/CN/10.3969/j.issn.1007-7294.2024.10.001

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

测量方式	聚焦波		规则波
测量方式	T_p/s	A_max/mm
浪高仪	1.1337	36.07	0.7996	41.97
SGBM	1.1309	35.76	0.7991	42.37
FasterStereoCuda	1.1315	35.48	0.7995	41.12