光电工程

Patch size /px	Sliding window stride /px	Training stage (Epoch)	Learning rate (Adam)
64×64	32	Epoch 1–20	5e-4
96×96	48	Epoch 21–35	3e-4
128×128	64	Epoch 36–50	1e-4、1e-5

Patch size /px	Sliding window stride /px	Training stage (Epoch)	Learning rate (Adam)
64×64	32	Epoch 1–20	5e-4
96×96	48	Epoch 21–35	3e-4
128×128	64	Epoch 36–50	1e-4、1e-5

Sensor	Intrinsics (f_x, f_y) /px; (c_x, c_y) /px	Extrinsics ${\boldsymbol{R}} $ /-; ${\boldsymbol{T}} $/mm	Reprojection errors e_rms /px	Distortion coefficients /-Radial (k₁, k₂, k₃); Tangential (p₁, p₂) ×10⁻³
Left camera	(3637.76, 3637.73); (1231.40, 999.93)	$ {\boldsymbol{R}}_{\mathrm{l}}=I \quad {\boldsymbol{T}}_{\mathrm{l}}=0 $	0.070	(−0.0956, 0.2725, −0.9394); (−1.300, −1.100)
Right camera	(3628.19, 3629.24); (1197.52, 1012.36)	$ {\boldsymbol{R}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9258 & -0.0274 & -0.3768 \\-0.0151 & 0.9938 & -0.1096 \\0.3775 & 0.1072 & 0.9197\end{array}\right] \quad{\boldsymbol{ T}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}67.4552 \\-58.2165 \\187.9625\end{array}\right]$	0.070	(−0.1155, 0.7025, −4.0291); (−0.1853, −0.5346)
Projector	(1113.33, 2224.74); (449.20, 1158.62)	$ {\boldsymbol{R}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9649 & 0.0450 & -0.2586 \\-0.0260 & 0.9967 & 0.0766 \\0.2612 & -0.0672 & 0.9629\end{array}\right] \quad {\boldsymbol{T}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}-76.9133 \\-64.9604 \\173.2837\end{array}\right]$	0.045	(0.0273, 0.0048, −0.5186); (−2.800, −0.700)

Sensor	Intrinsics (f_x, f_y) /px; (c_x, c_y) /px	Extrinsics ${\boldsymbol{R}} $ /-; ${\boldsymbol{T}} $/mm	Reprojection errors e_rms /px	Distortion coefficients /-Radial (k₁, k₂, k₃); Tangential (p₁, p₂) ×10⁻³
Left camera	(3637.76, 3637.73); (1231.40, 999.93)	$ {\boldsymbol{R}}_{\mathrm{l}}=I \quad {\boldsymbol{T}}_{\mathrm{l}}=0 $	0.070	(−0.0956, 0.2725, −0.9394); (−1.300, −1.100)
Right camera	(3628.19, 3629.24); (1197.52, 1012.36)	$ {\boldsymbol{R}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9258 & -0.0274 & -0.3768 \\-0.0151 & 0.9938 & -0.1096 \\0.3775 & 0.1072 & 0.9197\end{array}\right] \quad{\boldsymbol{ T}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}67.4552 \\-58.2165 \\187.9625\end{array}\right]$	0.070	(−0.1155, 0.7025, −4.0291); (−0.1853, −0.5346)
Projector	(1113.33, 2224.74); (449.20, 1158.62)	$ {\boldsymbol{R}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9649 & 0.0450 & -0.2586 \\-0.0260 & 0.9967 & 0.0766 \\0.2612 & -0.0672 & 0.9629\end{array}\right] \quad {\boldsymbol{T}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}-76.9133 \\-64.9604 \\173.2837\end{array}\right]$	0.045	(0.0273, 0.0048, −0.5186); (−2.800, −0.700)

Sample type	Processing method	PSNR/dB	SSIM	RMSE
Standard step block	Noisy	35.74	0.8909	0.0163
DnCNN	43.11	0.9654	0.0061
Plaster bust	Noisy	35.73	0.8892	0.0164
DnCNN	42.90	0.9627	0.0063
PCB	Noisy	35.71	0.8881	0.0166
DnCNN	42.69	0.9643	0.0062

Sample type	Processing method	PSNR/dB	SSIM	RMSE
Standard step block	Noisy	35.74	0.8909	0.0163
DnCNN	43.11	0.9654	0.0061
Plaster bust	Noisy	35.73	0.8892	0.0164
DnCNN	42.90	0.9627	0.0063
PCB	Noisy	35.71	0.8881	0.0166
DnCNN	42.69	0.9643	0.0062

Experiment setting	Input	SE module	Loss function	PSNR/dB	SSIM	RMSE
Original DnCNN	Single-channel (Noisy)	No	MSE	41.11	0.9442	0.0087
Improved-1	Dual-channel (Noisy+Filtered)	NO	MSE	42.16	0.9552	0.0072
Improved-2	Dual-channel (Noisy+Filtered)	YES	MSE	42.85	0.9632	0.0071
Improved-3 (final)	Dual-channel (Noisy+Filtered)	YES	MSE,SSIM and Edge	42.90	0.9627	0.0063

Experiment setting	Input	SE module	Loss function	PSNR/dB	SSIM	RMSE
Original DnCNN	Single-channel (Noisy)	No	MSE	41.11	0.9442	0.0087
Improved-1	Dual-channel (Noisy+Filtered)	NO	MSE	42.16	0.9552	0.0072
Improved-2	Dual-channel (Noisy+Filtered)	YES	MSE	42.85	0.9632	0.0071
Improved-3 (final)	Dual-channel (Noisy+Filtered)	YES	MSE,SSIM and Edge	42.90	0.9627	0.0063

Method	PSNR/dB	SSIM	RMSE
NLM	39.4	0.9253	0.0097
BM3D	40.5	0.9361	0.0090
BM3D-Net	40.9	0.9445	0.0087
DIVA	41.8	0.9540	0.0078
Our method	42.9	0.9627	0.0063

Method	PSNR/dB	SSIM	RMSE
NLM	39.4	0.9253	0.0097
BM3D	40.5	0.9361	0.0090
BM3D-Net	40.9	0.9445	0.0087
DIVA	41.8	0.9540	0.0078
Our method	42.9	0.9627	0.0063

Indicator	RMSE/mm	95% error/mm	Maximum error/mm	Point cloud density/(pts/mm²)
Noisy Point Cloud	0.7140	0.2376	13.65	180.22
Denoised Point Cloud	0.3774	0.1369	11.37	258.74
Representative Metrics	0.20-0.60	0.20-0.80	8-15	100-500

Indicator	RMSE/mm	95% error/mm	Maximum error/mm	Point cloud density/(pts/mm²)
Noisy Point Cloud	0.7140	0.2376	13.65	180.22
Denoised Point Cloud	0.3774	0.1369	11.37	258.74
Representative Metrics	0.20-0.60	0.20-0.80	8-15	100-500

Method	P (E>2 mm)/%	P (E>5 mm)/%
Noisy	0.72	0.22
Denoised	0.33	0.07

Method	P (E>2 mm)/%	P (E>5 mm)/%
Noisy	0.72	0.22
Denoised	0.33	0.07

Method	Thr	Rsingle/%	A50/px	A90/px	$ \overline{d}\mathrm{_{NND}} $/px
Noisy	>2	28	3	9	3.6
Denoised	>2	66	1	2	6.9
Noisy	>5	38	2	6	4.2
Denoised	>5	78	1	2	7.2

Method	Thr	Rsingle/%	A50/px	A90/px	$ \overline{d}\mathrm{_{NND}} $/px
Noisy	>2	28	3	9	3.6
Denoised	>2	66	1	2	6.9
Noisy	>5	38	2	6	4.2
Denoised	>5	78	1	2	7.2

Region	Metric	Pre-denoising (Noisy)	Post-denoising (Denoised)
Flat region (~85% pixels)	95% error/ mm	0.225	0.130
RMSE/ mm	0.680	0.360
Edge region (Top10%–15%)	95% error/ mm	0.310	0.170
RMSE/ mm	0.920	0.480
DBE-Accuracy	0.929	0.982
DBE-Completeness	0.463	0.964
Normal angle P95/(°)	5.47	2.89
Normal angle Mean/(°)	4.04	1.41

Region	Metric	Pre-denoising (Noisy)	Post-denoising (Denoised)
Flat region (~85% pixels)	95% error/ mm	0.225	0.130
RMSE/ mm	0.680	0.360
Edge region (Top10%–15%)	95% error/ mm	0.310	0.170
RMSE/ mm	0.920	0.480
DBE-Accuracy	0.929	0.982
DBE-Completeness	0.463	0.964
Normal angle P95/(°)	5.47	2.89
Normal angle Mean/(°)	4.04	1.41

面向复合噪声的结构光三维重建多模态去噪方法

PDF下载

张立平 ¹ , 胡晓峰 ¹^,^* , 潘飞文 ² , 郭斌 ¹^,² , 罗哉 ¹

光电工程 | 科研论文 2026,53(4): 250272

收起

光电工程 |科研论文 2026 , 53 (4) : 250272

面向复合噪声的结构光三维重建多模态去噪方法

全屏

张立平¹, 胡晓峰¹^,^*, 潘飞文², 郭斌¹^,², 罗哉¹

作者信息

¹中国计量大学计量测试与仪器学院，浙江杭州 310018

²杭州沃镭智能科技股份有限公司，浙江杭州 310018

通讯作者:

胡晓峰，12B0202094@cjlu.edu.cn

作者简介:

张立平 (2000-)，女，硕士研究生，主要从事机器视觉、三维重建方面的研究。E-mail：17395713083@163.com 17395713083@163.com

胡晓峰 (1986-)，男，硕士，高级实验师，硕士生导师，主要从事智能检测、精密测量技术研究。E-mail：12B0202094@cjlu.edu.cn 12B0202094@cjlu.edu.cn

Multi-modal denoising method for structured light 3D reconstruction under composite noise

Liping Zhang¹, Xiaofeng Hu¹^,^*, Feiwen Pan², Bin Guo¹^,², Zai Luo¹

Affiliations

¹College of Metrology & Measurement Engineering, China Jiliang University, Hangzhou, Zhejiang 310018, China

²Hangzhou Wolei Intelligent Technology Co., Ltd., Hangzhou, Zhejiang 310018, China

出版时间: 2026-04-24 doi: 10.12086/oee.2026.250272

文章导航

摘要

收起

针对结构光三维成像中复合噪声干扰下表面细节难以准确还原的问题，提出一种融合多模态输入与结构保持机制的深度去噪方法。采用双通道残差卷积神经网络，以含噪条纹图与串联滤波图为联合输入，引入多尺度特征提取与通道注意力模块，结合均方误差、结构相似性指数和拉普拉斯边缘项的混合损失函数，实现噪声抑制与边缘保持协同优化。搭建双目结构光实验平台，对石膏像等三类样本结合多频相移与外差法进行训练验证。结果表明，去噪后图像域的峰值信噪比提升约7 dB，结构相似性指数提高至0.96，均方根误差降低约61.6%；在三维重建结果层面，点到面均方根误差降低约47.1%，点云密度提升43.6%。该方法能够在抑制多源噪声的同时有效保持结构与边缘特征，显著提升三维重建质量。

关键词

结构光测量 / 条纹去噪 / 多模态输入 / 深度学习 / 三维点云重建

Abstract

收起

Objective

Structured light 3D reconstruction is widely used in high-precision metrology and industrial inspection because of its non-contact and high-resolution characteristics. In practical industrial environments, however, captured fringe patterns are often corrupted by composite noise originating from sensor electronics, surface reflectance variations, and ambient interference. Such noise degrades phase quality, introduces unwrapping errors, and limits the achievable reconstruction accuracy. To address these issues, this paper proposes a multi-modal deep denoising method that integrates a dual-channel input, a squeeze-and-excitation channel attention mechanism, and a hybrid loss function combining MSE, SSIM, and Laplacian edge constraints. The objective is to effectively suppress multi-source noise while preserving fringe continuity and edge structures, thereby enhancing phase retrieval stability, reducing unwrapping failures, and ultimately improving both image-domain quality and 3D reconstruction accuracy under complex industrial conditions.

Methods

The proposed method employs a dual-channel residual convolutional neural network based on the DnCNN architecture. The input is constructed by concatenating the original noisy fringe pattern with a serially filtered image along the channel dimension. The serial filtering module first applies extreme value detection and selective median filtering to remove impulse noise, followed by two-dimensional Gaussian smoothing to suppress high-frequency random noise. Multi-scale convolutional layers with batch normalization and ReLU activation are then introduced to extract hierarchical fringe features from the dual-channel input, capturing both fine textures and coarse structures while preserving edge information.

Subsequently, squeeze-and-excitation (SE) channel attention modules are embedded after convolutional layers in each residual block to adaptively emphasize informative features. Each SE module performs global average pooling to compress spatial information, followed by a bottleneck mapping with ReLU and Sigmoid activation to generate channel-wise weights, which are then used to recalibrate the feature maps. A hybrid loss function is designed to balance global noise suppression and local structure preservation, combining mean squared error for luminance fidelity, structural similarity index for contrast and texture consistency, and a Laplacian-based edge loss to maintain high-frequency details and boundary sharpness.

Experiments are conducted on a binocular structured light system using three-frequency four-step phase shifting and heterodyne phase unwrapping. The left camera coordinate system is defined as the world coordinate system, and 3D coordinates are obtained via linear triangulation with calibrated camera and projector parameters. Training and validation data are collected from three representative objects: standard step blocks (rule geometries with sharp edges), plaster busts (smooth curved surfaces), and printed circuit boards (high-reflectivity components and fine textures). Reference images are obtained through multi-frame averaging.

Results and Discussions

Quantitative evaluations in the image domain show that the proposed method achieves a PSNR of 43.11 dB / SSIM of 0.9654 on the standard step block, 42.90 dB / 0.9627 on the plaster bust, and 42.69 dB / 0.9643 on the PCB. Compared with noisy fringe patterns, the average PSNR increases by approximately 7 dB, SSIM improves to about 0.96, and RMSE decreases by around 61.6%.Ablation studies confirm the contribution of each component: dual-channel input improves PSNR by approximately 1.05 dB over single-channel input; the SE attention module provides consistent gains in both PSNR and SSIM, especially in edge detail recovery; and the hybrid loss function achieves the best overall performance. Comparative experiments against traditional methods (NLM, BM3D) and learning-based methods (BM3D-Net, DIVA) demonstrate that the proposed method achieves the highest PSNR (42.90 dB), highest SSIM (0.9627), and lowest RMSE (0.0063) on the plaster bust dataset. Noise robustness analysis under varying Gaussian noise levels (σ_g = 5 to 20) shows that even at the strongest noise level (σ_g = 20), the proposed method maintains a PSNR of 27.6 dB and an SSIM of 0.8032, substantially outperforming the original DnCNN (25.6 dB, 0.7514) and noisy inputs (15.7 dB, 0.4057), thereby demonstrating a high noise tolerance.

In the phase domain, denoised fringe patterns produce wrapped and absolute phase maps with significantly fewer phase jumps and fringe discontinuities, particularly in edge regions and high-reflectivity areas. Phase gradient analysis shows that the denoised histogram is more concentrated near zero, with a marked reduction in high-gradient outliers. In the 3D reconstruction domain, the point-to-plane RMSE decreases by 47.1%, the 95% quantile error decreases by 42.4%, the maximum error decreases by 16.7%, and point cloud density increases by 43.6%. Connectivity analysis reveals that high-error regions transition from large clustered patches to sparse isolated spots, indicating effective error tail suppression and spatial homogenization without introducing new artifacts. Region-wise error analysis further shows that RMSE and 95% quantile error decrease in both flat and edge regions, while edge metrics such as boundary accuracy, boundary completeness, and normal angle errors all improve. Consequently, the proposed method preserves key structural and edge details while suppressing noise, confirming that no edge rounding or structural weakening occurs.

Conclusions

This paper proposes a deep denoising method for structured light fringe patterns that integrates multi-modal input and structure-preserving mechanisms. Based on an improved DnCNN framework, the method employs a dual-channel input combining the original noisy fringe pattern with a serially filtered image, introduces a squeeze-and-excitation channel attention mechanism, and adopts a hybrid loss function. Experiments on standard step blocks, plaster busts, and printed circuit boards demonstrate significant improvements in PSNR, SSIM, and RMSE, while maintaining texture preservation and fringe continuity. In the 3D reconstruction domain, point cloud density, accuracy, and structural fidelity are substantially enhanced. The proposed method provides a reliable preprocessing strategy for high-precision industrial measurement and defect detection.

Key words

structured light measurement / fringe denoising / multi-modal input / deep learning / 3D point cloud reconstruction

引用本文

张立平, 胡晓峰, 潘飞文, 郭斌, 罗哉. 面向复合噪声的结构光三维重建多模态去噪方法. 光电工程, 2026 , 53 (4) : 250272 - . DOI: 10.12086/oee.2026.250272

Liping Zhang, Xiaofeng Hu, Feiwen Pan, Bin Guo, Zai Luo. Multi-modal denoising method for structured light 3D reconstruction under composite noise[J]. Opto-Electronic Engineering, 2026 , 53 (4) : 250272 - . DOI: 10.12086/oee.2026.250272

正文

收起

1　引　言

收起

随着工业自动化与高精度检测需求的不断增长，结构光三维重建技术因其高精度、高效率和非接触测量特性，在电子元器件检测、机械零件测量等领域得到广泛应用^[1]。该技术基于条纹图像的相位信息，通过相位解包裹与几何映射实现物体表面形貌的三维重建^[2]。然而，在实际工业环境中，条纹图像易受多源噪声干扰，导致相位信息失真、解包裹失败及重建精度下降，限制了其应用的稳定性与鲁棒性^[3]。

结构光三维重建步骤通常包括：投影编码条纹、相机同步采集变形条纹序列、提取并解包裹相位^[4]，结合相机标定与“逆相机”模型^[5-6]实现相位值到三维坐标的精确映射，最终生成三维点云。实际测量中，噪声来源主要包括环境噪声、设备噪声及物体表面特性噪声，这些干扰会在相位处理过程中逐步累积，引发相位跳变、不连续及局部失真^[7]。因此，在相位解包裹之前进行有效的图像去噪，是保证测量精度的关键。

现有去噪方法包括空域滤波 (高斯、中值、均值)与频域滤波 (傅里叶、小波、带通)^[8-10]，此类方法实现简单，在低噪声条件下能够有效抑制随机噪声，但在复杂或强噪声场景下往往导致条纹对比度显著下降，细节纹理模糊，且对高频边缘信息存在不可逆的损失。此外，这类方法通常依赖固定的滤波核参数，难以自适应应对多源噪声的变化。近年来，基于深度学习的图像复原方法得到广泛关注，其中卷积神经网络 (convolutional neural network, CNN)在去噪任务中表现出显著优势^[11]。例如，可训练非线性反应扩散模型 (trainable nonlinear reaction diffusion, TNRD)^[12]和基于残差学习的去噪卷积神经网络 (denoising convolutional neural network, DnCNN)^[13]在自然图像去噪中取得了优异效果。随后，研究者提出了更复杂的改进网络，例如，引入多尺度特征融合与残差密集连接的残差密集网络 (residual dense network, RDN)^[14]，以及结合深度先验的即插即用去噪先验框架 (plug-and-play, PnP)^[15]，在低照度和高噪声环境下表现出更强的细节保持与鲁棒性。然而，这些方法多针对自然图像设计，直接应用于结构光条纹图时仍面临纹理特征与相位信息易受破坏的问题。

针对结构光成像场景的特殊噪声特性，近年来也出现了一些专门的去噪策略。例如，基于条纹方向先验的自适应正弦/余弦滤波方法^[16]可在均匀纹理与中低反射样本上有效抑制方向性噪声，但在强反射区域易产生条纹形变与边缘模糊，对跨场景的适应性有限；基于卷积神经网络去噪正则化的条纹图修复模型^[17]能够修复缺失条纹、提升连通性并减少断裂，然而该方法在复杂背景与高反差区域容易出现过平滑，细节对比度下降；深度自编码器 (DAE)去噪模型^[18]采用迭代去噪与相位-高度标定框架，可有效抑制随机噪声，但作为自编码器类重构，存在全局平滑倾向的风险，细节与边缘保持能力受限；基于深度学习的单帧条纹相位检索方法^[19]利用端到端网络实现条纹图像的自适应去噪与相位提取，然而在多源噪声叠加和严重非线性失真场景下，网络的域外泛化能力不足，仍存在精度下降的风险；面向非视距定位的U-Net光斑检测方法^[20]可在低信噪比与遮挡条件下稳定提取LED反射光斑，并结合几何约束实现三维位置估计，但其成像模式与条纹相位结构差异较大，难以直接用于结构光条纹噪声抑制；基于swin-UNet的两步相位解包裹方法^[21]能够在散斑噪声下增强包裹相位的平滑性并提升相位展开精度，但其训练数据以仿真为主，对真实复合噪声的泛化能力有限；基于UMNet的数字全息相位解包裹方法^[22]可通过多尺度卷积提高全息相位恢复精度，并增强对椒盐噪声的抑制能力，然而该方法面向透射式全息成像，对反射式结构光条纹的噪声适应性不足。由此可见，现有方法在应对复杂工业环境下的条纹图像去噪任务时仍存在不足，有必要进一步探索更具鲁棒性和泛化能力的深度学习方法。

针对上述问题，本文提出一种融合多模态输入与结构保持机制的深度去噪模型。方法基于改进的双通道残差卷积神经网络 (DnCNN)，将原始含噪条纹图与两级串联滤波结果拼接输入，以兼顾细节保留与噪声抑制。网络中嵌入通道注意力机制 (SE)，自适应强化与相位连续性相关的关键信号，抑制冗余特征；并设计融合亮度、结构与边缘约束的混合损失函数，引导模型在抑噪同时保持条纹方向性与边界锐利度。与仅依赖编码优化或系统改进不同，该方法作为前端图像预处理，可与多频相移和外差解包裹等算法互补，显式降低噪声对相位误差传播的累积效应，从而提升三维重建的精度与稳定性。

2　结构光三维测量系统与噪声建模分析

收起

2.1　双目结构光系统三维测量原理

本文采用双目结构光三维测量系统，由结构光投影仪、左右工业相机、非远心FA工业镜头、图像采集卡、计算机及运动控制平台组成，其整体结构如图1所示^[23]。其中，同一投影仪向被测物体投射统一条纹序列，左右相机同步采集并在统一标定坐标系下完成三维重建与融合，属于典型的单投影仪-双相机的双目结构光系统。该系统通过联合标定建立统一几何关系，左右相机重建结果可在同一参考坐标系下直接融合，无需额外配准。

系统基于相位测量轮廓术 (phase measuring profilometry, PMP)原理^[24]，通过投射多组预先设计的条纹图案，并采用双目相机同步采集物体表面的变形条纹图像。为兼顾测量精度与抗噪声性能，本文采用三频四步相移编码方式：在三个空间频率

$ \left\{f\mathit{\mathrm{_{\mathit{s}}}}\right\}_{\mathrm{\mathit{s}}=1}^3 $

下分别投射四幅相移正弦条纹，移相步进为

$ k\text{π}/2,\ k=0,1,2,3 $

，两台相机同步采集12幅变形条纹序列。在以下相位建模与三维重建过程中，

$ (x,y) $

表示相机图像平面上的像素坐标，条纹强度、包裹相位及相位展开等计算均在对应像素位置

$ (x,y) $

处进行。对于任意频率

$ {f}_{s} $

下的相移序列，首先利用四步相移法计算包裹相位

$ \phi_{{\mathrm{w}}}^{\left(s\right)}\left(x,y\right) $

，由于包裹相位限制在

$ (-{\text{π}} ,{\text{π}} ] $

，需进一步解包裹。本文采用多频外差策略，由低频条纹相位逐级引导中频与高频相位展开，实现由低频到高频的逐级相位恢复，得到像素级的绝对相位

$ \phi_{{\mathrm{a}}}\left(x,y\right) $

。为将相位映射为投影仪像素坐标，记投影端对应的等效空间周期

$ {\lambda }_{\rm{p}}=1/{f}_{s} $

。根据式 (1)中的相位-像素映射

$ u_{\rm{p}}(x,y)=\dfrac{\lambda_{\rm{p}}}{2\text{π}}\phi_{{\mathrm{a}}}\left(x,y\right)+u_{{\mathrm{p}}0},\; {{v}_{\rm{p}}}(x,y)={{v}}_{{\mathrm{p}}0}\text{，} $

(1)

式中：

$ (u_{{\mathrm{p}}0},v_{{\mathrm{p}}0}) $

为投影仪等效成像模型的主点坐标 (由标定得到)。以左相机坐标系为世界坐标系 (

$ {R}_{\rm{l}}=I,{T}_{\rm{l}}=\mathbf{0} $

)，由相机内参

$ K\mathrm{_{\rm{c}}} $

与投影仪等效内参

$ {K}_{\rm{p}} $

，以及投影仪相对于左相机的外参

$ \left ({{\boldsymbol{R}}}_{{\rm{p}}\rightarrow {\rm{l}}},{{\boldsymbol{T}}}_{{\rm{p}}\rightarrow {\rm{l}}}\right) $

组成投影矩阵为：

$ {\boldsymbol{P}}_{\rm{c}}=K_{\rm{c}}\left[{R}_{\rm{l}}{T}_{\rm{l}}\right],\; {\boldsymbol{P}}_{\rm{p}}=K_{\rm{p}}\left[{\boldsymbol{R}}_{{\rm{p}}\rightarrow {\rm{l}}}{\boldsymbol{T}}_{{\rm{p}}\rightarrow {\rm{l}}}\right]\text{.} $

(2)

随后，在前述相位提取与相位展开的基础上，利用式 (1)将像素级绝对相位换算为投影仪像素坐标

$ ({u}_{\rm{p}},{v}_{\rm{p}}) $

，并结合式 (2)构建的相机-投影仪投影模型，将左相机去畸变后的像素坐标

$ (u_{\mathrm{c}},v\mathrm{_{\rm{c}}}) $

与

$ ({u}_{\rm{p}},{v}_{\rm{p}}) $

联立，采用线性三角化方法求解物点在左相机坐标系下的三维坐标

$ {\left[X,Y,Z\right]}^{\mathrm{T }} $

。上述各步骤对应的数学表达以公式组形式统一列于式 (3)中。

$ \left\{\begin{aligned}I_k(x, y)= & I_0(x, y)+I_{\mathrm{m}}(x, y) \cos \left[\phi_{\mathrm{w}}(x, y)+\frac{k {\text{π}}}{2}\right] \\& k=0,1,2,3 \\\phi_{\mathrm{w}}(x, y)= & \arctan \left[\frac{I_3(x, y) - I_1(x, y)}{I_0(x, y) - I_2(x, y)}\right] \\\phi_{\mathrm{a}}(x, y)= & \text { unwrap }\left[\phi_{\mathrm{w}}^{(s)}(x, y)\right], \quad s=1,2,3 \\{\left[\begin{array}{l}X \\Y \\Z\end{array}\right]=} & {\left[\begin{array}{l}\boldsymbol{P}_{\mathrm{c} 11} - u_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 31} \boldsymbol{P}_{\mathrm{c} 12} - u_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 32} \boldsymbol{P}_{\mathrm{c} 13} - u_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 33} \\\boldsymbol{P}_{\mathrm{c} 21} - v_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 31} \boldsymbol{P}_{\mathrm{c} 22} - v_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 32} \boldsymbol{P}_{\mathrm{c} 23} - v_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 33} \\\boldsymbol{P}_{\mathrm{p} 11} - u_{\mathrm{p}} \boldsymbol{P}_{\mathrm{p} 31} \boldsymbol{P}_{\mathrm{p} 12} - u_{\mathrm{p}} \boldsymbol{P}_{\mathrm{p} 32} \boldsymbol{P}_{\mathrm{p} 13} - u_{\mathrm{p}} \boldsymbol{P}_{\mathrm{p} 33}\end{array}\right]^{ - 1} } \\& \cdot\left[\begin{array}{l}u_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 34} - \boldsymbol{P}_{\mathrm{c} 14} \\v_{\mathrm{c}} \boldsymbol{P}_{\mathrm{c} 34} - \boldsymbol{P}_{\mathrm{c} 24} \\u_{\mathrm{p}} \boldsymbol{P}_{\mathrm{p} 34} - \boldsymbol{P}_{\mathrm{p} 14}\end{array}\right]\end{aligned}\right., $

(3)

式中：

$ {I}_{k}\left (x,y\right) $

为第k幅相移条纹的灰度值；

$ {I}_{0}\left (x,y\right) $

为背景光强；

$ {I}_{{\mathrm{m}}}\left (x,y\right) $

为调制度。本文在推导中选取左相机作为参考坐标系以统一符号体系与结果表达，因此式 (1) ~ (3)以投影仪与左相机的几何约束为例给出相位-像素映射与三角化求解过程。需要说明的是，在同一联合标定参数下，右相机同步采集相同条纹序列并完成相位求解与展开，其对应的投影模型与三角化求解可按相同思路建立，得到右相机坐标系下的三维重建结果。随后，利用双目标定获得的右相机相对于左相机的外参

$ \left ({R}_{{\rm{r}}\rightarrow {\rm{l}}},{T}_{{\rm{r}}\rightarrow {\rm{l}}}\right) $

，将右相机重建结果变换至左相机参考坐标系下，与左相机结果在同一坐标系中进行融合，从而实现双目结构光系统的统一重建。图2展示了系统整体流程，包括条纹投射、相位计算、解包裹以及三维重建步骤。

2.2　成像误差与噪声来源分析及建模

在实际结构光三维测量中，条纹图像在成像与传输过程中不可避免地受到系统性成像误差与多源随机噪声的影响，导致条纹对比度降低并影响相位提取与解包裹的稳定性。为便于描述前端校正流程与后端噪声建模，本文将其划分为两类：1)系统性成像误差 (来源稳定、可标定/校正)，包括相机与投影仪的几何畸变与外参误差、光学成像中的像面不均匀 (暗电流、照明不均匀)、背景/多次反射引入的低频结构化偏置等。此类项不具备零均值的随机统计特性，本质上属于结构化的偏置/增益，可通过系统标定、畸变校正等在重建前进行前端补偿。2)随机性噪声 (时空不确定、需建模抑制)，包括光子/读出噪声 (近似高斯分布)、脉冲/极值噪声 (椒盐噪声)、散粒/斑点噪声，以及环境光波动等^[25]。

在此基础上，本文采用常见的观测模型，把观测条纹图像表示为理想无噪条纹图像经系统映射后，叠加缓变的乘性扰动与随机噪声。其中，高斯噪声可建模为均值为0、标准差为

$ \sigma\mathrm{_g} $

的白噪声^[26]；椒盐噪声以概率p将像素值替换为最小 (0)或最大 (255)灰度^[27]；散粒噪声属于与信号强度相关的乘性扰动^[28]。由此得到复合观测模型可表示为：

$ \left\{\begin{array}{l}N_{\text {Gauss }} \sim \mathcal{N}\left (0, \sigma_{\mathrm{g}}{ }^2\right) \\N_{{\mathrm{s p}}}= \begin{cases}0, & p / 2 \\255, & p / 2 \\I (x, y), & 1-p\end{cases} \\I_{\text {noisy }} (x, y)=\mathcal{D}\left (I_{\text {clean }} (x, y)\right) (1+\varepsilon (x, y))\\\qquad\qquad\quad +N_{\text {Gauss }}\left (x, y ; \sigma_{\mathrm{g}}\right)+N_{{\mathrm{s p}}} (x, y ; p)\end{array}\right.\;， $

(4)

式中：

$ I\mathrm{_{noisy}}\left(x,y\right) $

为观测条纹图像；

$ I\mathrm{_{clean}}\left(x,y\right) $

为理想无噪条纹图像；

$ \mathcal{D}\text{}\left (\cdot \right) $

表示系统确定性的几何/光度映射；

$ \varepsilon \left (x,y\right) $

为与信号相关的局部乘性扰动；

$ N_{\mathrm{Gauss}} $

为高斯噪声项；

$ N\mathrm{_{sp}} $

为椒盐噪声项；p为椒盐噪声概率。系统性成像误差可通过标定与平场/背景校正在前端预补偿，随机噪声则需依赖后续的深度去噪网络进行建模与抑制。

需要说明的是，本文所建立的复合观测模型主要针对静态测量条件下的空间复合噪声。实验平台中投影仪与两台相机均通过刚性支架固定安装，整体置于光学隔振平台，被测PCB样本在采集周期内保持静止，整个系统工作在外触发同步模式。两台相机曝光时间均设置为

$ {T}_{\exp }=10\;{\mathrm{ms}} $

，而实验室照明由

$ 50\;{\mathrm{Hz}} $

交流市电驱动，其主导亮度闪烁频率约为

$ f\approx 100 \;{\mathrm{Hz}} $

(闪烁周期

$ {T}_{f}= {1}/{f}\approx 10 \;{\mathrm{ms}} $

)，二者处于同一量级。为描述环境光的闪烁，可将环境光瞬时亮度写为

$ I_{\mathrm{env}}(t)=I_0+\Delta I\sin(2\text{π}ft), $

(5)

式中：

$ I_{\mathrm{env}}(t) $

表示环境光亮度；

$ {I}_{0} $

为环境光的直流平均亮度；

$ \Delta I $

为环境光闪烁幅度。则单帧曝光得到的环境光平均亮度为

$ \begin{split}\overline{I}_{\mathrm{env}}= & \dfrac{1}{T_{\exp}}\displaystyle\int_{t_0}^{t_0+T_{\exp}}I_{\mathrm{env}}(t)\mathrm{d}t=I_0+\dfrac{\Delta I}{2\text{π}fT_{\exp}}\left\{\cos(2\text{π}ft_0)\right.\\&\left.-\cos\left[2\text{π}f(t_0+T_{\exp})\right]\right\},\end{split} $

(6)

式中：

$ {t}_{0} $

为单帧曝光的起始时刻。当

$ {T}_{\exp }\approx {T}_{f} $

时，式(6)中括号项趋近于0，可得

$ \overline{I}\mathrm{_{env}}\approx I_0 $

，即闪烁的时变分量在曝光积分过程中被平均为近似恒定的直流亮度，随后该直流分量会在平场/背景校正中被整体扣除。此外，实验中相机自动曝光与自动增益均关闭 (增益

$ 0\; {\mathrm{dB}} $

)，触发延迟为0 μs、线路防抖为50 μs，远小于10 ms的曝光窗口，确保触发抖动不会造成可见的帧间亮度波动。结合隔振平台与静态样本条件，可以认为环境光闪烁、设备微振动等时变非平稳噪声在本实验配置下已被显著抑制，成像误差主要由高斯噪声、椒盐噪声和散粒噪声等空间复合随机噪声主导。因此，在本研究实验条件下，公式 (4)所建模的复合空间噪声可用于描述实际观测过程中的主要误差来源。在后续的噪声仿真实验及鲁棒性分析中，均采用该模型对复合噪声进行建模。

3　多模态深度去噪模型设计

收起

3.1　网络总体结构

本文提出的多模态深度去噪网络基于改进的去噪卷积神经网络 (DnCNN)框架^[13]，其整体结构如图3所示。网络以双通道融合图像张量

$ {X}_{\text{input}} (x,y) $

为输入，训练目标为学习实际含噪图

$ I\mathrm{_{noisy}}(x,y) $

与理想无噪图

$ {I}_{\text{clean}} (x,y) $

之间的残差映射，输出噪声预测图

$ \hat{R} (x,y) $

，并通过残差反演得到去噪结果图

$ {\hat{I}}_{\text{denoised}} $

，其数学形式如式 (7)所示

$ \begin{split}&\hat{R} (x, y)= F_\theta\left (X_{\text {input }} (x, y)\right), X_{\text {input }} (x, y) \in \mathbb{R}^{H \times W \times 2}, \\& \hat{I}_{\text {denoised }} (x, y)= I_{\text {noisy }} (x, y)-\hat{R} (x, y) ,\end{split} $

(7)

式中：

$ {F}_{\theta }\left (\cdot \right) $

为网络映射函数；

$ \theta $

为参数集；H为图像高度；

$ W $

为图像宽度。网络主体采用残差学习结构，通过多层卷积提取特征，并在末端重构干净图像。为增强特征表示能力，引入通道注意力机制 (SE)，对不同通道特征分配自适应权重，强化关键信息并抑制冗余特征。

网络主要由三部分构成：1)特征提取模块。由多层卷积 (Conv)、批归一化 (BN)与修正线性激活单元 (ReLU)构成，用于捕捉并标准化局部纹理与结构信息；2)特征增强模块。SE模块实现通道级特征的压缩与激励；3)重构模块。卷积层将增强后的特征映射为残差图，并通过与输入图像相减得到最终去噪结果。

3.2　双通道输入设计

第二节已表明结构光条纹图像常受复合噪声干扰。若仅以原始含噪图 (Noisy)作为输入，噪声分布复杂且高反射区域伪影严重，模型容易过拟合局部噪声特征；若仅依赖传统滤波结果 (Filtered)，虽然全局噪声被削弱，但高频细节和边缘特征往往被平滑甚至丢失。二者各有优缺点^[29]。

为此，本文提出双通道输入策略：将Noisy与Filtered在通道维度拼接为联合输入，使网络在学习过程中同时接收“细节保留”与“噪声抑制”的互补信息。其中，Noisy保证纹理、条纹方向和高频结构的完整性；Filtered则提供去除脉冲与高斯噪声后的平滑先验。通过特征融合，网络能够自适应提取关键结构并抑制冗余干扰，从而增强对复合噪声特性的建模鲁棒性。

具体而言，设计了两级串联滤波模块作为预处理分支，生成Filtered作为第二模态输入，其结构所示如图4所示，该模块由极值检测、选择性中值滤波 (selective median filter, SMF)以及二维高斯平滑滤波三部分组成，分别针对极端脉冲噪声与高频感光噪声，实现差异化抑制。其中，SMF相对传统中值滤波的改进在于，先经极值检测判定脉冲噪声像素，仅对被判定像素执行中值替换，其余像素保持原值，从而在抑制脉冲噪声的同时尽量减少对条纹主结构的整体平滑与边缘模糊。

输入含噪条纹图像

$ I\mathrm{_{noisy}}(x,y) $

，其包含结构信号与复合噪声项。

$ I_{\mathrm{noisy}}(x,y)=0\ \mathrm{or}\ I_{\text{noisy}}(x,y)=255\text{，} $

(8)

第一阶段为极值检测，若像素满足以下条件则判定为极端噪声点，并采用 SMF替换为

$ I_{\mathrm{SMF}}(x,y) $

，即

$ \begin{split}& I_{\mathrm{SMF}}(x,y)= \\ &\left\{\begin{array}{ll}\text{ median }\left\{I_{\text{noisy }}\left(\mathit{\Omega}_{x,y}\right)\right\}, & \text{ if }I_{\text{noisy }}(x,y)\in{\boldsymbol{\mathcal{N}}}_{\text{extreme }} \\ I_{\text{noisy }}(x,y), & \text{ otherwise }\end{array}\right.,\end{split}$

(9)

式中：

$ \mathit{\Omega}_{x,y} $

为以

$ \left (x,y\right) $

为中心的局部邻域窗口；

$ {\boldsymbol{\mathcal{N}}}\mathrm{_{extreme}} $

为极值噪声点集合。该方法可在避免平滑非噪声区域的同时，精准去除强脉冲噪声。

第二阶段针对高频随机噪声，对SMF输出图像执行二维高斯卷积平滑，得到滤波输出图像

$ I\mathrm{_{filtered}}\left(x,y\right) $

，式中：

$ {G}_{\omega } $

为二维高斯核；参数

$ \omega $

为核的标准差，控制平滑强度，卷积运算与核函数定义为

$ \left\{\begin{array}{l}I_{\text{filtered }}(x,y)=\left(G_{\overline{\omega}}*I_{\mathrm{SMF}}\right)(x,y) \\ G_{\overline{\omega}}(u,v)=\dfrac{1}{2\text{π}\omega^2}\exp\left(-\dfrac{u^2+v^2}{2\omega^2}\right)\end{array}\right.. $

(10)

该操作能够有效抑制随机噪声，增强灰度场的局部连续性，同时尽可能保持条纹主结构的光滑一致性。

通过上述两级滤波处理，得到的串联滤波条纹图像

$ I\mathrm{_{filtered}}\left(x,y\right) $

具有更高的条纹清晰度与背景稳定性。最终，将Noisy与Filtered沿通道维度拼接为双通道张量输入

$ X_{\mathrm{input}}(x,y) $

可以表示为

$ X_{\rm{input }} (x, y)={cat}\left (I_{\text {noisy }} (x, y), \;I_{\text {filtered }} (x, y)\right) \in \mathbb{R}^{H \times W \times 2}, $

(11)

式中：

$ cat\left (\cdot \right) $

表示沿通道维度的拼接算子；

$ H,W $

分别为图像高度与宽度 (单位：像素)。该设计保证了输入既保留高频细节，又抑制复合噪声干扰，为后续网络的特征学习提供稳定而鲁棒的支撑。

3.3　通道注意力增强机制设计

在结构光图像去噪中，基础DnCNN仅依赖空间卷积提取特征，缺乏对通道维度的显式建模，难以刻画多模态输入之间的互补与依赖关系。统一卷积易造成通道响应失衡，导致有效结构被削弱、噪声残留增强、边缘模糊，进而影响相位提取与三维重建的稳定性。为此，本文在主干网络中引入轻量级通道注意力机制——SE模块^[30]，通过压缩、激励和重标定三个阶段，显式建模通道间的全局依赖关系^[31]。图5给出了SE模块的结构和作用机制，设某一卷积模块的输出特征图为

$ \boldsymbol{F}\in {\mathbb{R}}^{H\times W\times C} $

，其中C为通道数，第c个通道特征图记为

$ {F}_{c}\in {\mathbb{R}}^{H\times W} $

。

具体而言，SE模块首先对每个通道进行通道汇聚 (全局平均池化)，得到通道描述向量

$ \boldsymbol{Z}\in {\mathbb{R}}^{C} $

为

$ {Z}_{c}=\frac{1}{HW}\sum\limits_{i=1}^{H}\sum\limits_{j=1}^{W}{F}_{c} (i,j),\;c=1,\cdots ,C,\;\boldsymbol{Z}=\left[{Z}_{1},{Z}_{2}\cdots ,{Z}_{c}\right] \text{，} $

(12)

用于刻画全局响应强度，随后，将第c个通道的全局响应强度

$ {Z}_{c} $

输入由两层全连接 (等效

$ 1\times 1 $

卷积)构成的瓶颈映射，先经ReLU再经Sigmoid激活得到通道权重向量

$ \boldsymbol{s}\in {\mathbb{R}}^{C} $

为

$ \boldsymbol{s}=\vartheta \left ({W}_{2}\cdot \delta \left ({W}_{1}\cdot \boldsymbol{Z}\right)\right),\;{W}_{1}\in {\mathbb{R}}^{\tfrac{C}{r}\times C},\;{W}_{2}\in {\mathbb{R}}^{C\times \tfrac{C}{r}} \text{，} $

(13)

式中：r表示压缩率，控制瓶颈通道数

$ {C}/{r} $

，r越大压缩越强、计算量更小，但通道交互能力可能下降，r越小则相反，参考通用做法并结合本任务的计算预算，我们在小范围内尝试r={8,16,32}等典型取值，观察其对训练稳定性和指标表现的影响，结果表明r=16在精度与开销之间更为稳妥，故本文取r=16；

$ \delta \left (\cdot \right) $

为ReLU激活函数；

$ \vartheta \left (\cdot \right) $

为Sigmoid激活函数。最后，利用通道权重对输入特征做逐通道重标定，按权重对各通道

$ {F}_{c} $

进行缩放，实现结构增强与噪声抑制，得到输出

$ {\tilde{F}}_{c}\in {\mathbb{R}}^{H\times W} $

为

$ \left\{\begin{split} &{\tilde{F}}_{c}={s}_{c}\cdot {F}_{c},c=1,\cdots ,C\\&{\tilde{\boldsymbol{F}}}={\left[{\tilde{F}}_{1},\cdots ,{\tilde{F}}_{C}\right]}^{\mathrm{T }}\in {\mathbb{R}}^{H\times W\times C} \end{split}\right.\;, $

(14)

式中：

$ {\tilde{F}}_{c} $

表示经SE重新标定后的输出第c通道特征图，

$ {\tilde{\boldsymbol{F}}} $

表示经SE模块重新标定后的输出特征张量。通过该机制，SE模块能够自适应突出条纹方向性和边缘显著区域，提高去噪结果的结构保真与细节还原能力。为保持计算轻量化，本文采用集成式策略，将SE模块插入每个残差块的卷积层之后，构成由Conv、BN、ReLU与SE组成的增强型卷积块。

3.4　多目标驱动的混合损失函数设计

传统图像去噪多以像素级均方误差 (MSE)作为唯一优化目标，虽然计算简单、收敛稳定，但在结构光条纹图场景下往往伴随条纹模糊与边缘位置偏移。为此，本文设计了融合亮度、结构与边缘约束的混合损失函数，以多目标联合优化的方式提升去噪与结构保持能力^[32]，如图6所示。

该损失函数包括三部分。

1)亮度域损失

$L_{\mathrm{MSE}}$

表示为

$ L_{\text{MSE}}=\frac{1}{N}\sum\limits_{i=1}^N\left(\hat{I}_{\text{denoised,}i}-I_{\text{clean,}i}\right)^2\text{.} $

(15)

保证去噪图

$ {\hat{I}}_{\text{denoised}} $

与参考图

$ {I}_{\text{clean}} $

在像素灰度N上的一致性，提升峰值信噪比 (PSNR)。

2)结构域损失

$ {L}_{\text{SSIM}} $

表示为

$ \left\{\begin{array}{l}\operatorname{SSIM} (x, y)=\dfrac{\left (2 \mu_x \mu_y+C_1\right)\left (2 \sigma_{x y}+C_2\right)}{\left (\mu_x^2+\mu_y^2+C_1\right)\left (\sigma_x^2+\sigma_y^2+C_2\right)}\\L_{\mathrm{SSIM}}=1-\operatorname{SSIM}\left (\hat{I}_{\text {denoised }}, I_{\text {clean }}\right)\end{array}\right.\text{，} $

(16)

式中：

$ \mu 、\sigma 、{\sigma }_{xy} $

分别表示局部均值、方差与协方差；

$ {C}_{1}、{C}_{2} $

为稳定常数。强调局部结构、对比度与纹理一致性，增强条纹连续性和感知稳定性。

3)边缘域损失

$ {L}_{\text{Edge}} $

表示为

$ L_{\text{Edge}}=\frac{1}{N}\sum\limits_{i=1}^N\left|\left|\Delta\left(\hat{I}_{\text{denoised,}i}\right)-\Delta\left(I_{\text{clean,}i}\right)\right|\right|_1\text{.} $

(17)

通过二阶拉普拉斯算子

$ \Delta \left (\cdot \right) $

提取高频分量，对比预测与真实边缘差异，强化细节与突变区域的保持能力；最终混合损失

$ {L}_{\text{total}} $

表示为

$ {L}_{\text{total}}=\alpha \cdot {L}_{\text{MSE}}+\beta \cdot \left (1-{L}_{\text{SSIM}}\right)+\gamma \cdot {L}_{\text{Edge}} \text{，} $

(18)

式中：

$ \alpha 、\beta 、\gamma $

为超参数，分别对应

$ {L}_{\text{MSE}}、{L}_{\text{SSIM}}、{L}_{\text{Edge}} $

，为确定混合损失中各分量的权重，本文在合理范围内对

$ \alpha \in \left[0.4,0.8\right]、\beta \in \left[0.1,0.3\right]、\gamma \in \left[0.05,0.25\right] $

进行小范围调节，并在验证阶段结合PSNR、SSIM及边缘保持等指标观察其影响，最优参数组合通过在验证集上的网格搜索 (grid search)确定。综合考虑训练稳定性与三类指标表现，最终采用

$ \alpha \text{=}0.6,\;\beta =0.2,\;\gamma =0.2 $

，该设置在三类指标间取得较好权衡，以MSE为主导保证收敛与亮度保真，同时结合SSIM与Laplacian Edge约束增强纹理与轮廓细节的保持能力。

3.5　数据集构建与增强

为使网络充分学习结构光条纹图像中的多源噪声特性与基本相位模式，本文以多种规则几何体 (标准阶梯块、球体、椎体)作为主要训练对象，规则几何体能够覆盖边缘突变、曲率连续与尖锐顶点等典型结构特征，有助于网络在训练阶段获得更具代表性的条纹与相位模式。构建由三种模态 (Noisy、Filtered与多帧平均Clean图^[33])组成的训练集，三类图像经像素级配准，分别用于原始输入、结构补充及监督标签。

此外，为增强网络的局部结构感知与尺度泛化能力，采用多尺度滑窗裁剪如图7与分阶段训练机制结合如表1。同时利用随机滑窗、水平/垂直翻转及旋转等空间增强方式，结合梯度幅值引导的高频区域采样策略，重点覆盖条纹边缘与纹理过渡区域^[34]，从而提升模型在结构细节保持与复合噪声抑制方面的鲁棒性。

4　实验验证与性能评估

收起

4.1　实验方案设计

本研究搭建了一套双目结构光测量平台如图8所示，用于采集条纹图像并完成网络训练与三维重建验证。系统硬件包括：结构光投影仪 (DLPLCR4500EVM，

$ 912\;{\mathrm{px}}\times 1140\;{\mathrm{px}} $

，

$ 120\;{\mathrm{Hz}} $

)、2台工业相机 (MV-CH120-11CM，

$ 4096\;{\mathrm{px}}\times 3000\;{\mathrm{px}} $

)图像采集卡 (SOL2MEVCLF)和运动控制平台 (步进电机与传送带，5~100 mm/s)。深度学习网络在Windows10平台运行，配置i7-10750CPU和NVIDIA GTX1660Ti显卡。网络训练和三维重建主要采用MATLAB R2024b和CloudCompare实现。

实验流程主要包括七个环节：系统标定^[35-36]、图案设计、图像采集、相位提取、相位解包裹^[37]、相位匹配与三维重建^[38]。标定结果如表2所示。

其中，内参记为

$ K=\left[\begin{array}{ccc}f_x & 0 & c_x \\0 & f_y & c_y \\0 & 0 & 1\end{array}\right]$

$ {f}_{x},{f}_{y} $

为有效焦距；

$ {c}_{x},{c}_{y} $

为主点坐标；外参R为旋转矩阵；T为平移矩阵，本文将左相机坐标系定义为世界坐标系，故左相机外参取

$ {R}_{\rm{l}}=I,{T}_{\rm{l}}=\mathbf{0} $

；右相机外参表示为

$ ({{\boldsymbol{R}}}_{{\rm{r}}\rightarrow {\rm{l}}},{{\boldsymbol{T}}}_{{\rm{r}}\rightarrow {\rm{l}}}) $

；投影仪外参表示为

$ ({{\boldsymbol{R}}}_{{\rm{p}}\rightarrow {\rm{l}}},{{\boldsymbol{T}}}_{{\rm{p}}\rightarrow {\rm{l}}}) $

；

$ e\mathrm{_{rms}} $

为重投影误差反映标定拟合精度；畸变系数为径向

$ \left ({k}_{1},{k}_{2},{k}_{3}\right) $

与切向

$ \left ({p}_{1},{p}_{2}\right) $

的去畸变参数。

4.2　图像去噪结果与质量评价

为验证所提方法在不同结构复杂度下的鲁棒性与泛化性，选取了三类典型样本如图9所示。标准台阶块几何边界与高度分布清晰，适于评估结构还原能力。此外，引入与训练类别不同的全新样本：石膏像，表面曲率复杂、细节丰富，用于评估模型在真实曲面上的泛化能力；PCB电路板，包含高反射元件与细密纹理，用于考察模型在复合噪声环境与材料特性差异下的适应性。整体采集共获得1440幅配准图像，其中1152幅用于训练，288幅用于测试。

三类对象在相同采集条件下获得的含噪条纹图 (Noisy)、串联滤波结果 (Filtered)及网络去噪结果 (Denoised)进行对比，如图10所示。质量评估以Clean图为参考，采用峰值信噪比 (PSNR)、结构相似性指数 (SSIM)及均方根误差 (RMSE)三项指标^[39]。各样本经DnCNN模型去噪前后的指标统计结果见表3。

具体而言，标准台阶块样本SSIM提升约8.4%，RMSE降低约62.6%，说明模型在规则边界场景中表现优异；石膏雕塑样本SSIM提升约8.3%，RMSE降幅约61.6%，表明模型在曲率连续的平滑表面上能够有效抑制噪声并保持形貌完整性；PCB样本SSIM提升约8.6%，PSNR提高约19.5%，体现了模型在高频纹理与复合噪声条件下的细节恢复能力与干扰抑制能力。综上，所提方法在三类典型样本中均表现出针对性优势，为相位提取与三维重建提供了高质量输入。

4.3　消融实验与方法对比

为验证各模块对模型性能提升的贡献，以石膏像为对象，开展了消融实验，包括：1)输入形式 (单通道Noisy/双通道Noisy与Filtered拼接)；2)注意力机制 (有/无SE模块)；3)损失函数组合 (MSE、SSIM与Laplacian的混合损失函数)。实验结果如表4所示。

结果表明，双通道输入较单通道显著提升去噪效果，平均PSNR提高约1.05 dB，说明多模态融合增强了特征鲁棒性；SE模块在PSNR和SSIM上均有稳定增益，尤其在边缘细节恢复方面表现突出；混合损失函数优于单一损失，在三项指标上均达到最佳。与原始DnCNN相比，本文改进模型的平均PSNR提升约1.79 dB，SSIM增加0.0185，RMSE降低27.5%，均优于原始模型，验证了本文设计多模态输入、结构保持机制与混合损失函数对复合噪声抑制的有效性。

为进一步验证本文改进模型的去噪效果，选取了两类常见的传统去噪方法NLM^[40]与BM3D^[41]和两种代表性的深度学习去噪方法BM3D-Net^[42]与DIVA^[43]，以石膏像为对象进行对比实验。实验结果如图11和表5所示。

如表5所示，传统方法在一定程度上改善了图像质量，但整体劣于深度学习方法，说明神经网络方法在结构光条纹图像的去噪效果和细节保持方面更具优势。其次对比两种神经网络方法，从图11直观视觉效果来看，本文所提方法在几种方法中纹理保持最好、噪声残留最少。从定量指标来看，本文方法在三项指标上均取得最优结果，优势较为明显。相比BM3D-Net，PSNR提升约4.89%，SSIM提升约1.93%，RMSE降低27.59%；相比DIVA，PSNR提升约2.63%，SSIM提升约0.91%，RMSE降低19.23%。

4.4　噪声强度变化下的抗噪上限分析

为了进一步验证所提多模态DnCNN网络在不同噪声强度下的鲁棒性与抗噪上限，本节以石膏像为对象，在Clean条纹图上基于式 (4)构造了一组由弱噪声到强噪声的复合噪声序列。具体而言，参照图像去噪领域的通用设置^[44]，以高斯噪声标准差设为

$ \sigma_{\mathrm{g}}=5,10,15,20 $

四个典型噪声等级，用于覆盖图像质量从轻微受损到明显退化的主要区间。在复合噪声模型中，椒盐噪声密度

$ \rho\mathrm{_{sp}} $

随

$ \sigma_{\mathrm{g}} $

同步递增 (分别为0.01、0.03、0.05、0.08)，以增强极值噪声成分并模拟更为恶劣的复合噪声条件。

实验过程如下：1)以石膏Clean条纹图作为参考图像；2)依据公式 (4)在Clean图上叠加不同标准差的高斯噪声以及不同密度的椒盐噪声，构造由弱到强噪声的一组复合观测图像；3)分别用原始DnCNN模型 (Original DnCNN)和本文提出的多模态DnCNN网络 (Proposed DnCNN)对上述含噪图进行去噪处理，得到两组结果，同时将含噪图像 (Noisy)作为基准参照；4)以Clean图为参考，计算各噪声强度下Noisy、Original DnCNN与Proposed DnCNN的平均PSNR、SSIM与RMSE指标，并绘制“图像质量指标-噪声强度”的变化曲线，如图12所示。

可以看到，随着噪声强度的增强，Noisy曲线的PSNR、SSIM快速退化，RMSE大幅上升，说明噪声显著破坏条纹结构。在相同噪声条件下，Original DnCNN和Proposed DnCNN两种网络均显著优于Noisy，验证了深度网络对复合噪声的抑制能力。更为重要的是，在整个噪声范围内，所提Proposed DnCNN网络的PSNR与SSIM始终高于原始DnCNN模型，且随噪声增强的下降幅度更小，RMSE增长更缓，表现出更平滑的退化曲线。例如，在最强噪声档

$ \sigma\mathrm{_g}=20 $

下，Noisy的PSNR/SSIM仅约为15.7 dB/0.4057，而Original DnCNN和Proposed DnCNN分别可达到约25.6 dB/0.7514与27.6 dB/0.8032，说明所提方法在远高于实际系统噪声水平的强噪声条件下仍能保持较好的稳定性和鲁棒性。

结合前文4.3节在实际采集条件下的结果可知，真实系统中观测条纹图像的PSNR约为35 dB，而本节构造的复合噪声序列使Noisy的PSNR降至28~15 dB区间，噪声水平明显高于实际采集场景。因此，可以认为本节构造的噪声扫描实验已经覆盖了从实际系统噪声水平到更强噪声环境的宽噪声区间。在该区间内，所提多模态DnCNN网络亦展现出良好的抗噪上限与稳定性能，为后续相位解包裹与三维重建提供了更加可靠的输入保障，并具备在高噪声复杂工业环境中的潜在应用价值。

4.5　相位解包裹与三维点云重建结果分析

基于三频四步相移与多频外差法^[37]，以PCB为对象，对去噪前 (Noisy)及网络去噪后 (Denoised)的条纹图进行相位提取与三维重建。图13(a,b,d,e)展示了包裹相位、解包裹相位 (绝对相位)的结果对比，其中Noisy相位图存在大量相位跳变与条纹断裂，尤其集中于边缘及高反射区域，解包裹连续性受损；而Denoised相位图条纹结构更清晰，连续性显著增强，在边缘与细节区域保持了更高的鲁棒性，误差传播得到了有效抑制。为直观评估去噪对相位连续性的影响，本文在PCB样本中选取一条位于高反射/复杂走线区域的列方向相位剖面，其具体位置在图13(a)中以黄色直线标出，并在局部像素区间内进行放大，如图13(c)所示。可以看出，Noisy曲线沿程存在明显的高频抖动和局部跳变，个别区域出现突兀的相位落差；而Denoised曲线整体更加平滑，趋势更接近理想基线，并有效消除了噪声引起的不连续点，表明去噪过程未破坏真实结构的整体形态。相位梯度分布同样呈现一致的变化，如图13(f)所示，Denoised直方图在零点附近更加集中，高梯度离群值的数量明显减少，说明局部畸变得到抑制，条纹的连续性和局部几何保持性均有所改善。这些结果验证了所提出的去噪方法在抑制噪声扰动的同时能够维持相位场的真实结构，为后续三维重建精度的提升奠定了可靠基础。

结合表2的系统标定参数，通过三角测量将绝对相位转换为深度坐标，生成三维表面点云如图14所示。在xyz三维视角下，Noisy点云存在大量离散高反射伪点与异常沉点；Denoised点云整体结构连续平滑，杂散点显著减少，空间一致性更优。在xy平面视角下，Noisy点云存在边缘断裂与结构模糊现象，局部轮廓扩散明显且干扰点较多；Denoised点云轮廓完整度显著提升，噪点区域明显减少。

量化评价采用点到面 (C2M)距离作为几何误差度量，比较去噪前后重建结果在点云密度、均方根误差 (RMSE)、95%分位误差 (P95)及最大误差等指标上的差异。结合已有研究在高反射或结构复杂表面条件下，工业级结构光系统的重建精度范围^[45-48]，综合结果如表6所示。绝对误差定义为

$ \left|E\right|=\left|Z_{\mathrm{method}}-Z_{\mathrm{ref}}\right|(\mathrm{mm}) $

，其中

$ Z_{\mathrm{method}} $

为Noisy或Denoised的重建结果；

$ Z_{\mathrm{ref}} $

为多帧均值重建面 (同条件采集24帧、像素级配准后在置信度掩膜内做截断均值/中值融合得到)，在本实验中作为高信噪比的参考几何，用于近似真实表面形貌。所有统计仅在统一ROI的有效像素上进行，百分比按有效像素数归一化。考虑到极少数饱和/强反射像素可能造成尾部偏置，结果解读以P95与RMSE为主，同时给出最大误差以完整体现尾部行为；连通域相关统计 (见表7、表8)采用8-连通，阈值t=2/5 mm与图15保持一致。

在PCB样本上，Denoised点云密度较Noisy增长约43.6%，说明噪声抑制并非通过简单剔除散乱点实现，而是恢复了更多满足几何约束的有效点，曲面连续性与完整度得到增强；RMSE降低约47.1%，95%分位误差降低约42.4%，表明绝大多数点的重建精度稳定且细节保真度较高，处于复杂场景较优水平。最大误差降低约16.7%，去噪后仍存在约11.37 mm的极端值，但该类误差主要出现在PCB边缘及强反射元件附近，与场景最大高度变化处的局部饱和/遮挡有关。可视为少量局部重建失败点而非全局系统性偏差 (如图15所示呈稀疏星点分布)，在实际精密测量中通常通过ROI限定或掩膜剔除对评估结果的影响。剔除这类边缘/强反射引起的少量异常后，整体误差分布仍以RMSE与P95的下降为主。

在整体指标之外，进一步从空间分布的角度分析高误差像素的形态与连通性，以区分“片状聚集”的系统性失真与“稀疏孤立”的少量伪影。为此，除统计高误差像素占比P (E>t)之外，还引入单像素连通域占比Rsingle、连通域面积中位数/90分位 (A50/A90)以及平均最近邻距离

$ \overline{d}_{\mathrm{NND}} $

等指标，用于刻画高误差连通域的尺度和分布，这在工程点云质量评估中能够补充反映伪影收敛程度与空间均匀性。

如图15所示的误差热力图直观地给出了去噪前后的差异：Noisy点云在PCB边缘及强反射元件 (如金属端子、焊点)周围存在成片/带状的高误差区，表明原始重建在高亮、高坡度区域易产生大面积失真；而Denoised点云在大部分主体区域呈均一且较低的误差水平，高亮区域数量显著减少，残余高误差主要呈局部零散小斑点分布。定量统计与此一致：表7显示，在统一阈值下，高误差像素占比由Noisy的0.72%/0.22% (E>2/5 mm)降至Denoised的0.33%/0.07%，尾部误差规模显著收敛；表8进一步表明，在E>2 mm与E>5 mm两档下，Denoised的单像素连通域占比 (Rsingle)提升至66%/78%，连通域面积中位/90分位 (A50/A90)压缩至1/3~1/2，平均最近邻距离 (

$ \overline{d}_{\mathrm{NND}} $

)增至6.9/7.2 px，高误差由“片状聚集”转为“稀疏孤立小斑点”。结合全局C2M指标，可以认为本文方法在显著抑制误差长尾、均化空间分布的同时，未引入新的结构性伪影。去噪后高误差像素总体数量明显减少，高误差区域由片状/带状结构收敛为局部零散小斑点，空间分布更加均匀。

在全局C2M指标及高误差连通性分析的基础上，我们进一步关心的关键问题是：去噪是否以牺牲边缘几何结构为代价。考虑到结构光在高度突变区域更易产生相位伪影和局部大误差，我们在参考面

$ Z_{\mathrm{\mathrm{r}ef}} $

上计算梯度幅值

$ \left|\nabla Z\mathrm{_{ref}}\right| $

，并按分位阈值将像素划分为平坦区与高梯度边缘区。具体地，取

$ \left|\nabla Z_{\mathrm{ref}}\right| $

的Top10%~15%作为边缘区，其余区域为平坦区，采用8连通掩膜，仅在统一ROI的有效像素上进行统计。

表9所示的区域化误差分析进一步从定量层面说明了去噪对结构和边缘几何的影响。平坦区与高梯度边缘区的RMSE与P95在去噪后均有所下降，表明整体与局部区域的重建误差均得到不同程度改善。同时，边界精度 (DBE-Accuracy)由0.929提升至0.982，边界完整性 (DBE-Completeness)由0.463提升至0.964，法向角 (Normal angle)P95由5.47°降至2.89°，法向角平均误差 (Mean)由4.04°下降至1.41°。这些指标共同反映了局部表面坡度偏差减少，边缘位置及其几何形态与参考面更加一致。

这表明所提方法在压制噪声的同时保持了关键结构与边缘细节。结合图15与表7、8中阈值域与连通域形态由“片状聚集”收敛为“稀疏孤点”的观察，可确认本文方法在显著抑噪的同时未造成边缘圆滑化或结构削弱，关键几何细节得到有效保持。

为了在视觉层面验证上述指标，本文进一步选取PCB表面三个具有代表性的结构区域进行放大对比，如图16所示。这些区域分别覆盖了典型的焊盘阵列 (ROI-1)、丝印字符笔画及其邻近狭窄高度带 (ROI-2)，以及走线与焊点混杂处的复杂边缘结构 (ROI-3)，均属于结构光重建中最易受到噪声干扰的敏感部位，因此能够有效反映去噪过程是否破坏真实几何。

如图16所示，Noisy重建在三个区域中存在明显的高频散点噪声、局部轮廓断裂、走线边缘抖动以及少量离群点等典型失真现象，导致真实几何形态在视觉上呈现破碎与不连续。相比之下，Denoised重建在相同位置的表现明显改进，焊盘边界、细小结构以及线路折弯等几何特征得以更好地保留，未出现边缘圆滑化或几何结构丢失的现象。同时，这些区域的整体几何轮廓、边界位置以及高度变化仍与原始重建保持一致，表明去噪并未“抹平”真实细节，而是有效地去除了噪声成分。可以看出，这些局部结构的视觉改善与表9中边缘区域RMSE/P95的下降及法向角误差的减小趋势保持一致，进一步验证了去噪后几何细节得到了有效保留。

综上，所提出的多模态DnCNN去噪方法，在全局精度、误差稳健性以及局部几何细节保持方面均表现出显著优势。不仅提升了相位图的连续性与稳定性，同时有效增强了三维点云的密度、精度及结构还原质量。为高精度结构光测量及缺陷检测提供了稳健、可信的技术支撑，体现了深度学习去噪在结构光三维重建领域的工程实用价值与进一步的应用潜力。

5　结　论

收起

本文提出了一种融合多模态输入与结构保持机制的结构光条纹图像深度去噪方法。该方法基于改进的DnCNN框架，采用原始含噪条纹图与串联滤波图的双通道输入，并引入SE通道注意力机制和混合损失函数，实现了对复合噪声的有效抑制与结构细节的自适应保持。

针对结构光条纹图像的成像特性，本文构建了包含规则几何体、石膏雕塑和PCB电路板在内的真实数据集，并在多场景下开展训练与验证。实验结果表明，所提方法在PSNR、SSIM与RMSE等图像域指标上均取得较为明显的提升，在纹理保持、条纹连续性和边缘结构方面表现稳定，具有良好的跨场景泛化能力。消融实验进一步验证了三项关键设计的有效性：双通道输入增强了模型对复合噪声的鲁棒性；SE通道注意力模块突出条纹方向性与边缘区域特征；混合损失函数在保证收敛稳定的同时提高了结构保真度。

在三维重建实验中，结合三频四步相移与多频外差法，并根据系统标定参数通过三角测量完成相位提取与三维重建。对比去噪前后的三维点云结果，所提方法显著改善了点云的几何连续性与空间一致性，有效减少了边界断裂、局部起伏及强反射伪点。C2M距离、RMSE、95%分位误差等量化指标均大幅下降，且未出现结构圆滑化或边缘削弱现象，表明去噪过程保持了关键几何特征。

未来工作将面向动态场景，探索结合运动补偿、多物理先验及时空一致性约束的深度去噪模型，以进一步提升方法在在线测量与复杂工业环境中的泛化能力与工程实用价值。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Zuo C, Qian J M, Feng S J, et al. Deep learning in optical metrology: a review[J]. Light Sci Appl, 2022, 11(1): 39.

Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Opt Lasers Eng, 2018, 109: 23−59.

Nguyen H, Wang Z Y. Accurate 3D shape reconstruction from single structured-light image via fringe-to-fringe network[J]. Photonics, 2021, 8(11): 459.

Zhang S. Absolute phase retrieval methods for digital fringe projection profilometry: a review[J]. Opt Lasers Eng, 2018, 107: 28−37.

Zhang Z. A flexible new technique for camera calibration[J]. IEEE Trans Pattern Anal Mach Intell, 2000, 22(11): 1330−1334.

Wijenayake U, Baek S H, Park S Y. An error correcting 3D scanning technique using dual pseudorandom arrays[C]//Proceedings of the 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission, 2012: 517–523. https://doi.org/10.1109/3DIMPVT.2012.68.

Ren M Y, Cui J, Cai S A, et al. Speckle suppression in dynamic structured light via single-element interference[J]. Opt Express, 2025, 33(5): 11452−11461.

王军, 陈磊, 吴泉英. 利用空域滤波虚光栅叠栅法提取干涉图波面[J]. 中国激光, 2012, 39(5): 0508005.

Wang J, Chen L, Wu Q Y. Wavefront acquirement of single interferogram using the virtual grating moiré fringe method with Gaussian filter in the spatial domain[J]. Chin J Lasers, 2012, 39(5): 0508005.

Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Trans Image Process, 2007, 16(8): 2080−2095.

王永红, 李骏睿, 孙建飞, 等. 散斑干涉相位条纹图的频域滤波处理[J]. 中国光学, 2014, 7(3): 389−395.

Wang Y H, Li J R, Sun J F, et al. Frequency domain filtering for phase fringe patterns of digital speckle pattern interferometry[J]. Chin Opt, 2014, 7(3): 389−395.

LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proc IEEE, 1998, 86(11): 2278−2324.

Chen Y J, Pock T. Trainable nonlinear reaction diffusion: a flexible framework for fast and effective image restoration[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1256−1272.

Zhang K, Zuo W M, Chen Y J, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Trans Image Process, 2017, 26(7): 3142−3155.

Zhang Y L, Tian Y P, Kong Y, et al. Residual dense network for image super-resolution[C]//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 2472–2481. https://doi.org/10.1109/CVPR.2018.00262.

Zhang K, Li Y W, Zuo W M, et al. Plug-and-play image restoration with deep denoiser prior[J]. IEEE Trans Pattern Anal Mach Intell, 2022, 44(10): 6360−6376.

蒋汉阳, 戴美玲, 苏志龙, 等. 基于散斑相位条纹方向的自适应正弦/余弦滤波[J]. 光学学报, 2017, 37(9): 0910001.

Jiang H Y, Dai M L, Su Z L, et al. An adaptive sine/cosine filtering algorithm based on speckle phase fringe orientation[J]. Acta Optica Sinica, 2017, 37(9): 0910001.

彭广泽, 陈文静. 基于卷积神经网络去噪正则化的条纹图修复[J]. 光学学报, 2020, 40(18): 1810002.

Peng G Z, Chen W J. Fringe pattern inpainting based on convolutional neural network denoising regularization[J]. Acta Optica Sinica, 2020, 40(18): 1810002.

Li C C, Mao J J, Zhang X N. Neural network-based method for structured light phase-shifted fringe denoising and phase-to-height calibrations[J]. Meas Sci Technol, 2025, 36(1): 015047.

Zhang X, Cheng P, You Z S, et al. Phase retrieval from single-shot square wave fringe based on image denoising using deep learning[J]. Appl Opt, 2024, 63(4): 1160−1169.

黄伟杰, 林邦姜, 丁永棋, 等. 基于深度学习的非视距可见光定位系统[J]. 光通信研究, 2024, (6): 230091.

Huang W J, Lin B J, Ding Y Q, et al. Non-line-of-sight visible light positioning system based on deep learning[J]. Study Onopt Commun, 2024, (6): 230091.

廖后章, 孔勇, 张贺, 等. 基于swin-UNet-denoise和最小二乘法的两步相位解包裹[J]. 激光技术, 2024, 48(5): 752−758.

Liao H Z, Kong Y, Zhang H, et al. Two-step phase unwrapping based on swin-UNet-denoise and least squares method[J]. Laser Technol, 2024, 48(5): 752−758.

陈翠茹, 王华英, 赵宝群, 等. 基于UMnet的数字全息相位解包裹[J]. 激光技术, 2023, 47(1): 73−79.

Chen C R, Wang H Y, Zhao B Q, et al. Digital holographic phase unwrapping based on UMnet[J]. Laser Technol, 2023, 47(1): 73−79.

Chen C, Gao N, Zhang Z H. Simple calibration method for dual-camera structured light system[J]. J Eur Opt Soc Rapid Publ, 2018, 14(1): 23.

赖姗姗, 刘元坤, 于馨, 等. 一种高精度的非线性相位误差校正方法[J]. 光电工程, 2021, 48(4): 200296.

Lai S S, Liu Y K, Yu X, et al. A high-accuracy nonlinear phase error compensation method[J]. Opto-Electron Eng, 2021, 48(4): 200296.

Chatterjee A, Govindu V M. Noise in structured-light stereo depth cameras: modeling and its applications[Z]. arXiv: 1505.01936, 2015. https://doi.org/10.48550/arXiv.1505.01936.

Fan L, Wang Y J, Zhang H X, et al. High-accuracy 3D contour measurement by using the quaternion wavelet transform image denoising technique[J]. Electronics, 2022, 11(12): 1807.

Boyat A K, Joshi B K. A review paper: noise models in digital image processing[J]. Sign Image Process Int J, 2015, 6(2): 63−75.

Fu B, Zhao X Y, Song C M, et al. A salt and pepper noise image denoising method based on the generative classification[J]. Multimed Tools Appl, 2019, 78(9): 12043−12053.

Wu W C, Lv G N, Duan Y Y, et al. Dual convolutional neural network with attention for image blind denoising[J]. Multimed Syst, 2024, 30(5): 263.

Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 7132–7141. https://doi.org/10.1109/CVPR.2018.00745.

Li H Y, Wu H Y, Chen X W, et al. Towards boosting the channel attention in real image denoising: sub-band pyramid attention[Z]. arXiv: 2012.12481, 2020. https://doi.org/10.48550/arXiv.2012.12481.

Malyugina A, Anantrasirichai N, Bull D. Wavelet-based topological loss for low-light image denoising[J]. Sensors, 2025, 25(7): 2047.

Zhang Y, Li D S, Law K L, et al. IDR: self-supervised image denoising via iterative data refinement[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022: 2088–2097. https://doi.org/10.1109/CVPR52688.2022.00214.

Liu J M, Wu C H, Wang Y Z, et al. Learning raw image denoising with Bayer pattern unification and Bayer preserving augmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019: 2070–2077. https://doi.org/10.1109/CVPRW.2019.00259.

Zhang J R, Zhang Y J, Chen B. Out-of-focus projector calibration method with distortion correction on the projection plane in the structured light three-dimensional measurement system[J]. Sensors, 2017, 17(12): 2963.

Huang B Y, Ozdemir S, Tang Y, et al. A single-shot-per-pose camera-projector calibration system for imperfect planar targets[C]//2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), 2018: 15–20. https://doi.org/10.1109/ISMAR-Adjunct.2018.00023.

邓仕超, 周炉保, 何新凯. 改进的三频四步相移面结构光三维重建算法[J]. 组合机床与自动化加工技术, 2024, (8): 13−16,21.

Deng S C, Zhou L B, He X K. Improved three-frequency four-step phase-shifted surface structured light 3D reconstruction algorithm[J]. Mod Mach Tool Automat Manuf Techn, 2024, (8): 13−16,21.

刘欣冉. 基于相位测量轮廓术的三维轮廓测量系统研究[D]. 南京: 东南大学, 2015: 32–54. https://doi.org/10.7666/d.Y2921534.

Liu X R. Three-dimensional profile measurement system based on phase measuring profilometry[D]. Nanjing: Southeast University, 2015: 32–54. https://doi.org/10.7666/d.Y2921534.

田浩南, 李素梅. 基于边缘的SSIM图像质量客观评价方法[J]. 光子学报, 2013, 42(1): 110−114.

Tian H N, Li S M. Objective evaluation method for image quality based on edge structure similarity[J]. Acta Photonica Sinica, 2013, 42(1): 110−114.

Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005: 60–65. https://doi.org/10.1109/CVPR.2005.38.

Shao G F, Gao Y B, Zuo J Y, et al. An improved BM3D method for eDNA mieroarray image denoising[C]//Proceedings of the 13th International Conference on Computer Science & Education (ICCSE), 2018: 1–6. https://doi.org/10.1109/ICCSE.2018.8468760.

Yang D, Sun J. BM3D-Net: a convolutional neural network for transform-domain collaborative filtering[J]. IEEE Sig Process Lett, 2018, 25(1): 55−59.

Dutta S, Basarab A, Georgeot B, et al. DIVA: deep unfolded network from quantum interactive patches for image restoration[J]. Pattern Recogn, 2024, 155: 110676.

Singh P, Diwakar M, Gupta R, et al. A method noise-based convolutional neural network technique for CT image denoising[J]. Electronics, 2022, 11(21): 3535.

Polo M E, Cuartero A, Felicísimo Á M. Study of uncertainty and repeatability in structured-light 3D scanners[Z]. arXiv: 1910.13199, 2019. https://doi.org/10.48550/arXiv.1910.13199.

Chen M J, Li Q, Shimasaki K, et al. A novel dynamic light-section 3D reconstruction method for wide-range sensing[J]. Sensors, 2024, 24(12): 3793.

Zhang D Y, Lingamanaik S N, Chung H. Image-based 3D reconstruction for rail profile measurement[J]. Proc Inst Mech Eng Part F J Rail Rap Trans, 2023, 237(3): 309−321.

Gu F F, Song Z, Zhao Z L. Single-shot structured light sensor for 3D dense and dynamic reconstruction[J]. Sensors, 2020, 20(4): 1094.

2026年第53卷第4期

PDF下载

142

引用本文

BibTeX

文章信息

doi: 10.12086/oee.2026.250272

接收时间：2025-09-10
首发时间：2026-07-02
出版时间：2026-04-24

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-09-10
修回日期：2026-01-12
录用日期：2026-01-16

基金

作者信息

¹中国计量大学计量测试与仪器学院，浙江杭州 310018

²杭州沃镭智能科技股份有限公司，浙江杭州 310018

通讯作者:

胡晓峰，12B0202094@cjlu.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/oee/CN/10.12086/oee.2026.250272

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

Patch size /px	Sliding window stride /px	Training stage (Epoch)	Learning rate (Adam)
64×64	32	Epoch 1–20	5e-4
96×96	48	Epoch 21–35	3e-4
128×128	64	Epoch 36–50	1e-4、1e-5

Patch size /px

Sliding window
stride /px

Training stage (Epoch)

Learning rate (Adam)

64×64

Epoch 1–20

5e-4

96×96

Epoch 21–35

3e-4

128×128

Epoch 36–50

1e-4、1e-5

Sensor	Intrinsics (f_x, f_y) /px; (c_x, c_y) /px	Extrinsics ${\boldsymbol{R}} $ /-; ${\boldsymbol{T}} $/mm	Reprojection errors e_rms /px	Distortion coefficients /-Radial (k₁, k₂, k₃); Tangential (p₁, p₂) ×10⁻³
Left camera	(3637.76, 3637.73); (1231.40, 999.93)	$ {\boldsymbol{R}}_{\mathrm{l}}=I \quad {\boldsymbol{T}}_{\mathrm{l}}=0 $	0.070	(−0.0956, 0.2725, −0.9394); (−1.300, −1.100)
Right camera	(3628.19, 3629.24); (1197.52, 1012.36)	$ {\boldsymbol{R}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9258 & -0.0274 & -0.3768 \\-0.0151 & 0.9938 & -0.1096 \\0.3775 & 0.1072 & 0.9197\end{array}\right] \quad{\boldsymbol{ T}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}67.4552 \\-58.2165 \\187.9625\end{array}\right]$	0.070	(−0.1155, 0.7025, −4.0291); (−0.1853, −0.5346)
Projector	(1113.33, 2224.74); (449.20, 1158.62)	$ {\boldsymbol{R}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9649 & 0.0450 & -0.2586 \\-0.0260 & 0.9967 & 0.0766 \\0.2612 & -0.0672 & 0.9629\end{array}\right] \quad {\boldsymbol{T}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}-76.9133 \\-64.9604 \\173.2837\end{array}\right]$	0.045	(0.0273, 0.0048, −0.5186); (−2.800, −0.700)

Sensor

Intrinsics
(f_x, f_y) /px; (c_x, c_y) /px

Extrinsics

${\boldsymbol{R}} $

/-;

${\boldsymbol{T}} $

/mm

Reprojection
errors e_rms /px

Distortion coefficients /-Radial
(k₁, k₂, k₃); Tangential (p₁, p₂) ×10⁻³

Left camera

(3637.76, 3637.73);
(1231.40, 999.93)

$ {\boldsymbol{R}}_{\mathrm{l}}=I \quad {\boldsymbol{T}}_{\mathrm{l}}=0 $

0.070

(−0.0956, 0.2725, −0.9394);
(−1.300, −1.100)

Right camera

(3628.19, 3629.24);
(1197.52, 1012.36)

$ {\boldsymbol{R}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9258 & -0.0274 & -0.3768 \\-0.0151 & 0.9938 & -0.1096 \\0.3775 & 0.1072 & 0.9197\end{array}\right] \quad{\boldsymbol{ T}}_{{\mathrm{r}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}67.4552 \\-58.2165 \\187.9625\end{array}\right]$

0.070

(−0.1155, 0.7025, −4.0291);
(−0.1853, −0.5346)

Projector

(1113.33, 2224.74);
(449.20, 1158.62)

$ {\boldsymbol{R}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{rrr}0.9649 & 0.0450 & -0.2586 \\-0.0260 & 0.9967 & 0.0766 \\0.2612 & -0.0672 & 0.9629\end{array}\right] \quad {\boldsymbol{T}}_{{\mathrm{p}} \rightarrow {\mathrm{l}}}=\left[\begin{array}{r}-76.9133 \\-64.9604 \\173.2837\end{array}\right]$

0.045

(0.0273, 0.0048, −0.5186);
(−2.800, −0.700)

Sample type	Processing method	PSNR/dB	SSIM	RMSE
Standard step block	Noisy	35.74	0.8909	0.0163
DnCNN	43.11	0.9654	0.0061
Plaster bust	Noisy	35.73	0.8892	0.0164
DnCNN	42.90	0.9627	0.0063
PCB	Noisy	35.71	0.8881	0.0166
DnCNN	42.69	0.9643	0.0062

Sample type

Processing method

PSNR/dB

SSIM

RMSE

Standard step block

Noisy

35.74

0.8909

0.0163

DnCNN

43.11

0.9654

0.0061

Plaster bust

Noisy

35.73

0.8892

0.0164

DnCNN

42.90

0.9627

0.0063

PCB

Noisy

35.71

0.8881

0.0166

DnCNN

42.69

0.9643

0.0062

Experiment setting	Input	SE module	Loss function	PSNR/dB	SSIM	RMSE
Original DnCNN	Single-channel (Noisy)	No	MSE	41.11	0.9442	0.0087
Improved-1	Dual-channel (Noisy+Filtered)	NO	MSE	42.16	0.9552	0.0072
Improved-2	Dual-channel (Noisy+Filtered)	YES	MSE	42.85	0.9632	0.0071
Improved-3 (final)	Dual-channel (Noisy+Filtered)	YES	MSE,SSIM and Edge	42.90	0.9627	0.0063

Experiment setting

Input

SE module

Loss function

PSNR/dB

SSIM

RMSE

Original DnCNN

Single-channel (Noisy)

MSE

41.11

0.9442

0.0087

Improved-1

Dual-channel (Noisy+Filtered)

MSE

42.16

0.9552

0.0072

Improved-2

Dual-channel (Noisy+Filtered)

YES

MSE

42.85

0.9632

0.0071

Improved-3 (final)

Dual-channel (Noisy+Filtered)

YES

MSE,SSIM and Edge

42.90

0.9627

0.0063

Method	PSNR/dB	SSIM	RMSE
NLM	39.4	0.9253	0.0097
BM3D	40.5	0.9361	0.0090
BM3D-Net	40.9	0.9445	0.0087
DIVA	41.8	0.9540	0.0078
Our method	42.9	0.9627	0.0063

Method

PSNR/dB

SSIM

RMSE

NLM

39.4

0.9253

0.0097

BM3D

40.5

0.9361

0.0090

BM3D-Net

40.9

0.9445

0.0087

DIVA

41.8

0.9540

0.0078

Our method

42.9

0.9627

0.0063

Indicator	RMSE/mm	95% error/mm	Maximum error/mm	Point cloud density/(pts/mm²)
Noisy Point Cloud	0.7140	0.2376	13.65	180.22
Denoised Point Cloud	0.3774	0.1369	11.37	258.74
Representative Metrics	0.20-0.60	0.20-0.80	8-15	100-500

Indicator

RMSE/mm

95% error/mm

Maximum error/mm

Point cloud density/(pts/mm²)

Noisy Point Cloud

0.7140

0.2376

13.65

180.22

Denoised Point Cloud

0.3774

0.1369

11.37

258.74

Representative Metrics

0.20-0.60

0.20-0.80

8-15

100-500

Method	P (E>2 mm)/%	P (E>5 mm)/%
Noisy	0.72	0.22
Denoised	0.33	0.07

Method

P (E>2 mm)/%

P (E>5 mm)/%

Noisy

0.72

0.22

Denoised

0.33

0.07

Method	Thr	Rsingle/%	A50/px	A90/px	$ \overline{d}\mathrm{_{NND}} $/px
Noisy	>2	28	3	9	3.6
Denoised	>2	66	1	2	6.9
Noisy	>5	38	2	6	4.2
Denoised	>5	78	1	2	7.2

Method

Thr

Rsingle/%

A50/px

A90/px

$ \overline{d}\mathrm{_{NND}} $

/px

Noisy

3.6

Denoised

6.9

Noisy

4.2

Denoised

7.2

Region	Metric	Pre-denoising (Noisy)	Post-denoising (Denoised)
Flat region (~85% pixels)	95% error/ mm	0.225	0.130
RMSE/ mm	0.680	0.360
Edge region (Top10%–15%)	95% error/ mm	0.310	0.170
RMSE/ mm	0.920	0.480
DBE-Accuracy	0.929	0.982
DBE-Completeness	0.463	0.964
Normal angle P95/(°)	5.47	2.89
Normal angle Mean/(°)	4.04	1.41

Region

Metric

Pre-denoising (Noisy)

Post-denoising (Denoised)

Flat region
(~85% pixels)

95% error/ mm

0.225

0.130

RMSE/ mm

0.680

0.360

Edge region (Top10%–15%)

95% error/ mm

0.310

0.170

RMSE/ mm

0.920

0.480

DBE-Accuracy

0.929

0.982

DBE-Completeness

0.463

0.964

Normal angle P95/(°)

5.47

2.89

Normal angle Mean/(°)

4.04

1.41