光电工程

Focusing degree	Phase error/rad		Contrast
DZF	0.3013	0.0853	0.0242	0.6095	0.5633	0.4506
RLF	0.1174	0.0692	0.0256	0.6091	0.5604	0.4498
CIDLF	0.0898	0.0427	0.0215	0.6083	0.5626	0.4492

Focusing degree	Phase error/rad		Contrast
DZF	0.3013	0.0853	0.0242	0.6095	0.5633	0.4506
RLF	0.1174	0.0692	0.0256	0.6091	0.5604	0.4498
CIDLF	0.0898	0.0427	0.0215	0.6083	0.5626	0.4492

Phase Error	$\Delta \varPhi^{32 \text {-step }}/\mathrm{rad} $
Focused	0.2787	0.0724	0.3012	0.0898
Defocused	0.0613	0.0223	0.0825	0.0417
DNN	0.0613	0.0223	0.0614	0.0225

Phase Error	$\Delta \varPhi^{32 \text {-step }}/\mathrm{rad} $
Focused	0.2787	0.0724	0.3012	0.0898
Defocused	0.0613	0.0223	0.0825	0.0417
DNN	0.0613	0.0223	0.0614	0.0225

菱形像素DLP投影仪对PMP系统精度影响及改善

PDF下载

罗佳程 ¹^,² , 程星星 ¹ , 万同 ¹ , 李勇 ¹^,²^,^*^,^*

光电工程 | 研究论文 2026,53(3): 250290-1

收起

光电工程 |研究论文 2026 , 53 (3) : 250290 -1

菱形像素DLP投影仪对PMP系统精度影响及改善

全屏

罗佳程¹^,², 程星星¹, 万同¹, 李勇¹^,²^,^*^,^*

作者信息

¹浙江师范大学信息光学研究所，浙江金华 321004

²浙江省光信息检测与显示技术重点实验室，浙江金华 321004

通讯作者:

李勇，liyong@zjnu.cn

作者简介:

作者贡献

罗佳程：文献调研，DNN网络构建，进行数据处理，论文写作与修改；程星星：文献调研，实验设计，论文初稿写作；万同：实验系统搭建，实验数据采集；李勇：指导论文选题、论文方法设计、论文修改。

罗佳程 (2001-)，男，硕士研究生，主要从事光学三维测量方面的研究。E-mail：17870055584@163.com 17870055584@163.com

李勇 (1972-)，男，博士，教授，主要从事光学三维测量、全息三维显示方面研究。E-mail：liyong@zjnu.cn liyong@zjnu.cn

The impact of diamond pixel DLP projector on the accuracy of PMP system and its improvement

Jiacheng Luo¹^,², Xingxing Cheng¹, Tong Wan¹, Yong Li¹^,²

Affiliations

¹Institute of Information Optics, Zhejiang Normal University, Jinhua, Zhejiang 321004, China

²Key Laboratory of Optical Information Detecting and Display Technology of Zhejiang Province, Jinhua, Zhejiang 321004, China

Corresponding Author:

liyong@zjnu.cn

出版时间: 2026-03-25 doi: 10.12086/oee.2026.250290

文章导航

摘要

收起

采用菱形像素的数字光处理 (DLP)投影仪投射的条纹边缘呈锯齿状。当投影仪像素尺寸远大于相机像素尺寸时会显著降低相位测量轮廓术中相位测量精度。尤其是投射垂直条纹图案时，条纹采样频率变为水平条纹的一半，并且锯齿状更明显。为提高采用菱形像素DLP投影仪的相位测量轮廓术 (PMP)系统的测量精度，提出了一种结合条纹像素重映射与深度学习的新方法。首先通过像素重映射设计了具有列交错菱形直线像素排列的条纹图案提高垂直条纹采样频率；然后构建并训练了结合残差网络与UNet架构的深度神经网络 (DNN)，在最大限度保留物体细节的同时平滑拍摄的条纹图像。同时，还提出了训练数据集构建方法，通过离焦投影与相移算法结合生成网络输出的高质量真值。实验结果表明，采用提出的方法，相位测量精度显著提高，同时很好保留了被测物体的细节。

关键词

光学三维传感 / 条纹投影轮廓术 / 像素重映射 / 深度学习

Abstract

收起

Objective

Phase measurement profilometry (PMP) has emerged as a key optical technique for acquiring three-dimensional (3D) surface information. It has been successfully adopted in fields such as precision manufacturing, biomedical imaging, robotics, security inspection, and digital entertainment. Recently, the demand for high-resolution optical 3D measurement has increased rapidly. In the high-resolution PMP system with digital projector, the measurement error caused by pixel matching between projector and camera becomes obvious. In ultra-high-resolution PMP systems with a high projector-to-camera pixel size ratio (PPSR), fringe patterns projected by diamond pixel digital light processing (DLP) projectors exhibit prominent zigzag edges. Furthermore, the sampling frequency of vertical fringes is only half that of horizontal fringes, resulting in a significant decline in phase measurement accuracy and becoming a key bottleneck restricting system performance. Addressing this critical issue requires a comprehensive solution that mitigates both pixel dimension induced and discrete sampling errors.

Methods

A high-precision measurement method combining pixel remapping and deep learning was proposed to overcome these challenges. Firstly, by analyzing the transmission characteristics of fringes in the PMP system and the pixel mapping law of diamond pixel projectors, a pixel remapping scheme for column-interlaced diamond linear fringes (CIDLF) was designed. This scheme rearranges diamond pixels into column-interleaved straight-line arrangements, doubling the sampling frequency of vertical fringes while effectively alleviating the zigzag phenomenon on fringe edges. Unlike the traditional diamond zigzagged fringe (DZF) and rectangle linear fringe (RLF), CIDLF maintains consistent fringe width between design and projection, ensuring better sinusoidality of projected fringes. Secondly, a ResUNet deep neural network integrating residual network and UNet architectures was constructed to smooth the captured fringes. The UNet component enables spatial downsampling and upsampling for high-level feature extraction and detail recovery through skip connections, which fuse low-level pixel information with high-level semantic features. Residual modules incorporated into both encoder and decoder paths alleviate gradient vanishing and overfitting during deep network training, enhancing the network’s ability to preserve fine object details while smoothing fringes. The network’s basic convolution block (BasicConv) consists of 3×3 convolution, batch normalization, dropout regularization, and rectified linear unit activation, ensuring efficient feature learning and noise suppression. To ensure reliable network training, a high-quality dataset construction method combining defocused projection and the 32-step phase-shifting algorithm was developed. The focused fringes and defocused fringes corresponding to the focused one are captured. Then, parameters of fringes including background, amplitude and phase are obtained with 32-step phase-shifting algorithm and the averages of the background and amplitude of the two types of fringes are worked out. A high contrast smooth fringe is generated using the above parameters as the ground truth. The dataset included 19200 fringe images for training, 400 for validation, and 400 for testing, covering fringe patterns with periods of 8, 12, and 16 pixels. The ResUNet was trained using stochastic gradient descent (SGD) optimization with a mean squared error (MSE) loss function. Training spanned 100 epochs with a batch size of 8; the initial learning rate of 5×10⁻¹ was updated to 5×10⁻² after 20 epochs, resulting in a final training MSE of 1.0128×10⁻⁵ and a validation MSE of 5.4261×10⁻⁵.

Results and Discussions

An experimental system composed of a LightCrafter 4500 projector (1140 pixel×912 pixel) and a Bonito CL-400C camera (2320 pixel×1736 pixel) with a Nikon zoom lens was established to verify the method. PPSR was adjusted by modifying the camera lens focal length, covering values from 0.5 to 85. Experimental results demonstrated that as PPSR increased, the pixel structure of the projector in fringe patterns became more distinct, leading to more prominent regular distributions of phase measurement errors. For traditional DZF, the phase error reached 0.3013 rad in the focused state, while CIDLF achieved a significantly lower error of 0.0898 rad, outperforming both DZF and RLF across all focusing conditions. When combined with ResUNet processing, the phase measurement error of CIDLF under the 4-step phase-shifting algorithm was reduced to 0.0225 rad, approaching the 0.0223 rad error of the 32-step algorithm. This performance is particularly valuable for high-speed 3D measurement applications that require fewer phase shifts. In measurements of step-shaped objects and objects with step reflectivity, CIDLF processed by ResUNet showed phase curves nearly identical to those of defocused CIDLF, with steeper edge transitions and smoother reflectivity boundary regions compared to processed DZF. For complex objects, the proposed method maintained low phase measurement errors even in intricate regions, outperforming defocused projection and DZF processing. The method effectively balances fringe smoothness and detail preservation, resolving the trade-off between error reduction and information retention in high-PPSR systems.

Conclusions

This method effectively resolves the measurement error issues caused by diamond pixel DLP projectors under high PPSR conditions. By combining pixel remapping to optimize fringe sampling and ResUNet to refine captured images, it achieves both high measurement accuracy and detail preservation. The proposed dataset construction method ensures robust network training, enabling the system to perform well with fewer phase shifts. This work provides a feasible approach for achieving high-precision, high-resolution, and high-speed 3D measurement. Future research will focus on adapting the network to varying system configurations and expanding its applicability to dynamic measurement scenarios.

Key words

optical three-dimensional sensing / fringe projection profilometry / pixel remapping / deep learning

引用本文

罗佳程, 程星星, 万同, 李勇. 菱形像素DLP投影仪对PMP系统精度影响及改善. 光电工程, 2026 , 53 (3) : 250290 -1 . DOI: 10.12086/oee.2026.250290

Jiacheng Luo, Xingxing Cheng, Tong Wan, Yong Li. The impact of diamond pixel DLP projector on the accuracy of PMP system and its improvement[J]. Opto-Electronic Engineering, 2026 , 53 (3) : 250290 -1 . DOI: 10.12086/oee.2026.250290

正文

收起

1　引　言

收起

光学三维传感技术^[1]已广泛应用于制造、生物医学工程、机器人、安防及娱乐等多个领域^[2-3]。相位测量轮廓术是其中的重要技术之一^[4-6]。典型的相位测量轮廓术 (phase measurement profilometry, PMP)系统由一台用于向物体投射条纹图案^[7-8]的投影仪和一台用于采集被物体形状与反射率调制的变形条纹的相机构成。随着技术的发展，数字投影仪因其具有使用灵活和能实现高精度相移的优势，在PMP系统中得到广泛应用。数字投影仪所投射的正弦条纹在空间上是离散的，而相机所采集到的变形条纹图像可视为由空间离散的感光单元对离散条纹的重采样。若投影与成像设备之间像素的匹配关系不合理，将在相位测量过程中引入附加误差，进而增大三维测量误差。高分辨率投影仪成本较高，在超高分辨率PMP系统中通常采用像素尺寸小的相机，而投影仪的像素尺寸大。超高分辨率PMP系统中，条纹离散性引起的测量误差及其改善是值得研究的课题。

目前，数字光处理 (digital light processing, DLP)投影仪中广泛采用矩形像素和菱形像素两种不同的数字微镜器件 (digital micromirror device, DMD)。不同的像素形状对测量精度有不同的影响。研究者对此进行了一系列的研究。Hyun等人^[9]研究了投影仪像素形状对超高分辨率三维形貌测量精度的影响。发现当相机像素尺寸显著小于投影仪像素尺寸时，矩形像素投影仪优于菱形像素投影仪。Zhang等人^[10]分析了菱形像素投影仪的像素映射规律。指出由于条纹图案结构简单，通过像素重映射可以提高投射条纹的质量，其中倾斜角为45°的条纹图案质量最佳。Cheng等人^[11]提出了一种基于深度学习的后处理方法，利用深度神经网络 (deep neural network, DNN)对拍摄的条纹进行处理，获得光滑的高对比度条纹，提升超高分辨率PMP系统的测量精度。

深度学习作为新型数据处理手段，较传统方法具有独特优势，已成功应用于PMP系统^[12-17]。本文从设计投影条纹时的采样与菱形像素DLP投影仪的特点出发，研究条纹预处理与后处理结合的PMP系统测量精度提高方法。对测量过程中条纹的传输进行了理论分析。根据采样理论，设计的条纹采样频率越高，投影的条纹质量越好，有助于提高三维测量精度。分析投影仪投射规律，建立了投影仪像素映射模型。通过像素重映射使垂直条纹的采样频率加倍，并降低了条纹边缘锯齿现象。进一步，运用DNN对采集的边缘锯齿化及像素结构明显的条纹进行平滑，提高相位测量精度，从而提高三维测量精度，同时最大程度保留物体细节信息。

2　原　理

收起

2.1　标准N步相移算法

标准N步相移算法在PMP中应用广泛。相机采集到的第n幅条纹图像可表示为

$ {I_n} (u,v) = A (u,v) + B (u,v)\cos [\varphi (u,v)- 2n{\text{π}} /N],$

(1)

式中：

$n = 0,1,2, \cdots ,N - 1 $

，I_n (u,v)为变形条纹；A (u,v)、B (u,v)和φ (u,v)分别为背景、调制度和相位；u和v分别代表水平与垂直方向的像素坐标；N为相移步数。通过式(2)可求解相位φ (u,v)：

$ \varphi (u, v)=-\arctan \dfrac{\displaystyle{\sum}_{n=0}^{N-1} I_n (u, v) \sin \dfrac{2 n {\text{π}}}{N}}{\displaystyle{\sum}_{n=0}^{N-1} I_n (u, v) \cos \dfrac{2 n {\text{π}}}{N}} . $

(2)

由式 (2)得到的相位被截断在区间[−π,π)内。截断相位与连续相位之间的关系为：

$ \varphi_u (u, v)=\varphi (u, v)+2 k (u, v) {\text{π}} , $

(3)

式中：φ_u (u,v)为连续相位；φ (u,v)为截断相位；k (u,v)为条纹级次。条纹的背景由式(4)求解：

$ A (u, v)=\frac{1}{N} \sum_{n=0}^{N-1} I_n (u, v) . $

(4)

条纹的调制度由式(5)求解：

$ B (u, v) = \dfrac{2}{N} \sqrt{\left (\sum_{n=0}^{N-1} I_n (u, v) \sin \dfrac{2 n {\text{π}}}{N}\right)^2 + \left (\sum_{n=0}^{N-1} I_n (u, v) \cos \dfrac{2 n {\text{π}}}{N}\right)^2} . $

(5)

2.2　投影仪与相机之间的条纹传递

在PMP系统中，正弦条纹经投影仪投影至物体表面后由相机捕获。数字投影仪和相机均由具有一定尺寸的像素构成。投射的条纹是对连续条纹的二维采样，其数学模型为

$ \begin{split}{I_{\mathrm{p}}} (x,y) =& \Bigg\{ {\left[ {{I_{\mathrm{f}}} (x,y){{ comb}} \left ( {\frac{x}{{\Delta {x_{\mathrm{p}}}}},\frac{y}{{\Delta {y_{\mathrm{p}}}}}} \right)} \right]}\\& {*{P_{\mathrm{p}}} (x,y)} \Bigg\}*{h_{\mathrm{p}}} (x,y)\end{split}, $

(6)

式中：

$ I_{\mathrm{p}} (x, y)$

为实际投影的条纹；

$ I_{\mathrm{f}} (x, y)$

为连续条纹；

$ {{comb}} ( \cdot )$

为二维梳状函数；

$ \Delta x_{\mathrm{p}}$

和

$ \Delta y_{\mathrm{p}}$

分别为x与y方向上的采样周期；

$h_{\mathrm{p}} (x, y)$

为投影系统的点扩散函数；

$ P_{\mathrm{p}} (x, y)= {rect}\left (\dfrac{x}{\Delta x_{\mathrm{p}}^{\prime}}, \dfrac{y}{\Delta y_{\mathrm{p}}^{\prime}}\right)$

表示投影仪像元占据的空间；

$ \Delta x'_{\mathrm{p}}$

和

$ \Delta y'_{\mathrm{p}}$

分别为投影仪像素单元在x与y方向上的尺寸。为更直观地考察投影条纹的特点，对式 (6)进行傅里叶变换，在频域进行分析：

$ \begin{split}{{\tilde I}_{\mathrm{p}}}\left ( {{f_x},{f_y}} \right) =& \left\{ {\Delta {x_{\mathrm{p}}}\Delta {y_{\mathrm{p}}}\left[ {{{\tilde I}_{\mathrm{f}}}\left ( {{f_x},{f_y}} \right)} \right.} \right.*{{comb}}\left ( {\Delta {x_{\mathrm{p}}}{f_x},} \right.\\& \left. {\left. {\left. {\Delta {y_{\mathrm{p}}}{f_y}} \right)} \right]\mathop {\tilde P}\nolimits_{\mathrm{p}} \left ( {{f_x},{f_x}} \right)} \right\}{H_{\mathrm{p}}}\left ( {{f_x},{f_x}} \right)\end{split}, $

(7)

式中：

$ \tilde{I}_{\mathrm{p}}\left (f_x, f_y\right)$

是投影条纹的频谱；

$ \tilde{I}_{\mathrm{f}}\left (f_x, f_y\right)$

是连续条纹的频谱；

$ {H}_{{\mathrm{p}}} ({f}_{x},{f}_{y}) $

是投影仪的传递函数；

$ \tilde{P}_{\mathrm{p}}\left (f_x, f_y\right)=$

$ \Delta x_{\mathrm{p}}^{\prime} \Delta y_{\mathrm{p}}^{\prime} {{\mathrm{sinc}}}$

$ \left (\Delta x_{\mathrm{p}}^{\prime} f_x, \Delta y_{\mathrm{p}}^{\prime} f_y\right)$

是

$ {P}_{{\mathrm{p}}} (x,y) $

的频谱。从式(7)中可以看出，投影条纹频谱中存在以

$ 1 / \Delta x_{\mathrm{p}}$

为周期的谐波成分，其频率位置为

$ l / \Delta x_{\mathrm{p}} \pm f_x (l=0, \pm 1, \pm 2, \cdots $

，l为谐波阶数，且这些谐波的能量随频率升高 (即

$ \left| {l}\right| $

增大)而逐渐衰减。因此，条纹的采样频率越高，高次谐波的能量越低。根据相移法理论，相位测量精度越高。投影仪离焦相当于对条纹做低通滤波，能够滤除高次谐波，但是投影条纹的对比度会降低。拍摄的条纹信噪比也降低。

在相机采集变形条纹的过程中，条纹图案将被再次采样。相机采集的图像表示为

$ \begin{split}I (u,v) =& \left\{ {\left[ {{I_{\rm{p}}} (x,y)*{h_{\mathrm{c}}} (x,y)} \right]}{*{P_{\mathrm{c}}} (x,y)} \right\}\\& \cdot{{ comb}} \left ( {\frac{x}{{\Delta {x_{\mathrm{c}}}}},\frac{y}{{\Delta {y_{\mathrm{c}}}}}} \right)\end{split}, $

(8)

式中：I (u,v)代表相机拍摄的条纹；

$ u=x / \Delta x_{\mathrm{c}}$

，

$ v= y / \Delta y_{\mathrm{c}} $

；

$ \Delta x_{\mathrm{c}} $

和

$ \Delta y_{\mathrm{c}}$

分别为相机像元在x与y方向上的间隔；

$ h_{\mathrm{c}} (x, y)$

为成像系统的点扩散函数；

$ P_{\mathrm{c}} (x, y)={rect}\left (\dfrac{x}{\Delta x_i^{\prime}}, \dfrac{y}{\Delta y_i^{\prime}}\right)$

表示相机像元占据的空间；

$\Delta x_i^{\prime} $

和

$ \Delta y_i^{\prime} $

分别为相机在x和y方向上的像素尺寸。同样，对式 (8)进行傅里叶变换，得：

$ \begin{split}{{\tilde I}_{\mathrm{c}}}\left ( {{f_x},{f_y}} \right) = &\Delta {x_{\mathrm{c}}}\Delta {y_{\mathrm{c}}}\left\{ {\left[ {{{\tilde I}_{\rm{p}}}\left ( {{f_x},{f_y}} \right){H_{\mathrm{c}}}\left ( {{f_x},{f_y}} \right)} \right]} \right.\\&\left. \cdot{\mathop {\tilde P}\nolimits_{\mathrm{c}} \left ( {{f_x},{f_y}} \right)} \right\}*{\mathop{ comb}\nolimits} \left ( {\Delta {x_{\mathrm{c}}}{f_x},\Delta {y_{\mathrm{c}}}{f_y}} \right)\end{split}, $

(9)

式中：

$ \tilde{I}_{\mathrm{c}}\left (f_x, f_y\right) $

是拍摄条纹的频谱；

$ \tilde{P}_{\mathrm{c}}\left (f_x, f_y\right)=$

$\Delta x_i^{\prime} \Delta y_i^{\prime} {{\mathrm{sinc}}} $

$ \left (\Delta x_i^{\prime} f_x, \Delta y_i^{\prime} f_y\right)$

是

$ {P}_{{\mathrm{c}}} (x,y) $

的频谱；

$ {H}_{{\mathrm{c}}} ({f}_{x},{f}_{y}) $

是相机的传递函数。从式(9)可以看出，相机的像元相当于一个低通滤波器。像元尺寸越大，滤波器的截止频率越低。

由上述分析可知，如果投影仪与相机的等效像素尺寸匹配不当，将会引入额外的误差。投影仪像素与相机像素之间的两种典型关系，即高投影仪-相机像素尺寸比 (projecto-camera pixel size ratio, PPSR)和低PPSR，如图1所示。其中，红色矩形代表相机像素，蓝色矩形代表数字投影仪像素，矩形的大小反映了像元的尺寸。当PPSR较高时，投影仪的像素结构会在成像中被清晰捕获，导致所采集的条纹光强分布曲线呈阶梯状。相位测量的精度降低，进而降低了三维测量精度。相反，当PPSR较低时，所采集的条纹光滑，三维测量精度高。

2.3　像素映射规律

菱形像素DLP投影仪中，设计图案与投射图案的默认映射关系如图2所示。图2(a)给出了设计的条纹，图2(b)给出了投影的条纹。可以看出，计算机编码的垂直条纹在投影后呈“之”字形，且投射条纹的宽度是设计条纹的两倍。此类条纹称为菱形“之”字型条纹 (diamond zigzagged fringe, DZF)，其映射关系为

$ I_{\rm{p}}(x,y)=\left\{\begin{array}{ll}I_{\mathrm{d}}\left(\dfrac{x-1}{2},y\right), & \text{ }x\text{ is odd number } \\ I_{\mathrm{d}}\left(\dfrac{x}{2},y\right), & \text{ }x\text{ is even number }\end{array},\right. $

(10)

式中：I_p (x,y)和I_d (x,y)分别为投射条纹图案与设计条纹图案。

3　测量精度提高方法

收起

3.1　基于像素重映射的条纹优化

根据投影仪的像素映射规律，通过像素重映射可以设计出无锯齿边缘的条纹，使投射条纹的宽度与设计的相一致，如图3(a)所示。条纹的生成过程如下：首先，设计一维正弦分布的条纹；其次，按式(11)生成用于投影的条纹：

$ I_{\mathrm{d}} (x, y)=I_{\mathrm{d}}^{\prime} (x+ { floor } (y / 2)), $

(11)

式中：

$I'_{\mathrm{d}} $

为一维条纹；x和y分别为水平与垂直方向的像素坐标；

$flooor ( \cdot ) $

为向下取整运算。该条纹称为矩形线性条纹 (rectangle linear fringe, RLF)，由矩形像素构成，条纹方向倾斜45°。这种方法能够提高相位测量的精度，但在实际测量中不够方便。为进一步提高三维测量精度，提出一种新的重映射方案，如图3(b)所示。用于投影的条纹按以下步骤生成：首先，设计一个列数为投影仪像素列数2倍的一维正弦条纹；其次，按式(12)生成用于投影的条纹：

$ I_{\mathrm{d}}(x,y)=\left\{\begin{array}{ll}I_{\mathrm{d}}'(2x+1),&y\text{ is even number } \\I_{\mathrm{d}}'(2x), & y\text{ is odd number }\end{array}.\right. $

(12)

该投射条纹被称为行交错菱形线性条纹 (column interlaced diamond linear fringe, CIDLF)，由菱形像素构成，相邻列在垂直方向上相互错位一行。对比图2(b)与图3(b)可知，新映射方案生成的投射条纹更加平滑，且相同物理尺寸时采样频率更高。这有助于提高相位测量精度，从而提升三维测量精度。

3.2　DNN网络结构

当投影仪处于聚焦清晰状态时，投射条纹受菱形像素结构影响，会出现明显锯齿边缘与像素结构。为在平滑条纹的同时保留物体细节，本文采用DNN对采集的变形条纹进行处理。如图4所示，处理过程为

①将含明显投影仪像素结构及锯齿边缘的条纹图案输入至训练好的网络；

②经过网络处理后，可获得平滑的条纹图案，其对比度与输入条纹接近；

③利用标准的N步相移算法提取截断相位；

④通过相位展开算法获得连续相位。

所设计的DNN为ResUNet^[18] (residual U-Net)，如图5所示。图5(a)为ResUNet的整体框架，其结合了U-Net与Resnet。U-Net由编码器、解码器以及跳跃连接组成，用于对输入条纹图像进行空间下采样与上采样操作，实现高层特征的提取与细节特征的恢复。跳跃连接将低层与高层信息相融合，保证了缺失特征的恢复以及像素级信息和语义特征的充分提取。ResUNet在U-Net的编码器与解码器路径中引入残差模块，可缓解深度网络训练中出现的梯度消失与过拟合问题，并进一步增强输出条纹图像的细节恢复能力。图5(b)与图5(c)分别给出了ResUNet中基本卷积算子 (basic convolution, BasicConv)与残差模块 (residual block)的配置。BasicConv定义为四个连续操作的复合函数：一个3×3卷积 (Conv)^[19]、批量归一化 (batch normalization, BN)^[20]、随机失学正则化 (dropout regularization, droupt)^[21]和修正线性单元 (rectified linear unit, ReLU)。残差模块由残差单元与恒等映射组成，每个残差单元包含BasicConv、BN和ReLU。

3.3　数据集构建

数据集的构建是所提方法的关键之一。直接采用离焦投影得到的光滑条纹对比度非常低，受噪音污染严重。本文提出了一种新的方法来构建用于训练、验证和测试的网络输出真值。真值的生成流程如下：①采集投影仪聚焦清晰的条纹以及相同条件下投影仪离焦后的光滑条纹；②利用32步相移算法计算条纹的背景、调制度与相位等参数，并计算两类条纹背景与调制度的平均值；③通过式 (13)生成高对比度的平滑条纹，作为网络输出的真值。

$ \begin{split}I_{\mathrm{g}}(u,v)= & \dfrac{A_{\mathrm{cfmean}}}{A_{\mathrm{cdmean}}}A_{\mathrm{cd}}(u,v)+\dfrac{B_{\mathrm{cfmean}}}{B_{\mathrm{cdmean}}} \\ & B_{\mathrm{cd}}(u,v)\cos\left[\varphi_{\mathrm{cd}}(u,v)\right]\end{split}, $

(13)

式中：A_cfmean和A_cdmean分别为聚焦清晰条纹与离焦条纹的背景平均值；B_cfmean和B_cdmean分别为聚焦清晰条纹与离焦条纹的调制度平均值；A_cd (u,v)和B_cd (u,v)分别为离焦条纹的背景与调制度；φ_cd (u,v)为离焦条纹的相位。

4　实验与结果分析

收起

为了验证所提方法，搭建了一套PMP系统。其由一台分辨率为1140 pixel×912 pixel的投影仪 (LightCrafter 4500)和一台分辨率为2320 pixel×1736 pixel的相机 (Bonito CL-400C)组成，并配备尼康变焦镜头。通过调节相机镜头的焦距，可以改变相机与投影仪之间的PPSR。

4.1　PPSR及像素映射方案实验

首先通过实验研究了PPSR对相位测量精度的影响。在相机与投影仪均处于聚焦状态下，将周期为8个像素的DZF投射到大理石标准平面上，考察PPSR从0.5到85 (共12个取值)条件下的相位测量误差。图6是PPSR分别为1、44和85时的三组实验结果。可以看出，随着PPSR的增大，条纹图案中的投影仪像素结构愈加明显，相位测量误差中的规律性分布也更加突出。实验结果表明，在高PPSR的PMP系统中，由投影仪离散化引入的相位测量误差不可忽略。

接着进行了像素映射方案对测量精度影响的实验。由于RLF的像素间隔是CIDLF的

$ \sqrt{2} $

倍，因此无法设计具有相同物理周期的条纹。在PPSR为85且条纹物理周期接近的条件下，对不同的像素映射方案进行了实验。DZF的周期为4个像素，CIDLF的周期为8个像素，RLF的周期为6个像素。表1为采用标准4步相移时，在投影仪不同聚焦程度下，三种物理周期相近的条纹在标准平面上的相位测量误差及其对比度。可以看出，CIDLF的相位误差显著低于DZF与RLF。当投影仪处于离焦状态时，高次谐波被大量滤除，三种条纹的相位测量误差趋于接近。其中，CIDLF的采样频率最高，相位测量误差最小。

4.2　像素重映射与DNN结合实验

这里采用DZF和CIDLF对所提出的方法进行验证。设计的DNN在一台配备Intel^® Core™ i7-1240P处理器、16 GB内存和NVIDIA Quadro RTX 5000显卡的计算机上实现。数据集包括19200幅用于训练的条纹图像、400幅用于验证的条纹图像以及400幅用于测试的条纹图像。图像包含周期分别为8 pixels、12 pixels和16 pixels的条纹图案。DNN使用随机梯度下降 (stochastic gradient descent, SGD)优化方法进行训练，损失函数为均方误差 (mean squared error, MSE)。训练总共进行100轮，批量大小为8。初始学习率设定为5×10⁻¹，在训练至20轮后，学习率更新为5×10⁻²。网络训练后的MSE为1.0128×10⁻⁵，在验证数据集上预测结果的MSE为5.4261×10⁻⁵。

先对训练完成的DNN进行性能评估。图7为实验中的两幅图像及结果。图7(a)与图7(b)分别是周期为4 pixels的DZF和周期为8 pixels的CIDLF；图7(c)与图7(d)则为对应的处理结果。由图7可以看出，训练好的网络能够有效平滑条纹图，且条纹的对比度保持在较高水平。接着对比了通过投影仪离焦与网络处理后的DZF和CIDLF的相位测量误差。将条纹投影到标准平面上，分别采用标准的32步和4步相移算法进行相位估计。测量误差通过测得相位与拟合曲面之间的残差进行评估。表2列出了聚焦清晰条纹、离焦条纹以及经DNN处理后条纹的相位测量误差。由表2可见，经DNN处理的CIDLF的测量误差最小，且其在4步相移算法下的测量误差已接近32步相移算法的水平。这对于高速三维测量具有重要意义。

然后，对具有阶梯形状和阶梯反射率的物体进行了相位测量实验。采用标准32步相移算法获取相位，结果如图8所示。图8(a)为阶梯形状物体，图8(e)为阶梯反射率物体。图8(b−d)依次给出了图8(a)中物体采用离焦CIDLF、经DNN处理的CIDLF和经DNN处理的DZF条纹测量的相位结果。图8(f−h)依次给出了图8(e)中物体采用离焦CIDLF、经DNN处理的CIDLF和经DNN处理的DZF条纹测量的相位结果。图8(i)中的曲线为图8(b−d)中标记线处的相位变化，图8(k)中的曲线为图8(f−h)中标记线处的相位变化。为便于观察，图8(i)和图8(k)为去除载频后的结果。其中，红色曲线为离焦CIDLF的相位，绿色曲线为经DNN处理的CIDLF的相位，蓝色曲线为经DNN处理的DZF的相位。为了更清晰地呈现实验结果，图8(i)中的两个陡峭区域在图8(j)中放大显示，而图8(k)中阶梯反射率物体的边界区域也被放大。从图中可以看出，经DNN处理的CIDLF相位几乎与离焦CIDLF完全重合，而经DNN处理的DZF相位波动则更为明显。这是由于DZF的采样频率低于CIDLF，其等效像素尺寸大于CIDLF，导致DZF的高次谐波最低频率低于CIDLF。其相位测量精度更易受高次谐波影响。从图8(j)可以看出，经DNN处理的CIDLF在形状边缘处的相位变化比DZF更加陡峭，物体的细节保留得更好。从图8(k)可以看出，在阶梯反射率物体的反射率变化边界附近，经DNN处理的CIDLF相位比DZF更加平滑。

最后，采用复杂物体进行了实验。部分结果如图9所示。以采用标准32步相移算法获得的离焦CIDLF相位作为标准相位。利用标准4步相移算法进行实验。测得相位与标准相位之间差值的绝对值作为相位测量误差。图9(a)分别给出了两个物体采用离焦CIDLF、经DNN处理的DZF与CIDLF测量的相位误差。为便于观察，选取四个区域进行放大，如图9(b)所示。从图中可以看出，当相移步数较少时，经DNN处理的条纹在降低相位测量误差方面表现出色，尤其是对CIDLF而言，其误差能够保持在较低水平。相比之下，虽然经DNN处理的DZF的误差有所降低，但仍高于经DNN处理的CIDLF，尤其在复杂区域差异更为明显。

5　结　论

收起

随着对高分辨率光学三维测量系统需求的不断增长，高分辨率相机在系统中逐渐得到普及。然而，在高PPSR的PMP系统中，由于数字条纹投影的离散性及菱形像素DLP投影仪自身的特点，将会引入明显的额外误差。为此，在分析了PMP系统中条纹的传输特性及投影仪像素映射规律后提出了一种结合像素重映射与DNN的方法提高系统测量精度。对设计的条纹进行重映射，提高投影条纹的采样频率，从而提高投影条纹的正弦性。设计了基于ResUNet的DNN对采集的条纹进行平滑处理，在平滑条纹的同时最大限度保留被测物体细节。提出了采用结合离焦投影与32步相移法的方法生成训练DNN的高质量网络输出真值。实验结果表明，即便采用四步相移算法，所提方法也能显著提升相位测量精度。这对于实现高精度、高分辨率和高速三维测量具有重要意义。另外，本文提出DNN是针对特定测量系统结构参数与PPSR值训练的。如果测量系统的配置改变，结构参数及PPSR与训练时的差异较大时，DNN预测结果将出现较大误差，需要重新构建数据集训练才能适配。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Chen F, Brown G M, Song M. Overview of 3-D shape measurement using optical methods[J]. Opt Eng, 2000, 39 (1): 10−22.

向卓龙, 张启灿, 吴周杰. 结构光投影三维面形测量及纹理贴图方法[J]. 光电工程, 2022, 49 (12): 220169.

Xiang Z L, Zhang Q C, Wu Z J. 3D shape measurement and texture mapping method based on structured light projection[J]. Opto-Electron Eng, 2022, 49 (12): 220169.

贾璐璐, 付帅, 吕艳敏, 等. 彩色条纹投影三维测量系统色差标定与校正方法[J]. 光电工程, 2025, 52 (8): 250043.

Jia L L, Fu S, Lv Y M et al. Chromatic aberration calibration and correction method for color fringe projection three-dimensional measurement system[J]. Opto-Electron Eng, 2025, 52 (8): 250043.

Geng J. Structured-light 3D surface imaging: a tutorial[J]. Adv Opt Photonics, 2011, 3 (2): 128−160.

Xu J, Zhang S. Status, challenges, and future perspectives of fringe projection profilometry[J]. Opt Lasers Eng, 2020, 135: 106193.

Su X Y, Zhang Q C. Dynamic 3-D shape measurement method: a review[J]. Opt Lasers Eng, 2010, 48 (2): 191−204.

Zuo C, Feng S J, Huang L et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Opt Lasers Eng, 2018, 109: 23−59.

应晓霖, 姚建云, 张晓松, 等. 采用LD的光源步进条纹投影三维测量系统[J]. 光电工程, 2021, 48 (11): 210298.

Ying X L, Yao J Y, Zhang X S et al. Fringe projection based three-dimensional measurement system by the light-source-stepping method using LD[J]. Opto-Electron Eng, 2021, 48 (11): 210298.

Hyun J S, Zhang S. Influence of projector pixel shape on ultrahigh-resolution 3D shape measurement[J]. Opt Express, 2020, 28 (7): 9510−9520.

Zhang X S, Zhan J D, He L B et al. Influence of projector pixel arrangement on 3D measurement error under different defocusing degree[J]. Proc SPIE, 2023, 12550: 1255022.

Cheng X X, Xie S Y, He C H et al. Improving the accuracy of ultra-high resolution three-dimensional surface imaging using deep neural network[J]. Opt Laser Technol, 2025, 186: 112768.

Yu H T, Zheng D L, Fu J A et al. Deep learning-based fringe modulation-enhancing method for accurate fringe projection profilometry[J]. Opt Express, 2020, 28 (15): 21692−21703.

Feng S J, Zuo C, Yin W et al. Micro deep learning profilometry for high-speed 3D surface imaging[J]. Opt Lasers Eng, 2019, 121: 416−427.

Feng S J, Chen Q, Gu G H et al. Fringe pattern analysis using deep learning[J]. Adv Photonics, 2019, 1 (2): 025001.

Nguyen H, Dunne N, Li H et al. Real-time 3D shape measurement using 3LCD projection and deep machine learning[J]. Appl Opt, 2019, 58 (26): 7100−7109.

Luo X L, Song W Z, Bai S L et al. Deep learning-enabled invalid-point removal for spatial phase unwrapping of 3D measurement[J]. Opt Laser Technol, 2023, 163: 109340.

代金科, 郑素珍, 苏娟. 基于结构光和深度神经网络的3维面形重建[J]. 激光技术, 2023, 47 (6): 831−840.

Dai J K, Zheng S Z, Su J. 3-D surface reconstruction based on structured light and deep neural network[J]. Laser Technol, 2023, 47 (6): 831−840.

Zhang Z X, Liu Q J, Wang Y H. Road extraction by deep residual U-Net[J]. IEEE Geosci Remote Sens Lett, 2018, 15 (5): 749−753.

Romera E, Álvarez J M, Bergasa L M et al. ERFNet: efficient residual factorized ConvNet for real-time semantic segmentation[J]. IEEE Trans Intell Transp Syst, 2018, 19 (1): 263−272.

Li Y H, Wang N Y, Shi J P et al. Adaptive batch normalization for practical domain adaptation[J]. Pattern Recognit, 2018, 80: 109−117.

Salehin I, Kang D K. A review on dropout regularization approaches for deep neural networks within the scholarly domain[J]. Electronics, 2023, 12 (14): 3106.

2026年第53卷第3期

PDF下载

125

引用本文

BibTeX

文章信息

doi: 10.12086/oee.2026.250290

接收时间：2025-09-26
首发时间：2026-10-22
出版时间：2026-03-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-09-26
修回日期：2025-11-22
录用日期：2025-11-26

基金

作者信息

¹浙江师范大学信息光学研究所，浙江金华 321004

²浙江省光信息检测与显示技术重点实验室，浙江金华 321004

通讯作者:

李勇，liyong@zjnu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/oee/CN/10.12086/oee.2026.250290

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

Focusing degree	Phase error/rad			Contrast
Focusing degree	Focused	Slightly defocused	Seriously defocused	Focused	Slightly defocused	Seriously defocused
DZF	0.3013	0.0853	0.0242	0.6095	0.5633	0.4506
RLF	0.1174	0.0692	0.0256	0.6091	0.5604	0.4498
CIDLF	0.0898	0.0427	0.0215	0.6083	0.5626	0.4492