电源学报

基于点模式匹配的直流输电 VBE 设备电路板缺陷检测方法

PDF下载

刘隆晨 ¹ , 杨玥坪 ¹ , 陈少卿 ¹ , 张鹏 ² , 曹运龙 ²^,³ , 余人 ²^,³

电源学报 | 在线监测 2024,22(3): 272-280

收起

电源学报 | 在线监测 2024, 22(3): 272-280

基于点模式匹配的直流输电 VBE 设备电路板缺陷检测方法

全屏

刘隆晨¹, 杨玥坪¹, 陈少卿¹, 张鹏², 曹运龙²^,³, 余人²^,³

作者信息

¹ 国网四川省电力公司电力科学研究院成都 610041

² 国网四川省电力公司特高压直流中心成都 610000

³ 电力物联网四川省重点实验室成都 610041

刘隆晨(1987-),男,通信作者,博士研究生,高级工程师。研究方向:高压直流输电及换流阀检测试验技术。E-mail: liulongchen@live.cn。

杨玥坪(1995-),男,硕士研究生,工程师。研究方向:柔性直流输电技术。E-mail: yangyp0018@sc.sgcc.com.cn。

陈少卿(1973-),男,博士研究生,教授级高级工程师。研究方向:特高压直流输电技术。E-mail: chensq1616@sc.sgcc.com.cn。

张鹏(1985-),男,本科,高级工程师。研究方向:特高压直流运检技术。E-mail: zhangp0077@sc.sgcc.com.cn。

曹运龙(1984-),男,本科,高级工程师。研究方向:晶闸管换流阀运维技术。E-mail: caoyl1318@sc.sgcc.com.cn。

余人(1991-),男,本科,工程师。研究方向:换流阀阀控系统测试技术。E-mail: yur0015@sc.sgcc.com.cn。

Method for Defect Detection of DC Power Transmission VBE Device Circuit Boards Based on Point Pattern Matching

Longchen LIU¹, Yueping YANG¹, Shaoqing CHEN¹, Peng ZHANG², Yunlong CAO²^,³, Ren YU²^,³

Affiliations

¹ Electric Power Research Institute, State Grid Sichuan Electric Power Company Chengdu 610041 China

² Ultra High Voltage DC Center, State Grid Sichuan Electric Power Company Chengdu 610000 China

³ Power Internet of Things Key Laboratory of Sichuan Province Chengdu 610041 China

出版时间: 2024-05-30 doi: 10.13234/j.issn.2095-2805.2024.3.272

文章导航

摘要

收起

随着特高压直流输电技术飞速发展,换流阀阀基电子VBE(valve base electronics)设备的稳定性对于保障直流输电的可靠性和效率至关重要。VBE 设备电路板缺陷,如短路和失效元件,直接影响直流系统稳定性,而现有的检测方法,包括人工显微镜检查和自动检测算法,常受限于效率低和准确性不足。针对该问题,提出一种基于点模式匹配的自动视觉检测方法,通过生成代表关键区域的点模式并进行匹配来提高检测的效率和准确率。通过实验验证,所提方法在检测速度和准确性方面相较于传统方法有显著提升,适合于生产线上的快速质量控制,为提高直流输电设备的质量提供了有效的技术方案。

关键词

阀基电子设备 / 缺陷检测 / 点模式匹配方法 / 图像数据分析

Abstract

收起

With the rapid development of ultra high voltage direct current(DC) power transmission technology, the stability of valve base electronics (VBE) device is crucial for ensuring the reliability and efficiency of DC power transmission. The defects in VBE device circuit boards, such as short circuits and failed components, directly affect the system stability. However, the existing detection methods including manual microscopic inspection and automatic detection algorithms are often limited by their low efficiency and insufficient accuracy. In this paper, an automatic visual inspection method based on point pattern matching is proposed to address these challenges. This method significantly improves its detection accuracy and efficiency by generating point patterns that represent key areas and further matching them, which is particularly suitable for rapid quality control on production lines. Experimental validation shows that the proposed method significantly outperforms the traditional methods in terms of detection speed and accuracy, providing an effective technical solution for improving the quality of DC power transmission equipment and demonstrating important practical value.

Key words

Valve base electronics (VBE) device / defect detection / point pattern matching method / image data analysis

引用本文

刘隆晨, 杨玥坪, 陈少卿, 张鹏, 曹运龙, 余人. 基于点模式匹配的直流输电 VBE 设备电路板缺陷检测方法. 电源学报, 2024 , 22 (3) : 272 -280 . DOI: 10.13234/j.issn.2095-2805.2024.3.272

Longchen LIU, Yueping YANG, Shaoqing CHEN, Peng ZHANG, Yunlong CAO, Ren YU. Method for Defect Detection of DC Power Transmission VBE Device Circuit Boards Based on Point Pattern Matching[J]. Journal of Power Supply, 2024 , 22 (3) : 272 -280 . DOI: 10.13234/j.issn.2095-2805.2024.3.272

正文

收起

随着可再生能源大规模并网发电, 直流输电技术发展迅速。直流输电系统广泛应用于连接风电场、太阳能光伏发电站等新能源站与主电网, 传送距离可达上千公里。直流输电过程中,直流母线之间、换流站之间极易产生电压失衡,会降低换流效率、增大谐波,甚至导致系统不稳定。为解决直流输电电压失衡问题,阀基电子 VBE(valve base electronics)设备应运而生并得到广泛应用。VBE 设备能够实时监测直流母线电压差异,通过低压转换器快速恢复电压平衡。VBE 设备控制系统的核心部件为阀基电子设备电路板 (VBE 板),其质量的高低直接影响 VBE 设备及整个直流输电系统的稳定和可靠运行。因此,对 VBE 板进行自动化、高效的质量检测与缺陷识别是确保直流输电安全的关键。

图像识别技术用于 PCB 板的自动化质量检测已有多年的研究与应用历史。常见的图像识别方法包括基于规则的方法、基于机器学习的方法及基于图像处理的方法。基于规则的方法需要针对不同结构手动制定检测规则,工程实现复杂;基于机器学习的方法 (如卷积神经网络) 对数据集需求大, 不易获得标注数据;而基于图像处理的方法(如模板匹配、形态学处理等)对图像质量和环境敏感,鲁棒性较差。这些方法在 PCB 板检测中各有优势,但直接应用于 VBE 板识别仍存在不足。文献[1]通过手动制定规则来检测 PCB 板上的缺陷, 这种方法以其稳定性和高准确性而受到行业的广泛认可。然而, 随着 PCB 板设计的复杂化, 这种方法在处理高密度和微小组件的 VBE 板时,显现出其局限性,可见基于规则的方法难以适应 VBE 板多变和复杂的缺陷类型。文献[2]使用卷积神经网络对 PCB 板进行缺陷检测,显示出比传统方法更高的准确率和适应性。这一方法的主要优势在于其能够自动提取和学习图像特征, 从而在复杂或不明显的缺陷检测中表现出色。然而,对于 VBE 板这种特殊的应用场景, 由于缺乏足够的训练数据, 这种基于深度学习的方法很难实现有效的训练, 限制了其在实际生产中的应用。文献[3]的研究结果表明,当 VBE 板采用双面装配且存在各向异性装配偏差时, 上述几种方法的鲁棒性和适应性均受到严重挑战。文献[4]使用规则基础的方法成功识别了标准 PCB 板上的常见缺陷。然而,由于 VBE 板的高复杂性和微小构件,这种方法未能有效覆盖所有潜在缺陷类型,导致检测率不足。文献[5]采用模板匹配和形态学处理方法对单面 PCB 板进行了有效的缺陷检测。然而, 当应用于 VBE 板这种采用双面装配并存在装配偏差的场景时, 无法适应板卡的各向异性特点。文献[6]利用改进的图像处理算法提升了 PCB 板检测的速度, 但这些算法在处理更为复杂的 VBE 板时, 仍然难以达到生产线对实时检测的速度要求。

综上所述,针对现有算法在 VBE 板检测方面存在的困难, 本文提出了一种创新性的基于点模式匹配的自动视觉检测方法, 其设计核心在于其能够精准地识别和分析 VBE 板关键区域的点模式, 从而专注于可能出现缺陷的重要部分, 可大幅提高检测的效率和准确性。此外, 点模式匹配技术在处理过程中能够适应一定程度的变形和组装误差, 可显著增强检测结果的鲁棒性。与传统依赖复杂规则制定或深度网络训练的方法相比, 这种点模式的生成和匹配过程更为简洁, 易于部署, 特别适合于快速变化的工业生产环境。最重要的是, 这种方法利用了相关模板匹配算法, 其计算过程可以进行并行化优化, 从而完全满足 VBE 板高速生产线上对实时在线检测的严格要求^[7-8]。

1 局部匹配和全局匹配结合的点模式匹配算法在 VBE 板缺陷检测中的应用

收起

1.1 局部匹配和全局匹配结合的点模式匹配算法

本研究为了提高 VBE 板缺陷检测的准确度, 对点模式匹配算法进行了特别的调整。算法核心是比对图像中的特征点集, 准确定位缺陷, 即通过将图像特征点与预定义缺陷模式中的点进行匹配,算法能够识别裂纹、划痕等常见缺陷。本文算法的关键在于不仅需要局部匹配特征点, 还要验证全局匹配, 确保识别的缺陷与实际情况相符。这种方法增强了识别过程的准确性和可靠性, 可为 VBE 板质量控制和维修提供强有力的支持。

1.1.1 局部匹配

在局部匹配算法中,本文关注点模式$M$ 中点$p$ 及其邻近点的集合$\left\{{{a}_{1},{a}_{2},\cdots,{a}_{k}}\right\}$,以及点模式$S$ 中点$q$ 及其邻近点的集合$\left\{{{b}_{1},{b}_{2},\cdots,{b}_{k}}\right\}$。算法通过选择点$p$ 的${k}_{2}$ 个邻近点,并将其映射到点$q$ 的${k}_{3}$ 个邻近点,以执行局部匹配。这种映射生成${k}_{2}* {k}_{3}$ 个可能的变换$\mathbf{T}$。对于每个变换$\mathbf{T}$,算法检查是否有${\mathbf{\rho }}_{\left( k - 1\right)}$ 个点匹配,若匹配,则认为找到了有效的局部变换。接下来, 该局部变换被进一步检验以确定其是否构成全局变换。选择合适的$k$ 至关重要:较大的$k$ 值可以提高匹配精度,但过大的$k$ 值可能会因 VBE 图像处理中的误差导致点集$M$ 和$S$ 中角点分布不一致性。因此,${k}_{2}* {k}_{3}$ 的选择成为平衡匹配精度和处理误差的关键。仿射变换$\mathbf{T}$ 通过确定 2 对匹配点$\left( p\right.$ 与$q, a$ 与$b)$ 进行计算,其包括缩放因子$s$ 、旋转角度$\theta$ 及平移量${t}_{x}$ 和${t}_{y}$。通过这些匹配点,可以求解出仿射变换$\mathbf{T}$ 的参数,确保$\mathbf{T}\left( p\right)= q$ 和$\mathbf{T}\left( a\right)$ $= b$,从而实现准确的点匹配和图像对齐。

(1)

$ s =\frac{\left| qb\right|}{\left| pa\right|} $

(2)

$\theta ={\theta }_{qb}- {\theta }_{pa}$

(3)

${t}_{x}= {q}_{x}- {p}_{x}s\cos \theta +{p}_{y}s\sin \theta $

(4)

${t}_{y}= {q}_{y}- {p}_{x}s\sin \theta +{p}_{y}s\cos \theta $

在局部匹配算法中,定义了 2 个参数${k}_{2}$ 和${k}_{3}$, 局部匹配算法的数学定义: 假定$\left\{{{a}_{1},{a}_{2},\cdots,{a}_{k}}\right\}$ 是点模式$M$ 中点$p$ 的$k$ 个有序邻近点 (点${a}_{1}$ 是点$p$ 最近点),$\left\{{{b}_{1},{b}_{2},\cdots,{b}_{k}}\right\}$ 是点模式$S$ 中点$q$ 的$k$ 个有序邻近点 (点${b}_{1}$ 是点$q$ 的最近点)。选取点$p$ 的${k}_{2}$ 邻近点,依次为${a}_{k -\left\lbrack {k/2}\right\rbrack -{k}_{2}+ 1}$ 到${a}_{k -\left\lbrack {k/2}\right\rbrack }$ ；将点$p$ 和其第$k -\left\lbrack {{k}_{3}/2}\right\rbrack -$ $i$ 个邻近点${a}_{k -\left\lbrack {k/2}\right\rbrack - i}$ 分别映射到点$q$ 和点${b}_{k -\left\lbrack {k/2}\right\rbrack - i}$ 的${k}_{3}$ 邻近点,依次为${b}_{k -{k}_{3}+ 1 - i}$ 到${b}_{k - i}$,这样算法就可以得到在${k}_{2}* {k}_{3}$ 个变换$\mathbf{T}$,对于每个变换$\mathbf{T}$,检验是否存在${\mathbf{\rho }}_{\left( k - 1\right)}$ 个邻近点相匹配,如存在,则变换$\mathbf{T}$ 就是 1 个局部变换。然后再检验这个局部变换是否是全局变换。

1.1.2 全局匹配

全局匹配算法用于检验局部变换$\mathbf{T}$ 是否是 1 个全局变换。过程如下: 首先根据$\mathbf{T}$ 的支持点对信息, 利用最小二乘法计算 1 个更精确的变换$\mathbf{T}$,然后检验$\mathbf{T}$ 是否全局变换^[10]。

由局部匹配,算法得到了局部变换函数$\mathbf{T}$,使得点集$M$ 中的点$\left\{{{a}_{1},{a}_{2},\cdots,{a}_{n}}\right\}$ 与点集$S$ 的点$\left\{{b}_{1}\right.$,$\left.{{b}_{2},\cdots,{b}_{n}}\right\}$ 相匹配,然后根据最小二乘法利用此 1 对匹配点重新计算$\mathbf{T}$ 的参数,使得$\mathop{\sum }\limits_{{i = 1}}^{l}{\left|\mathbf{T}\left({a}_{i}\right)- {b}_{i}\right|}^{2}$ 取得最小值,新的变换为$\mathbf{T}$ ; 接着利用新的仿射变换$\mathbf{T}$ 重新进行匹配,当匹配点个数大于${\rho }_{m}$ 时,$\mathbf{T}$ 为 1 个全局变换。

最小二乘法求仿射变换$\mathbf{T}$ 的原理: 匹配点对坐标差的平方和$S\left({s,\theta,{t}_{x},{t}_{y}}\right)$ 最小。如果点集$M$ 和点集$S$ 中存在$k$ 对互相匹配的特征点,$k \geq 2$,即$\left\{{{a}_{i}\rightarrow {b}_{i}}\right.$ $|i = 1,2,\cdots, k\}$,则最小二乘法的计算公式为

(5)

$ S\left({s,\theta,{t}_{x},{t}_{y}}\right)= \mathop{\sum }\limits_{{i = 1}}^{k}{\mathbf{e}}_{i}^{\mathrm{T}}{\mathbf{e}}_{i}$

${\mathbf{e}}_{i}$ 是${\mathbf{b}}_{i}$ 与$\mathbf{T}\left({a}_{i}\right)$ 之间的坐标差,公式为

(6)

${\mathbf{e}}_{i}= \left(\begin{array}{l}{t}_{x}\\{t}_{y}\end{array}\right)+ \left(\begin{matrix} s\cos \theta &- s\cos \theta \\ s\sin \theta & s\sin \theta \end{matrix}\right)\left(\begin{array}{l}{x}_{{a}_{i}}\\{x}_{{a}_{i}}\end{array}\right)- \left(\begin{array}{l}{x}_{{b}_{i}}\\{x}_{{b}_{i}}\end{array}\right)= \\\left(\begin{array}{rrrr} 1 & 0 &{x}_{{a}_{i}}& -{y}_{{a}_{i}}\\ 0 & 1 &{y}_{{a}_{i}}& {x}_{{a}_{i}}\end{array}\right)\left(\begin{matrix}{t}_{x}\\{t}_{y}\\ s\cos \theta \\ s\sin \theta \end{matrix}\right)- \left(\begin{array}{l}{x}_{{b}_{i}}\\{x}_{{b}_{i}}\end{array}\right)\\\mathbf{r}= {\left({t}_{x},{t}_{y}, s\cos \theta, s\sin \theta \right)}^{\mathrm{T}}\\{\mathbf{C}}_{{a}_{i}}= \left(\begin{matrix} 1 & 0 &{x}_{{a}_{i}}& -{y}_{{a}_{i}}\\ 0 & 1 &{y}_{{a}_{i}}& {x}_{{a}_{i}}\end{matrix}\right)$

则计算$k$ 对点的坐标差$E$ 的公式为

(9)

$ E =\left(\begin{matrix}{\mathbf{e}}_{1}\\{\mathbf{e}}_{2}\\\vdots \\{\mathbf{e}}_{k}\end{matrix}\right)= \left(\begin{matrix}{\mathbf{C}}_{{a}_{1}}\mathbf{r}- {\mathbf{b}}_{1}\\{\mathbf{C}}_{{a}_{2}}\mathbf{r}- {\mathbf{b}}_{2}\\\vdots \\{\mathbf{C}}_{{a}_{k}}\mathbf{r}- {\mathbf{b}}_{k}\end{matrix}\right)= \left(\begin{matrix}{\mathbf{C}}_{{a}_{1}}\\{\mathbf{C}}_{{a}_{2}}\\\vdots \\{\mathbf{C}}_{{a}_{k}}\end{matrix}\right)\mathbf{r}- \left(\begin{matrix}{\mathbf{b}}_{1}\\{\mathbf{b}}_{2}\\\vdots \\{\mathbf{b}}_{k}\end{matrix}\right)= \mathbf{{Cr}}- \mathbf{b}$

其中,${\mathbf{b}}^{\mathrm{T}}= \left({{\mathbf{b}}_{1}^{\mathrm{T}},{\mathbf{b}}_{2}^{\mathrm{T}},\cdots,{\mathbf{b}}_{k}^{\mathrm{T}}}\right),{\mathbf{C}}^{\mathrm{T}}= \left({{\mathbf{C}}_{{a}_{1}}^{\mathrm{T}},{\mathbf{C}}_{{a}_{2}}^{\mathrm{T}},\cdots,{\mathbf{C}}_{{a}_{k}}^{\mathrm{T}}}\right)\circ S\left( r\right)$ 的计算公式为

(10)

$ S\left( r\right)= \mathop{\sum }\limits_{{i = 1}}^{k}{\mathbf{e}}_{i}^{\mathrm{T}}{\mathbf{e}}_{i}= \left({{\mathbf{e}}_{1}^{\mathrm{T}},{\mathbf{e}}_{2}^{\mathrm{T}},\cdots {\mathbf{e}}_{k}^{\mathrm{T}}}\right)\left(\begin{matrix}{\mathbf{e}}_{1}\\{\mathbf{e}}_{2}\\\vdots \\{\mathbf{e}}_{k}\end{matrix}\right)= {\mathbf{E}}^{\mathrm{T}}\mathbf{E}= \\{\left(\mathbf{{Cr}}- {\mathbf{b}}^{\mathrm{T}}\right)}^{\mathrm{T}}\left({\mathbf{{Cr}}- {\mathbf{b}}^{\mathrm{T}}}\right)= {\mathbf{r}}^{\mathrm{T}}{\mathbf{C}}^{\mathrm{T}}\mathbf{{Cr}}- {\mathbf{b}}^{\mathrm{T}}\mathbf{{Cr}}- {\mathbf{r}}^{\mathrm{T}}{\mathbf{C}}^{\mathrm{T}}\mathbf{b}+ {\mathbf{b}}^{\mathrm{T}}\mathbf{b}= \\{\mathbf{r}}^{\mathrm{T}}{\mathbf{C}}^{\mathrm{T}}\mathbf{{Cr}}- 2{\mathbf{b}}^{\mathrm{T}}\mathbf{{Cr}}+ {\mathbf{b}}^{\mathrm{T}}\mathbf{b}$

最小二乘法算法就是求得 1 个变量$r$ 使得$S\left( r\right)$ 可以取得最小值^[11],即求取 1 个变量$r,\frac{\mathrm{d}S\left( r\right)}{\mathrm{d}r}= 0$,$\frac{{\mathrm{d}}^{2}S\left( r\right)}{\mathrm{d}{r}^{2}}> 0, r$ 的最小二乘法计算公式为

$\widehat{\mathbf{r}}= {\left\lbrack {\mathbf{C}}^{\mathrm{T}}\mathbf{C}\right\rbrack }^{-1}{\mathbf{C}}^{\mathrm{T}}\mathbf{b}= \frac{1}{\det }\left(\begin{matrix}{l}_{A}& 0 &- {\mu }_{{x}_{i}}& {\mu }_{{y}_{i}}\\ 0 &{l}_{A}& -{\mu }_{{y}_{i}}& -{\mu }_{{x}_{i}}\\- {\mu }_{{x}_{4}}& -{\mu }_{{y}_{4}}& k & 0 \\{\mu }_{{y}_{4}}& -{\mu }_{{x}_{4}}& 0 & k \end{matrix}\right)\left(\begin{matrix}{\mu }_{xB}\\{\mu }_{yB}\\{l}_{A + B}\\{l}_{A - B}\end{matrix}\right)$

至此,就可以获得 2 个 VBE 板图像匹配的$s$ 、${\theta }_{\text{、}}{t}_{x}$ 和${t}_{y \circ }$

1.2 局部匹配和全局匹配结合的点模式匹配算法在 VBE 板缺陷检测中的应用

在 VBE 板缺陷检测中, 传统图像处理算法在处理复杂图案和微小元件时面临准确性和效率的挑战,尤其是在识别微小裂纹和不良焊点方面。这些算法对多样化缺陷的识别能力有限, 且在处理大量图像数据时效率低下。对此,点模式匹配算法提供了解决方案, 其通过精确识别特定几何结构的图像特征,能适应不同大小和形状的缺陷,不仅处理速度快且准确率高,还能有效抵抗光照变化和图像噪声,确保检测结果的稳定性。其较低的算法复杂度和资源消耗使其易于集成于自动化生产线, 优化生产流程。

1.2.1 局部匹配和全局匹配结合的点模式匹配算法流程

针对 VBE 板老化和缺陷问题, 将改进的点模式匹配算法应用于 VBE 板缺陷检测是一种有效的技术方法,能够准确识别 VBE 板的缺失和老化状况。基于点模式的 VBE 板缺陷检测方法流程如图${1}^{\left\lbrack {12}\right\rbrack }$ 所示。

针对 VBE 板的图像数据, 首先对每个点进行预处理,计算出每个点在 VBE 板图像中的$k$ 个最近邻点, 形成 1 个邻近点数组。这一步同样适用于预定义的 VBE 板缺陷模式的点集。在局部匹配中选取 VBE 板图像中的 1 个点$p$,并针对缺陷模式的每个点$q$,使用局部匹配算法检测$p$ 的$k$ 个最近邻点是否与$q$ 的$k$ 个最近邻点相匹配。如果匹配, 这表明可能存在 1 个局部仿射变换$\mathbf{T}$,这个变换代表了点$p$ 与点$q$ 之间的对应关系。在全局匹配中检验局部仿射变换$\mathbf{T}$ 是否可以代表1 个全局变换,即检查这个变换是否在整个 VBE 板图像范围内有效地代表了缺陷模式。如果找到合适的全局变换$\mathbf{T}$, 表明算法已成功匹配到 VBE 板上的缺陷模式, 从(11)

而实现缺陷检测。

1.2.2 点模式匹配算法在 VBE 板检测中的应用

本研究提出的基于改进点模式匹配的 VBE 板缺陷检测主要包含图像采集装置、图像处理单元、点模式匹配单元和结果输出显示 4 个模块系统如图2 所示。

本设计的图像采集系统采用了 500 万像素 CMOS 工业相机,专为覆盖整个 VBE 板区域设计, 以确保高清晰度和全面的图像捕捉。为了减少光线造成的阴影影响, 采集系统配备了两侧对称照明, 通过精确的光照管理, 确保图像质量的一致性和准确性。此外, 利用传递机构将测试板卡平移至检测区,这一步骤是确保每块板卡都能被均匀且准确地捕获的关键。图像处理单元利用 FPGA 实现了图像去噪、对比度提升和畸变校正等增强算法, 确保输出高质量的标准化图像。特别值得一提的是,系统处理的图像分辨率为${1080}\mathrm{P}$,即${1920}\times {1080}$ 像素, 这种高分辨率确保了图像细节的充分捕捉, 有助于提高缺陷检测的准确性。系统处理 4000 幅${1080}\mathrm{P}$ 分辨率图像的平均时间仅为${0.83}\mathrm{\;s}$,显著优于其他检测方法, 满足了生产线的在线检测速度需求。这种快速、高效、高准确性的检测能力,使该系统成为适用于高效率和高精度要求的工业环境中直流输电 VBE 板质量控制的理想选择。点模式匹配单元由点模式库和基于 CUDA 的 GPU 加速匹配处理器组成, 通过二维相关匹配法在输入图像上扫描以确定匹配度。结果输出模块则根据通过最小二乘法计算出的每个点在 VBE 板中的$k$ 个最近邻点, 形成 1 个邻近点数组确定阈值判定缺陷, 通过标注框和声光报警输出检测结果, 同时显示匹配处理时间和统计数据以便分析。

2 图像预处理在 VBE 板缺陷检测中的应用

收起

在本研究中, 细致的图像预处理被证明是确保 VBE 板图像高效、准确缺陷检测的关键。预处理流程包括图像灰度化、二值化、几何矫正、降噪和锐化等多个步骤, 旨在简化原始图像数据复杂性, 同时凸显关键特征,如缺陷区域。其中,灰度化处理是为了简化色彩信息,便于后续分析；二值化是为了帮助清楚地分辨目标与背景；几何自动校正是为了确保图像正确取向和比例; 降噪能够去除干扰噪声, 防止误诊;锐化处理能够提高缺陷的可见度。这一系列预处理操作不仅提速了缺陷检测过程, 也大大减少了误检和漏检风险,为后续检测工作奠定了坚实基础^[8]。具体的图像预处理流程如图3 所示。

2.1 图像灰度化

为了有效地处理 VBE 板图像并使电子元件与背景之间的差异更加明显, 本文采用了加权平均法进行灰度化处理。该方法的核心在于为红色 (R)、绿色 (G) 和蓝色 (B) 通道的像素值分配不同的权重,并将其融合成单一的灰度值。具体的算法公式表达为: 灰度值$=\left({{r}_{\mathrm{R}}+ {g}_{\mathrm{G}}+ {b}_{\mathrm{B}}}\right)/3$,其中$r\text{、}g\text{、}b$ 分别为$\mathrm{R}$ 、$\mathrm{G}$ 、$\mathrm{\;B}$ 通道的权重。经过详细的实验分析,本文确定了最优的权重配置为${r}_{\mathrm{R}}= {0.40}\text{、}{g}_{\mathrm{G}}= {0.69}\text{、}{b}_{\mathrm{B}}= {0.21}$。这种权重分配能够更有效地突出 VBE 板上的关键特征, 从而为后续的缺陷检测提供更为清晰和准确的图像基础。图像灰度化实现效果如图4 所示。

2.2 图像二值化

为了提高 VBE 板表面图像二值化处理的自动化水平、速度和准确性,本研究采用了 Otsu 方法来自动确定最佳的二值化阈值。在分析 VBE 板图像时, Otsu 算法通过计算图像中电子元件和背景像素点之间的类间方差, 自动选定 1 个阈值, 以实现最有效的像素分割。这一过程涉及计算电子元件像素 (占比为${s}_{0}$,均值为$\left.{a}_{0}\right)$ 和背景像素 (占比为${s}_{1}$,均值为$\left.{a}_{1}\right)$ 的统计特征^[9],以及整体图像的平均灰度值$a$,其中$a$ 由${s}_{0}* {a}_{0}+ {s}_{1}* {a}_{1}$ 得出。Otsu 算法的目标是最大化类间方差, 即

(12)

$ g\left( z\right)= {s}_{0}* {\left({a}_{0}- a\right)}^{2}+ {s}_{1}* {\left({a}_{1}- a\right)}^{2}$

式中,$z$ 为分割阈值。当$g\left( z\right)$ 达到全局最大值时,对应的$z$ 即为最佳二值化阈值。这种方法的优势在于省去了手动设定阈值的需求, 大大提升了处理效率和自动化程度。

2.3 几何矫正

本文利用 Hough 变换法来检测 VBE 板芯片图像的边框并计算其边缘倾斜角度。此方法通过在图像空间中识别直线, 并在该直线上选取多个点, 使每个点根据倾斜角度在参数空间中对应多条线。当参数空间中存在多条线重合时, 对应图像空间中的直线倾斜角度便被确定。这一过程可用极坐标方程表示,即

(13)

$\rho =\cos \left(\theta \right) x +\sin \left(\theta \right) y = A\sin \left({\alpha +\theta }\right)$

通过 Hough 变换, 确定的边缘倾斜角度用于对图像进行几何校正,使外接最小矩形与$x$ 、$y$ 轴平行。这种几何校正步骤对后续处理流程至关重要, 不仅优化了程序, 还提高了检测结果的准确性。

2.4 图像去噪及锐化

为了应对拍摄环境的复杂性及其产生的多种噪点,本研究采用了腐蚀膨胀法进行有效的去噪处理。此方法通过应用 2 种不同的结构元素$\mathrm{B}$ 矩阵对二值化图像进行腐蚀和膨胀操作,成功去除了白色噪点,特别是在感兴趣区域的白色噪点。这一步骤确保了 VBE 板缺陷检测算法的准确运行, 避免了因噪点引起的误判。紧接着,本文使用 Canny 算子对图像进行锐化, 进一步增强边缘特征, 锐化后的图像效果如图5 所示。

Canny 边缘检测算法首先通过与非线性滤波模板的多次迭代运算来减少噪声,虽然这会使图像略显模糊,但显著减弱了噪声的影响。接着,算法计算灰度图像沿不同方向的梯度$G$,其表达式为

(14)

$\left\{\begin{array}{l}\left| G\right|= \sqrt{{G}_{x}^{2}+ {G}_{y}^{2}}\\\theta =\arctan \left(\frac{{G}_{y}}{{G}_{x}}\right)\end{array}\right.$

然后, 通过分析每个像素点的梯度方向与相邻像素点的灰度值, 从而有效地识别出真正的边缘像素。本文方法还包括使用直方图计算 2 个阈值, 以进一步区分边缘和非边缘像素, 优化边缘检测的准确性。

3 实验验证

收起

首先利用 MATLAB 进行图像处理算法的开发和原型设计。MATLAB 提供了一个功能丰富的图像处理工具箱,支持灰度化、二值化、去噪和锐化等多种图像预处理操作。这些操作是提高电路板缺陷检测准确率的关键步骤。利用 MATLAB 进行算法原型设计的目的是快速验证这些图像处理步骤的有效性, 并优化算法参数。经过 MATLAB 验证并优化的图像处理后, 通过 MATLAB 的 HDL Coder 工具将其转换为 Verilog 语言。选用的 FPGA 为 Xilinx 系列, 其并行处理能力和高度的可配置性使其成为执行图像处理任务的理想选择。FPGA 上的实时图像处理包括图像去噪、对比度提升和畸变校正等增强算法, 直接执行从 MATLAB 导出的 HDL 代码。将 MATLAB 开发的图像处理算法成功转移到 FP-GA 后,进行系统集成测试,以评估本文所提方法在实际 VBE 板缺陷检测中的性能。系统集成测试需要开展图像采集、处理、点模式匹配和结果输出等模块的协同工作。性能评估侧重于处理速度、检测准确率及系统稳定性的验证。

为了确保评估的公正性和全面性, 本文实验中比较了传统点模式识别和改进点模式识别方法。建立了 2 种模型下的迭代次数与最小均方误差之间的关系,结果如图6 所示。

在相同的条件下引入改进的点模式算法, 传统算法约在 90 epoch 时趋于收敛, 而改进的点模式约在 70 epoch 接近收敛并且有更小的 MSE, 这表明改进的点模式收敛速度更快, MSE 性能更好。

本研究通过构建 1 个包含 4000 幅图像的测试数据集, 覆盖组件移位、错位、失效和阻焊这 4 种关键缺陷:①组件移位的判别依据主要为组件的预期位置与实际检测位置之间的偏移量。在数据上, 这种偏移可通过点模式匹配算法识别的组件中心点与其标准位置之间的欧氏距离来量化。偏移量超过预设的阈值则被判定为移位缺陷。②错位缺陷的判别依据主要涉及组件相对于其预定位置的偏差程度, 以及该偏差是否影响到板上其他组件或电路的正常布局和功能。在数据上, 通常使用图像处理计算组件的实际中心位置与设计中心位置之间的距离。如果这个距离超过了事先设定的容忍阈值, 该组件则被认定为发生了错位。③组件失效的识别依赖于对特定组件功能区域的检测, 如焊点的完整性或电路路径的连通性。数据上的体现可能是在这些关键功能区域内,点模式匹配算法未能找到与正常组件相符的点模式, 或者找到的模式与预定义的失效模式高度匹配。④阻焊缺陷的识别则基于对焊膏印刷质量的评估。在数据上, 这可以通过分析焊膏应有区域内的像素强度分布来判定。正常情况下, 焊膏区域应显示出一致的高像素强度, 而阻焊缺陷区域则可能表现为像素强度不一、断裂或缺失的模式。综上, 在全面评估了基于点模式匹配的 VBE 板缺陷检测系统性能后, 采用五折交叉验证法确保评估的全面性和准确性。测试流程包括图像预处理和使用 GPU 加速处理, 以应对大数据量下的高计算需求, 并通过与预定义的点模式库匹配来识别和定位缺陷。性能评估主要基于真正例、假正例、真反例和假反例的记录,进一步计算准确率、召回率和 F1 分数。

图7 和图8 分别为不同算法准确率和召回率的对比结果, 分析可见, 本文所提系统在检测 VBE 板常见缺陷, 如较明显的组件失效和难以区分的阻焊缺陷方面均表现出色,准确率分别约为 90%和 91%,而综合性能指标显示,系统的准确率达到 93.2%, 召回率为 91.5%, 证明了其在各类缺陷检测上的良好性能和稳定性能。特别值得一提的是, 所提系统处理 4000 幅分辨率为${1080}\mathrm{P}$ 图像的平均用时仅为${0.83}\mathrm{\;s}$,显著优于其他检测方法,满足了生产线的在线检测速度需求。这种快速、高效、高准确性的检测能力, 使所提系统成为了适用于高效率和高精度要求的工业环境中直流输电 VBE 板质量控制的理想选择。

图9 为 VBE 板,图10 为所提系统缺陷识别结果的可视化输出结果。其中框形标注的为正确检测的缺陷位置。可以看出, 大部分情况下, 系统能够正确定位各类缺陷,针对组件移位、错位、阻焊和失效等常见问题实现了有效的自动化检测。部分误检主要出现在图像质量较差的情况下, 随着图像处理算法的进一步优化, 这类问题可以继续减少。

综上, 通过定量指标 (图7 和图8) 和定性结果 (图9 和图10)可以看出, 本文所提基于点模式匹配的方法能够实现对 VBE 板的高效、准确的自动缺陷识别, 满足生产线质量控制的需求, 验证了所提方法的有效性。

4 结语

收起

本文针对 VBE 板的质量检测问题, 提出一种基于点模式匹配的自动视觉缺陷检测方法。通过对 VBE 系统工作原理的深入分析, 强调了 VBE 板质量检测在保障系统稳定运行中的关键作用,并详细调研了现有的 PCB 板检测方法, 指出了将其直接应用于 VBE 板的局限性。此外,本文采用创新的点模式匹配概念, 通过提取 VBE 板关键区域的点模式并实施模板匹配, 有效克服了传统方法的不足; 设计并实现了一套完整的视觉检测系统,包括图像采集、处理、匹配和结果输出等模块,通过构建包含多种常见缺陷的 VBE 板图像数据集, 对检测系统的性能进行了全面评估。定量和定性的结果分析验证了所提方法的有效性, 不仅提高了检测的准确性和效率, 也为直流输电领域的质量控制提供了新的技术途径。

基金

收起

国网四川省电力公司科技项目(52199723000B)
四川省自然科学基金资助项目(2023NSFSC0818)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Tsai

D M

, Huang

C K

. Defect detection in electronic surfaces using template-based Fourier image reconstruction[J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2019. 9(1): 163-172.

[2]

Zhou

Junyu

, Liu

Yaowen

, Zhang

Xueliang

, et al. Multi-view based template matching method for surface defect detection of circuit board[J]. Journal of Physics: Conference Series, 2021. 1983(1): 012063.

[3]

Defect detection of printed circuit boards using efficient det[C]// 2021 IEEE 6th International Conference on Signal and Image Processing(ICSIP), 2021: 287-293.

[4]

Ding

Runwei

, Dai

Linhui

, Li

Guangpeng

, et al. TDD-net: A tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019. 4(2): 110-116.

[5]

Qinqin

. Defect detection of PCB based on Bayes feature fusion[J]. The Journal of Engineering, 2018. 10.1049/joe.2018.8270

[6]

Yunfeng

, Li

Shengyang

. Defect detection of bare printed circuit boards based on gradient direction information entropy and uniform local binary patterns[J]. Circuit World, 2017. 43(3): 145-151.

[7]

Combining network analysis with structural matching for design pattern detection[C]// Proceedings of the 24th International Conference on Evaluation and Assessment in Software Engineering, 2020: 61-67.

[8]

On-board detection and matching of feature points[C]// 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2017. 10.1109/IGARSS.2017.8127761

[9]

Defect detection of printed circuit board based on small target recognition network[C]// 2022 23rd International Conference on Electronic Packaging Technology (ICEPT), 2022: 1-5.

[10]

Research on printed circuit board microdisplacement detection based on MATLAB[C]// 2017 Chinese Automation Congress (CAC), 2017: 5470-5474.

[11]

王红梅, 张科, 李言俊. 图像匹配研究进展[J]. 计算机工程与应用, 2004. 40(19): 42-77.

Wang

Hongmei

, Zhang

, Li

Yanjun

. Research progress on image matching[J]. Computer Engineering and Applications, 2004. 40(19): 42-77 (in Chinese).

[12]

求是科技. Visual C++数字图像处理典型算法及实现[M]. 北京: 人民邮电出版社, 2006.

2024年第22卷第3期

PDF下载

307

118

引用本文

BibTeX

文章信息

doi: 10.13234/j.issn.2095-2805.2024.3.272

接收时间：2024-02-03
首发时间：2025-07-21
出版时间：2024-05-30

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-02-03
修回日期：2024-03-05
录用日期：2024-03-25

基金

State Grid Sichuan Electric Power Company Science and Technology Project(52199723000B)

国网四川省电力公司科技项目(52199723000B)

Sichuan Natural Science Foundation Project(2023NSFSC0818)

四川省自然科学基金资助项目(2023NSFSC0818)

作者信息

¹ 国网四川省电力公司电力科学研究院成都 610041

² 国网四川省电力公司特高压直流中心成都 610000

³ 电力物联网四川省重点实验室成都 610041

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/dyxb/CN/10.13234/j.issn.2095-2805.2024.3.272

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT