汽车工程

铆钉缺陷类型	铆钉缺陷分布特征
钉脚一字裂纹	圆柱面底部裂纹呈现近似一字型分布
钉脚十字裂纹	圆柱面底部裂纹呈现近似十字型分布
轴向（分布）断裂	圆柱面沿轴向产生断裂的区域性缺损
径向（分布）断裂	钉帽根部及圆柱面沿径向产生断裂的区域性缺损
横向截面断裂	圆柱面横向截面整体产生腐蚀型缺损

铆钉缺陷类型	铆钉缺陷分布特征
钉脚一字裂纹	圆柱面底部裂纹呈现近似一字型分布
钉脚十字裂纹	圆柱面底部裂纹呈现近似十字型分布
轴向（分布）断裂	圆柱面沿轴向产生断裂的区域性缺损
径向（分布）断裂	钉帽根部及圆柱面沿径向产生断裂的区域性缺损
横向截面断裂	圆柱面横向截面整体产生腐蚀型缺损

缺陷类型	断裂尺寸/mm	断裂区域（长×宽）/mm²	缺陷等级
钉脚一字裂纹钉脚一字裂纹钉脚一字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
钉脚十字裂纹钉脚十字裂纹钉脚十字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
轴向（分布）断裂轴向（分布）断裂		（1~2）×（1~2）	中度
	（2~4）×（2~4）	严重
径向（分布）断裂径向（分布）断裂	深度0.5~1		轻度
深度1~2		中度
横向截面断裂横向截面断裂	高度1~3		中度
高度3~4		严重

缺陷类型	断裂尺寸/mm	断裂区域（长×宽）/mm²	缺陷等级
钉脚一字裂纹钉脚一字裂纹钉脚一字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
钉脚十字裂纹钉脚十字裂纹钉脚十字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
轴向（分布）断裂轴向（分布）断裂		（1~2）×（1~2）	中度
	（2~4）×（2~4）	严重
径向（分布）断裂径向（分布）断裂	深度0.5~1		轻度
深度1~2		中度
横向截面断裂横向截面断裂	高度1~3		中度
高度3~4		严重

缺陷类型	缺陷等级	训练样本数	测试样本数	标签
无缺陷	无	248	89	1
钉脚一字裂纹	轻度	212	74	2
中度	210	75	3
严重	201	72	4
钉脚十字裂纹	轻度	212	74	5
中度	210	75	6
严重	201	72	7
轴向分布断裂	中度	210	75	8
严重	201	72	9
横向截面断裂	中度	210	75	10
严重	201	72	11
径向分布断裂	轻度	212	74	12
中度	212	74	13

缺陷类型	缺陷等级	训练样本数	测试样本数	标签
无缺陷	无	248	89	1
钉脚一字裂纹	轻度	212	74	2
中度	210	75	3
严重	201	72	4
钉脚十字裂纹	轻度	212	74	5
中度	210	75	6
严重	201	72	7
轴向分布断裂	中度	210	75	8
严重	201	72	9
横向截面断裂	中度	210	75	10
严重	201	72	11
径向分布断裂	轻度	212	74	12
中度	212	74	13

GCRBM结构层数	第1层	第2层
卷积核个数	9	16
卷积核大小	3×3	3×3
池化大小	2×2	2×2
训练批次	10	10
学习率	0.005	0.001
权重更新动量	0.9	0.9

GCRBM结构层数	第1层	第2层
卷积核个数	9	16
卷积核大小	3×3	3×3
池化大小	2×2	2×2
训练批次	10	10
学习率	0.005	0.001
权重更新动量	0.9	0.9

标签	识别率/%
1	100	100	100	100	100
2	90.54	81.08	100	100	100
3	100	100	96	98.67	100
4	95.83	51.39	95.83	95.83	100
5	87.84	79.73	100	100	98.65
6	88	100	100	100	100
7	100	55.56	95.83	95.83	100
8	98.67	85.33	100	100	100
9	100	100	100	100	100
10	88	97.33	100	100	100
11	100	100	100	100	100
12	98.65	87.84	100	100	100
13	100	100	100	100	100
总识别率	96	87.87	99	99.28	99.9

标签	识别率/%
1	100	100	100	100	100
2	90.54	81.08	100	100	100
3	100	100	96	98.67	100
4	95.83	51.39	95.83	95.83	100
5	87.84	79.73	100	100	98.65
6	88	100	100	100	100
7	100	55.56	95.83	95.83	100
8	98.67	85.33	100	100	100
9	100	100	100	100	100
10	88	97.33	100	100	100
11	100	100	100	100	100
12	98.65	87.84	100	100	100
13	100	100	100	100	100
总识别率	96	87.87	99	99.28	99.9

铆接铝合金板铆钉失效缺陷检测方法研究^*

PDF下载

刘凉 ¹ , 张滢 ¹ , 史晨阳 ¹ , 赵新华 ¹ , 孟宪明 ² , 刘增昌 ³

汽车工程 | 精选论文 2024,46(2): 366-374

收起

汽车工程 | 精选论文 2024, 46(2): 366-374

铆接铝合金板铆钉失效缺陷检测方法研究^*

全屏

刘凉¹, 张滢¹, 史晨阳¹, 赵新华¹, 孟宪明², 刘增昌³

作者信息

^1. 天津理工大学，天津市先进机电系统设计与智能控制重点实验室，天津 300384

^2. 中国汽车技术研究中心有限公司，天津 300300

^3. 中国汽车工业工程有限公司，天津 300113

通讯作者:

刘凉，副教授，博士，硕士生导师，E-mail：liuliang_tjut@126.com。

Research on Detection Method of Failure Defects of Rivet on Riveted Aluminum Alloy Plates

Liang Liu¹, Ying Zhang¹, Chenyang Shi¹, Xinhua Zhao¹, Xianming Meng², Zengchang Liu³

Affiliations

^1. Tianjin University of Technology，Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control，Tianjin 300384

^2. China Automotive Technology & Research Center Co. ，Ltd. ，Tianjin 300300

^3. Automotive Engineering Corporation，Tianjin 300113

出版时间: 2024-02-25 doi: 10.19562/j.chinasae.qcgc.2024.02.019

文章导航

摘要

收起

针对车身用铝合金板内部铆钉缺陷特征提取难度大、缺陷类型与程度识别准确率低的问题，提出一种基于高斯卷积深度信念网络与双向长短期记忆网络相结合的铆钉失效缺陷诊断模型与检测方法。首先，面向5种铆钉断裂缺陷设计试件并搭建自动检测系统，通过规划和调整探头姿态有效地降低提离效应对检测信号的影响。其次，设计双网络融合诊断模型提取和学习多维度缺陷特征信息，解决检测曲线中由时序变化特性和空间分布状态表征的缺陷信息提取难题。实验结果表明，与传统卷积网络及单一深度信念网络相比，优化后算法诊断模型的平均准确率为99.85%，相比提升了14.54%，且具有良好的通用性和鲁棒性，可实现铆钉内部缺陷的在线诊断。

关键词

铆钉内部缺陷 / 检测系统 / 模式识别 / 特征融合

Abstract

收起

For the difficulties in feature extraction and low recognition rate in defect types and grades of rivet on aluminum alloy plates for car body，the diagnosis model and detection method for rivet failure defects are proposed based on the Gaussian convolutional deep belief network and long short-term memory network. Firstly，the specimens are designed for five types of fracture defects and an automatic detection system is constructed. The planned path and pose of the probe are set to lower lift-off effect on signals. Secondly，the dual network fusion diagnostic model is designed to extract and learn the multi-dimensional defect feature information，solving the problem of extracting defect information represented by temporal variation characteristics and spatial distribution state in detection curves. The experiments results show that the optimized model has an average recognition rate of 99.85%，with an increase of 14.54% compared with that of the traditional convolutional network and single deep belief network. The model has better compatibility and robustness，which can realize online diagnosis of internal defects of rivets.

Key words

defects in rivet / detection system / pattern recognition / feature fusion

引用本文

刘凉, 张滢, 史晨阳, 赵新华, 孟宪明, 刘增昌. 铆接铝合金板铆钉失效缺陷检测方法研究^*. 汽车工程, 2024 , 46 (2) : 366 -374 . DOI: 10.19562/j.chinasae.qcgc.2024.02.019

Liang Liu, Ying Zhang, Chenyang Shi, Xinhua Zhao, Xianming Meng, Zengchang Liu. Research on Detection Method of Failure Defects of Rivet on Riveted Aluminum Alloy Plates[J]. Automotive Engineering, 2024 , 46 (2) : 366 -374 . DOI: 10.19562/j.chinasae.qcgc.2024.02.019

正文

收起

前言

收起

自冲铆接技术被广泛地应用于新能源汽车轻量化与飞机制造领域^[1-2]。铝合金板铆接技术依然是减轻车身质量、提高设计强度的重要途径之一^[3]。由于该技术通过配合凹模与机械互锁工艺来实现半空心铆钉与铆接板材之间的连接，因此，锁紧部件的缺陷是评价铆接质量的核心指标。而制造过程中铆接工艺的复杂性以及使用过程中受外力、疲劳等因素影响，均会导致板材与铆钉产生失效缺陷^[4-5]。其中，半空心铆钉是实施互锁的核心部件，其断裂缺陷导致的机械连接故障将直接影响系统结构的整体安全，因此检测铆钉失效状态是避免事故发生的重要保障措施。

铆接构件内部失效缺陷主要包含铆接板内部断裂与铆钉断裂缺损，其无损检测方法包含射线透视检测法、超声波检测法、涡流检测法。其中，射线透视法利用数字射线成像技术来识别缺陷，Liu等^[6]基于低能量射线灰度值特性与对比度分布方法实现了对SiC_f/SiC复合材料中铆接孔边缘微小缺陷的检测。其缺点是射线的有害性和成像视角的局限性。超声波法是根据声波传递过程中材料缺陷对声学性能造成的差异来检测缺陷。Le等^[7]基于超声波法分析了双层2024铝合金铆接板铆钉内部断裂与腐蚀缺陷，系统探测概率达到90%。其缺点是接触性测量和受材质表面粗糙度及粗颗粒反射波的影响。涡流检测法通过检测工件内涡流磁场的变化来探测缺陷，探测深层缺陷的灵敏度较高，非常适于铆接结构内部缺陷检测^[8]。Janovec等^[9]应用涡流阵列技术检测了Zlin 142机身的铆接裂纹与腐蚀，对比验证了不同激励频率下的检测效果。相比于传统涡流技术，脉冲涡流检测（pulsed eddy current testing，PECT）技术能提供更丰富的深层缺陷特征信息，具有良好应用前景^[10]。胡祥超^[11]提出基于移相逻辑处理法的PECT结构方案，证明其对3层铆接铝板矩形缺陷有更好的深层缺陷探测性能。Fu等^[12]针对提离效应补偿问题，基于快速傅里叶变换分析各次谐波的动态变化轨迹，实现板材裂纹与腐蚀缺陷的有效检测。目前，对车身铆钉失效缺陷研究较少，对其不同断裂形式进行模拟、分析、开发自动检测系统可拓展铆接缺陷检测的内容。

深度学习算法非常适于缺陷特征的提取与诊断，目前在轴承^[13]、电路故障^[14]等方面取得良好的检测效果，成为检测领域的研究热点^[15]，同时也应用到铆接缺陷领域。Xie等^[16]提出铆接区域分类网络（RRCNet）识别铆接点，将视场注意力单元与卷积神经网络（convolutional neural networks，CNN）相结合，实现飞机表面铆钉头平齐测量，最大标准差为0.005。Amosov等^[17]基于YOLO网络和模糊算法对不同图像视角下飞机铆接缺陷信息做识别与评价；模拟了铆钉帽基部和中间部位的断裂缺陷，基于CNN和单层长短期记忆网络（long short-term memory，LSTM）识别4类缺陷的超声波信号，识别率为96.25%^[18]。文献[19]中设计出一种通用深度学习网络来估计铆接铝板的断裂位置与程度。目前，铆钉内部缺陷的特征提取与分类识别方法尚不完善，相比外部缺陷诊断更具挑战性，其研究对于评价内部铆接质量及故障溯源具有重要的工程实用价值。

本文中针对铝合金板内部铆钉失效缺陷，提出高斯卷积深度信念网络（Gaussian convolutional deep belief network，GCDBN）和双向长短期记忆网络（bi-directional long short-term memory，Bi-LSTM）相结合的铆钉断裂缺陷检测方法与诊断模型。首先，基于脉冲涡流设备与六轴工业机器人完成检测数据在线采集和处理。其次，根据多层检测曲线的时序变化特性和空间分布状态，采用多层特征融合方法将GCDBN与Bi-LSTM有机结合，综合利用各层网络多维度特征信息提取方法，提升检测模型对时序信息所蕴含的缺陷特征进行学习、记录和预测的综合能力，同时基于粒子群优化（particle swarm optimization，PSO）算法优化求解模型参数，避免陷入局部最优。最后，通过比较单一深度信念网络、CNN、GCDBN以及GCDBN-LSTM等模型的识别结果，证明了本方法具有更优的检测性能与识别准确率。

1 铆钉缺陷类型与检测系统架构

收起

1.1 铆钉缺陷类型与试件制作

轻量化铝合金车身在铆接过程中，由于铆钉铸造缺陷、板材性能、铆接工艺参数不匹配、铆接设备及配套模具疲劳磨损等原因，引发铆钉出现失效缺陷，导致铆钉与板材之间难以产生充分的塑形变形，从而影响机械互锁结构性能，使得多层铆接结构在外界载荷下易产生局部疲劳断裂与连接失效。此外，使用过程中环境因素也会损坏铆接结构，导致铆钉产生区域性缺陷。针对上述铆钉缺陷检测需求，选取钢制半空心铆钉与3层总厚度为8 mm的5052铝合金板材（其中2块厚度为3 mm，1块为2 mm）来制作缺陷铆接试件，铆钉总长L为11.5 mm、钉帽直径D为7.5 mm、钉身直径d为5.2 mm，中空柱体直径Φ为3.2 mm，长度为7.2 mm，如图1（a）所示。图1（b）对比了铆接前后半空心铆钉的结构部位。试件模拟了5类常见的铆钉断裂失效缺陷，分别是钉脚（圆柱面底部）一字裂纹和十字裂纹、铆钉轴向分布断裂、径向分布断裂和横向截面断裂，如表1所示。图2为正常铆钉与各种缺陷铆钉对应的内部铆接示意图（不代表其实际内部铆接状态）及钉脚铆扣形状。

针对上述缺陷，制作了大量铆接试件，其总长为255 mm，宽度为110 mm，板上共有3行5列铆钉，铆钉水平间距为40 mm，垂直间距为30 mm，包含正常铆钉、不同类型与程度的缺陷铆钉。同时保证铆接板与铆钉帽的外观无任何缺损（不含轻度划痕）。缺陷程度将根据裂纹长度与分布范围界定，并综合考虑制造与后期使用过程中可能发生的失效情况，如表2所示。图3从正面、背面和侧面展示了一块典型的铆接试件。其中，第3列（#7、#8、#9）为3个无缺陷铆钉，其余12个为不同缺陷类型与程度的铆钉。由侧面图可知，板体具有一定弯曲弧度，用来模拟实际铆接车身的曲面。

1.2 铆钉缺陷检测系统架构

本系统包括涡流检测模块、机器人模块、同步控制模块、数据处理模块和缺陷检测模块5个模块，如图4所示。

（1）涡流检测模块

主要包括脉冲涡流检测仪和检测探头，负责缺陷的数据采集与检测工作。其一端与同步控制模块相连实现设备启停，另一端与数据处理模块相连用于数据传输。

（2）机器人模块

由一套非导磁性传感器夹具与6自由度机器人系统组成，如图5所示。其中，传感器夹具可屏蔽系统末端的金属构件；机器人系统用于规划探头扫查路径并自动完成扫查。首先，测量试件上铆钉的位置与姿态，然后调整探头运动姿态使探测平面始终平行于板上对应扫查点所在曲面的切平面，令二者保持恒定的扫查距离以降低提离效应，如图6所示。扫查分3排完成，每排包含5个铆钉，如图7所示。

（3）数据处理模块

主要负责传输、存储涡流检测模块的信号数据并进行滤波降噪、数据截断与分割等工作，构建出每个铆钉的信息特征数据集。首先，按照时序依次采集14次瞬时感应电压信号。图8（a）给出了第1排铆钉检测信号曲线，此时扫查速度为8 mm/s。其次，将采集信号依次划分为1~14层，第1层曲线的检测时间为152.57 μs。此后合理选择基准信号对采样数据进行基准适配。图8（b）是以各层第10个采样点为基准得到的适配曲线，每段凸起区间对应单个铆钉的检测特征信息。适配过程会改变部分曲线位置，但不影响其一致性。最后，基于分割算法提取单个铆钉检测信息，如图9所示；并对铆钉的检测曲线进行加权归一化处理。

（4）缺陷检测模块

采用高斯卷积深度信念网络与双向长短期记忆网络作为铆钉缺陷检测与诊断的数学模型，完成缺陷的特征提取与自学习，并进行分类识别。

2 改进型卷积深度信念网络模型

收起

采用高斯卷积深度信念网络与自适应PSO算法，初步构建缺陷检测模块中的诊断网络模型。

2.1 高斯卷积深度信念网络

卷积受限玻尔兹曼机（convolution restricted Boltzmann machine，CRBM）是一种基于能量函数的无监督模型^[20]。多个CRBM堆叠可组成卷积深度信念网络。常规CRBM可通过引入高斯可见单元（替换原有二值可见单元）处理实值数据^[21]，通过构建高斯CRBM结构（GCRBM）拓展出GCDBN结构^[22]，更适于处理和分析铆钉缺陷数据。

图10中GCRBM结构由可见层V、隐藏层H和池化层P组成。其中，可见层的高斯可见单元维度用D_V ×D_V 表示。隐藏层单元为H ¹，H ²，…，H^Q，维度用D_H ×D_H 表示，通过维度为D_W ×D_W 的卷积滤波器与可见单元相连。隐藏层的输出采用了概率最大池化操作^[22]，池化层各单元用矩阵D_P ×D_P 表示。

GCRBM结构的能量函数定义为

E (v, h) = 12 ∑ l, m = 1 D V v l m 2 - ∑ q = 1 Q b q ∑ l, m = 1 D H h l m q - c ∑ l, m = 1 D V v l m -

∑ q = 1 Q ∑ l, m = 1 D H ∑ i, j = 1 D W h l m q W i j q v l + i - 1, m + j - 1

（1）

式中： v 和 h 分别为可见单元和隐藏单元状态向量； c 和 b 为对应单元偏置参数； W 为卷积核矩阵；l和i为行号，m和j为列号；q为隐藏单元序号。

由式（1）可得GCRBM的条件概率分布：

P (h l m q = 1 | v) = σ ((W ˜ q * v) l m + b q)

（2）

P (v l m = 1 | h) = G ((W q * h q) l m + c, 1)

（3）

式中：*为卷积操作；

σ

为激活函数；G为高斯分布函数；矩阵

W ˜ q

中元素

W ˜ l m q

为

W D W - l + 1, D W - m + 1 q

。

此外，GCRBM采用对比散度算法调整权重。

2.2 自适应PSO算法优化GCDBN模型

若将两个GCRBM结构堆叠构成GCDBN模型，为避免随机初始化权重降低学习效率以及局部最优解等问题，采用非线性PSO算法优化各层初始权重。在迭代前期应采用较大权重以便全局寻优，后期应适当减小权值来加快算法收敛到最优解。所采用的非线性权重调整方法为

x = x m - (x m - x n) × (k / k m) 2

（4）

式中：x为惯性权重；x_m为x最大值；x_n为x最小值；k为迭代次数；k_m为最大迭代次数。

图11以首个GCRBM结构为例，给出算法的优化流程。将粒子种群的适应度函数值定义为

Z f i t = ∑ k N ∑ r H ∑ s L (T r s k - R r s k) 2 / N

（5）

式中：N为样本总数；H和L为样本矩阵总行数和列数；

T r s k

和

R r s k

分别为序号为k的数据样本和样本重构数据的第r行第s列元素。

3 GCDBN-Bi-LSTM缺陷诊断模型

收起

图8和图9描述的涡流检测信号提供了铆钉在时间-空间上分布的序列特征信息。因此，考虑引入双向长短期记忆网络来提升识别准确率。

3.1 双向长短期记忆网络

LSTM包含选择性记忆单元和特有的“门”结构^[23]，作为单向传输网络对前向时间序列有较强的特征提取能力。Bi-LSTM是由正向和逆向传输的LSTM连接组成，如图12所示，可处理时间序列中过去和未来的数据信息，二者共同作用来提取时序信息特征，比LSTM更有利于对多层检测数据进行全面综合的缺陷特征分析、记录和预测。在时刻t，Bi-LSTM计算公式为

$\left\{\begin{array}{l}\overrightarrow{\boldsymbol{h}}_{t}=\operatorname{Ford}\left(\boldsymbol{X}_{t}, \boldsymbol{W}_{t}, \boldsymbol{h}_{t-1}, \boldsymbol{c}_{t-1}\right) \\\overleftarrow{\boldsymbol{h}}_{t}=\operatorname{Back}\left(\boldsymbol{X}_{t}, \boldsymbol{W}_{t}, \boldsymbol{h}_{t+1}, \boldsymbol{c}_{t+1}\right) \\\boldsymbol{h}_{t}=\left[\overrightarrow{\boldsymbol{h}}_{t}, \overleftarrow{\boldsymbol{h}}_{t}\right]\end{array}\right.$ （6）

式中：t表示时刻；Ford、Back分别代表正向和逆向传播过程；

h ⃗ t

和

h ⃖ t

为前向和反向LSTM网络隐藏层输出； h 为隐藏层状态； X 为网络输入序列； c 为记忆单元输出状态； W _t 为t时刻权重矩阵。

3.2 GCDBN-Bi-LSTM模型构建

在缺陷识别过程中，不仅要分析各层数据在空间分布上的阵列关系，还要研究其在时间测度上的变化规律。鉴于Bi-LSTM擅长综合时序数据在过去和未来的分布特征以及良好的全局性，故将Bi-LSTM与GCDBN相互融合来提升识别率。

为保留原始数据中的特征信息，采用多层特征融合的方法将GCDBN中各个GCRBM结构的输出数据以及原始样本数据信息，通过维度变换转化为列向量并行输入到Bi-LSTM进行缺陷识别，其模型结构如图13所示，维度变换公式为

X i = [z 1 T, z 2 T, ⋯, z k T, ⋯, z n T] T, i = 1,2, 3

（7）

式中： X ₁、 X ₂、 X ₃分别为原始数据矩阵与双GCRBM输出数据矩阵经维度转换后的向量；

z k

为各矩阵中第k列元素；n为对应矩阵的总列数。

经过变换与融合后的数据维度为1 892，再结合Bi-LSTM对融合信息中的时序变化特性和空间分布状态（即时-空序列特征）进行学习和识别。基于无监督贪婪学习方法逐次训练GCRBM结构，逐层传递信息特征来提高模型学习能力。完成GCDBN训练后，对Bi-LSTM做有监督训练，将交叉熵函数作为训练损失函数，引入Adam优化器实现学习率自适应调整，提高模型整体训练效率。

4 实验研究及性能分析

收起

4.1 构建数据集

根据缺陷检测系统所述方法采集试件上各类铆钉检测数据并进行处理，归一化因子设为1.05。由此构建的数据集包括6种状态类型和3种缺陷等级，合计3 713组检测数据，如表3所示。将其中2 740组数据用作训练集，其余数据作为测试集。

4.2 基于GCDBN与LSTM模型的实验对比分析

GCDBN中双层GCRBM结构参数如表4所示，Bi-LSTM神经元个数设为70。采用PSO算法优化GCRBM初始参数。粒子种群数设为15，迭代次数为120，惯性权重因子x最大值为0.9、最小值为0.4，学习因子f₁和f₂均设为2。经120次迭代后，其适应度函数曲线逐渐下降并保持稳定，如图14所示。

为综合评价GCDBN-Bi-LSTM模型性能，将其与GCDBN、LSTM、GCDBN-LSTM做对比分析。首先，所有模型采用同一训练集和测试集，最大训练次数设为1 800次。图15为训练损失函数曲线，均衰减下降至稳定状态。其中，LSTM收敛速度和稳定值最差；GCDBN收敛速度最快，但稳态损失值较高，为0.498；GCDBN-Bi-LSTM收敛速度优于GCDBN-LSTM，且损失值更低（分别为0.047和0.084）；基于PSO优化的GCDBN-Bi-LSTM损失值最低（为0.033），收敛速度仅次于GCDBN。其次，图16针对PSO算法的有效性，对比分析了GCDBN-Bi-LSTM中第2层GCRBM的重构误差曲线。显然，优化后误差值更快达到稳态值，表明所述模型具有更优训练精度和更快收敛速度。

表5为5种模型对测试集的诊断结果。其中，GCDBN与LSTM识别率分别为96%和87.87%，均有7种错判缺陷；GCDBN-LSTM识别率为99%，3种被错判；GCDBN-Bi-LSTM识别率升为99.28%，降低了对一字裂纹中度缺陷的误判率；经PSO算法优化后，总识别率可达99.9%，错判率最低，在钉脚十字裂纹中仅有1组样本（轻度缺陷）被误判为钉脚一字裂纹，其原因是缺陷等级偏小且与一字裂纹轻度缺陷较为相似。

4.3 其他网络模型实验对比分析

基于相同数据集，对DBN、CNN网络做多次训练和测试，并与GCDBN-Bi-LSTM进行比较。其中，DBN模型由两层RBM堆叠而成，隐含层神经元个数为100，训练批次为10，学习率为0.01；CNN模型由两层卷积层和两层全连接层组成，池化层与卷积层相连，卷积核大小为3×3，训练批次为10，学习率为0.05。

训练前先对训练集随机排序，训练后采用相同的测试集。将该过程重复10次，其识别率见图17。其中，DBN平均识别率为85.31%，优于CNN的82.89%，但识别稳定性较差；GCDBN-Bi-LSTM识别率均保持在99%以上，最高可达99.49%，平均识别率为99.33%；经PSO算法优化后，其平均识别率提升至99.85%，比DBN和CNN提升了14.54和16.96个百分点，验证了该模型具有更高的识别性能和鲁棒性，可满足实际铆钉缺陷检测需求。

4.4 铆钉缺陷在线检测实验

图18说明了铆钉缺陷在线检测流程。根据该流程，基于所述方法构建诊断模型，在中国汽车工业工程有限公司示范线上开展检测实验，对1 050个各类铆钉采集样本进行检测识别，如图19所示。经反复测试与系统参数优化，最终可保证在线误判率不高于0.5%，实现了铆钉内部缺陷的在线诊断，验证了所述自动检测方法与系统的有效性与可行性，为车身铆接缺陷检测的实际应用奠定了良好的技术基础。同时，该方法的检测流程具有良好的通用性，可适用于不同规格铝合金板及钢铝混合结构铆接铆钉的缺陷检测与识别。

5 结论

收起

为实现车身用多层铝合金板铆钉内部断裂缺陷的自动检测与诊断，本文提出一种基于PSO算法优化的GCDBN-Bi-LSTM在线诊断模型与检测方法。首先，以5类常见铆钉失效缺陷为检测对象制作试件，采用脉冲涡流检测法获取包含时序变化特性和空间分布状态的铆钉检测数据，采用适配、分割与归一化算法来构建检测数据集，提高了数据处理速度；针对铆接板弯曲弧度问题，提出探测平面与扫查点曲面切平面保持平行的扫查方式，有效降低了提离效应影响。其次，基于多层特征融合方法将GCDBN和Bi-LSTM相结合，通过提取和综合多维度特征信息，来提升模型对时-空序列检测信息中缺陷特征的学习和识别能力。实验发现，PSO+GCDBN-Bi-LSTM模型的平均识别率高达99.85%，相比DBN和CNN提升了14.54和16.96个百分点，具有更高诊断准确率和鲁棒性，验证了模型的检测性能更佳。最后，通过开展铆钉缺陷在线检测实验，保证各种标签的在线误判率不高于0.5%，实现了铆钉内部断裂缺陷的高效在线检测。该方法具有良好通用性和应用价值，后续将对车身等内部铆接构件开展在线检测实验，来优化系统结构与性能参数。

基金

收起

^*国家重点研发计划项目(2017YFB1303502)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

LI D Z，CHRYSANTHOU A，PATEL I，et al. Self-piercing riveting-a review[J]. International Journal of Advanced Manufacturing Technology，2017，92： 1777-1824.

[2]

岁波，都东，常保华，等. 轻型车身自冲铆连接技术的发展[J]. 汽车工程，2006，28（1）： 85-89.

SUI B，DU D，CHANG B H，et al. A review on the development of self-piercing riveting technology for lightweight vehicle body[J]. Automotive Engineering，2006，28（1）： 85-89.

[3]

李永兵，马运五，楼铭，等. 轻量化多材料汽车车身连接技术进展[J]. 机械工程学报，2016，52（24）： 1-23.

LI Y B，MA Y W，LOU M，et al. Advances in welding and joining processes of multi-material lightweight car body[J]. Journal of Mechanical Engineering，2016，52（24）： 1-23.

[4]

CHERAGHI S H. Effect of variations in the riveting process on the quality of riveted joints[J]. The International Journal of Advanced Manufacturing Technology，2008，39（11）： 1144-1155.

[5]

ECKSTEIN J，ROOS E，ROLL K，et al. Experimental and numerical investigations to extend the process limits in self-pierce riveting[J]. American Institute of Physics，2007，907（1）： 279-286.

[6]

LIU F F，LIU S P，ZHANG Q L，et al. Quantitative non-destructive evaluation of drilling defects in SiCf/SiC composites using low-energy X-ray imaging technique[J]. NDT & E International，2020，116： 102364.

[7]

LE M，KIM J，KIM S，et al. B-scan ultrasonic testing of rivets in multilayer structures based on short-time Fourier transform analysis[J]. Measurement，2018，128： 495-503.

[8]

HE Y Z，LUO F L，PAN M C. Pulsed eddy current technique for defect detection in aircraft riveted structures[J]. NDT & E International，2010，43（2）： 176-181.

[9]

JANOVEC M，SMETANA M，BUGAJ M. Eddy current array inspection of Zlin 142 fuselage riveted joints[J]. Transportation Research Procedia，2019，40： 279-286.

[10]

武新军，张卿，沈功田. 脉冲涡流无损检测技术综述[J]. 仪器仪表学报，2016，37（8）： 1698-1712.

WU X J，ZHANG Q，SHEN G T. Review on advances in pulsed eddy current nondestructive testing technology[J]. Chinese Journal of Scientific Instrument，2016，37（8）： 1698-1712.

[11]

胡祥超. 集成涡流无损检测系统设计与关键技术研究[D]. 长沙：国防科学技术大学，2012.

HU X C. Research on key technologies and design of integrated eddy current nondestructive testing system[D]. Changsha： National University of Defense Technology，2012.

[12]

FU Y W，LEI M L，LI Z X，et al. Lift-off effect reduction based on the dynamic trajectories of the received-signal fast Fourier transform in pulsed eddy current testing[J]. NDT & E International，2017（87）： 85-92.

[13]

SHAO H D，JIANG H K，ZHANG H Z，et al. Rolling bearing fault feature learning using improved convolutional deep belief network with compressed sensing[J]. Mechanical Systems and Signal Processing，2018，100： 743-765.

[14]

YAN Hao，PENG Y M，SHANG W J，et al. Open-circuit fault diagnosis in voltage source inverter for motor drive by using deep neural network[J]. Engineering Applications of Artificial Intelligence，2023，120： 105866.

[15]

TERCAN H，MEISEN T. Machine learning and deep learning based predictive quality in manufacturing： a systematic review[J]. Journal of Intelligent Manufacturing，2022，33： 1879-1905.

[16]

XIE Q，LU D N，HUANG A Y，et al. RRCNet： rivet region classification network for rivet flush measurement based on 3-D point cloud[J]. IEEE Transactions on Instrumentation and Measurement，2020，70： 1-12.

[17]

AMOSOV O S，AMOSOVA S G，IOCHKOV I O. Detection and recognition of manufacturing defects of rivet joints by their video images using deep neural networks[C]. International Multi-Conference on Industrial Engineering and Modern Technologies （FarEastCon），2019： 1-4.

[18]

AMOSOV O S，AMOSOVA S G，IOCHKOV I O. Defects detection and recognition in aviation riveted joints by using ultrasonic echo signals of non-destructive testing[J]. IFAC-PapersOnLine，2021，54（1）： 484-489.

[19]

EBRAHIMKHANLOU A，DUBUC B，SALAMONE S. A generalizable deep learning framework for localizing and characterizing acoustic emission sources in riveted metallic panels[J]. Mechanical Systems and Signal Processing，2019，130： 248-272.

[20]

LEE H，GROSSE R，RANGANATH R，et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]. Proceedings of the 26th Annual International Conference on Machine Learning，2009： 609-616.

[21]

SALAKHUTDINOV R，HINTON G. Using deep belief nets to learn covariance kernels for gaussian processes[C]. Proceedings of Advances in Neural Information Processing Systems，2008，20： 1249-1256.

[22]

SHAO H D，JIANG H K，ZHANG H Z，et al. Electric locomotive bearing fault diagnosis using a novel convolutional deep belief network[J]. IEEE Transactions on Industrial Electronics，2018，65（3）： 2727-2736.

[23]

HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J]. Neural Computation，1997，9（8）： 1735-1780.

2024年第46卷第2期

PDF下载

337

136

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2024.02.019

接收时间：2023-07-25
首发时间：2025-07-20
出版时间：2024-02-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-07-25
修回日期：2023-08-23

基金

^*国家重点研发计划项目(2017YFB1303502)

作者信息

^1. 天津理工大学，天津市先进机电系统设计与智能控制重点实验室，天津 300384

^2. 中国汽车技术研究中心有限公司，天津 300300

^3. 中国汽车工业工程有限公司，天津 300113

通讯作者:

刘凉，副教授，博士，硕士生导师，E-mail：liuliang_tjut@126.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2024.02.019

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

铆钉缺陷类型	铆钉缺陷分布特征
钉脚一字裂纹	圆柱面底部裂纹呈现近似一字型分布
钉脚十字裂纹	圆柱面底部裂纹呈现近似十字型分布
轴向（分布）断裂	圆柱面沿轴向产生断裂的区域性缺损
径向（分布）断裂	钉帽根部及圆柱面沿径向产生断裂的区域性缺损
横向截面断裂	圆柱面横向截面整体产生腐蚀型缺损

铆钉缺陷类型

铆钉缺陷分布特征

钉脚一字裂纹

圆柱面底部裂纹呈现近似一字型分布

钉脚十字裂纹

圆柱面底部裂纹呈现近似十字型分布

轴向（分布）断裂

圆柱面沿轴向产生断裂的区域性缺损

径向（分布）断裂

钉帽根部及圆柱面沿径向产生断裂的区域性缺损

横向截面断裂

圆柱面横向截面整体产生腐蚀型缺损

缺陷类型	断裂尺寸/mm	断裂区域（长×宽）/mm²	缺陷等级
钉脚一字裂纹钉脚一字裂纹钉脚一字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
钉脚十字裂纹钉脚十字裂纹钉脚十字裂纹	长度0.5~1		轻度
长度1~3		中度
长度3~4		严重
轴向（分布）断裂轴向（分布）断裂		（1~2）×（1~2）	中度
	（2~4）×（2~4）	严重
径向（分布）断裂径向（分布）断裂	深度0.5~1		轻度
深度1~2		中度
横向截面断裂横向截面断裂	高度1~3		中度
高度3~4		严重

缺陷类型

断裂尺寸/mm

断裂区域

（长×宽）/mm²

缺陷

等级

钉脚一字裂纹

长度0.5~1

轻度

长度1~3

中度

长度3~4

严重

钉脚十字裂纹

长度0.5~1

轻度

长度1~3

中度

长度3~4

严重

轴向（分布）断裂

（1~2）×（1~2）

中度

（2~4）×（2~4）

严重

径向（分布）断裂

深度0.5~1

轻度

深度1~2

中度

横向截面断裂

高度1~3

中度

高度3~4

严重

缺陷类型	缺陷等级	训练样本数	测试样本数	标签
无缺陷	无	248	89	1
钉脚一字裂纹	轻度	212	74	2
中度	210	75	3
严重	201	72	4
钉脚十字裂纹	轻度	212	74	5
中度	210	75	6
严重	201	72	7
轴向分布断裂	中度	210	75	8
严重	201	72	9
横向截面断裂	中度	210	75	10
严重	201	72	11
径向分布断裂	轻度	212	74	12
中度	212	74	13

缺陷类型

缺陷等级

训练样本数

测试样本数

标签

无缺陷

无

248

钉脚一字裂纹

轻度

212

中度

210

严重

201

钉脚十字裂纹

轻度

212

中度

210

严重

201

轴向分布断裂

中度

210

严重

201

横向截面断裂

中度

210

严重

201

径向分布断裂

轻度

212

中度

212

GCRBM结构层数	第1层	第2层
卷积核个数	9	16
卷积核大小	3×3	3×3
池化大小	2×2	2×2
训练批次	10	10
学习率	0.005	0.001
权重更新动量	0.9	0.9

GCRBM结构层数

第1层

第2层

卷积核个数

卷积核大小

3×3

池化大小

2×2

训练批次

学习率

0.005

0.001

权重更新动量

0.9

标签	识别率/%
1	100	100	100	100	100
2	90.54	81.08	100	100	100
3	100	100	96	98.67	100
4	95.83	51.39	95.83	95.83	100
5	87.84	79.73	100	100	98.65
6	88	100	100	100	100
7	100	55.56	95.83	95.83	100
8	98.67	85.33	100	100	100
9	100	100	100	100	100
10	88	97.33	100	100	100
11	100	100	100	100	100
12	98.65	87.84	100	100	100
13	100	100	100	100	100
总识别率	96	87.87	99	99.28	99.9

标签

识别率/%

GCDBN

LSTM

GCDBN-

LSTM

GCDBN-

Bi-LSTM

PSO+GCDBN-

Bi-LSTM

100

90.54

81.08

100

98.67

100

95.83

51.39

95.83

100

87.84

79.73

100

98.65

100

55.56

95.83

100

98.67

85.33

100

97.33

100

98.65

87.84

100

总识别率

87.87

99.28

99.9