汽车工艺与材料

零件	分类数量/个	Train图片数/张	Test图片数/张	精确率
门槛亮条	9	3 722	712	0.989 17
侧标	6	3 120	652	0.988 21
车顶天线	2	696	93	0.999 77
尾标logo	2	420	152	0.997 28
尾标	8	3 600	730	0.988 22
酒精罐插头	2	1 314	307	0.999 57
后杠固定条	2	282	33	0.998 64
左侧裙	3	2 210	512	0.991 12
右侧裙	3	2 210	512	0.992 09
左胶堵	2	1 960	435	0.993 08
右胶堵	2	1 381	306	0.999 09

零件	分类数量/个	Train图片数/张	Test图片数/张	精确率
门槛亮条	9	3 722	712	0.989 17
侧标	6	3 120	652	0.988 21
车顶天线	2	696	93	0.999 77
尾标logo	2	420	152	0.997 28
尾标	8	3 600	730	0.988 22
酒精罐插头	2	1 314	307	0.999 57
后杠固定条	2	282	33	0.998 64
左侧裙	3	2 210	512	0.991 12
右侧裙	3	2 210	512	0.992 09
左胶堵	2	1 960	435	0.993 08
右胶堵	2	1 381	306	0.999 09

序号	数据表名	数据表简要描述
1	A402_qrk1_visual_realtime	楼上QRK1实时更新表格用于更新结果
2	A403_qrk1_visual_history	QRK1历史记录表格
3	A405_qrk1_visual_dispose	楼上QRK1视觉识别图片配置表格
4	A406_qrk1_visual_photo_disopse	楼上图片拍照配置表格
5	A408_qrk1_visual_plc	实时获取吊具号和KEN号
6	A410_qrk1_visual_realtime	车辆实时数据
7	A420_qrk1_visual_real_time	更新结果及判断数据新旧使用
8	A422_qrk1_visual_real_time	4040工位实时数据使用
9	A423_qrk1_visual_history	4040工位历史数据使用
10	A425_qrk1_visual_dispose	Yolov5识别图片参数使用
11	A428_qrk1_visual_plc	4040工位获取吊具和ken号
12	A430_qrk1_image	楼上识别视觉图片结果
13	A431_qrk1_image_history	4040工位图片存储位置

序号	数据表名	数据表简要描述
1	A402_qrk1_visual_realtime	楼上QRK1实时更新表格用于更新结果
2	A403_qrk1_visual_history	QRK1历史记录表格
3	A405_qrk1_visual_dispose	楼上QRK1视觉识别图片配置表格
4	A406_qrk1_visual_photo_disopse	楼上图片拍照配置表格
5	A408_qrk1_visual_plc	实时获取吊具号和KEN号
6	A410_qrk1_visual_realtime	车辆实时数据
7	A420_qrk1_visual_real_time	更新结果及判断数据新旧使用
8	A422_qrk1_visual_real_time	4040工位实时数据使用
9	A423_qrk1_visual_history	4040工位历史数据使用
10	A425_qrk1_visual_dispose	Yolov5识别图片参数使用
11	A428_qrk1_visual_plc	4040工位获取吊具和ken号
12	A430_qrk1_image	楼上识别视觉图片结果
13	A431_qrk1_image_history	4040工位图片存储位置

基于机器视觉技术的汽车制造零件检测系统

PDF下载

王金成 , 刘兴

汽车工艺与材料 | 生产装备 2023,(7): 68-72

收起

汽车工艺与材料 | 生产装备 2023, (7): 68-72

基于机器视觉技术的汽车制造零件检测系统

全屏

王金成, 刘兴

作者信息

一汽-大众汽车有限公司佛山分公司，佛山 528000

王金成（1982—），男，工程师，硕士学位，研究方向为智能制造和工厂数智化。

The Detection System of Automobile Manufacturing Parts Based on Machine Vision Technology

Jincheng Wang, Xing Liu

Affiliations

FAW Volkswagen Co., Ltd, Foshan Branch, Foshan 528000

出版时间: 2023-07-20 doi: 10.19710/J.cnki.1003-8817.20220386

文章导航

摘要

收起

为代替人工完成汽车零件安装状态的检测识别，基于YOLOv5算法并结合PLC、RFID、Python、OpenCV、钉钉即时移动通讯软件设计形成一套完整的视觉检测系统。该系统种所训练得到的样本模型准确率和召回率均在98%以上，从实际运行观察，其识别并准确提醒的概率在99%以上，并且可满足生产节拍需求，优于目前人工检测的实际效果，成本较低具备良好的经济推广性。

关键词

整车生产 / YOLOv5 / Python / 检测

Abstract

收起

A complete visual inspection system based on YOLOv5 combining with PLC, RFID, Python, OpenCV and DingTalk, was designed to replace manual inspection and recognition of the installation status of automotive parts. Accuracy and recall rate of the sample models trained in this system are both above 98%. From actual operation observation, the probability of identifying and accurately reminding is above 99%, and it meets the requirements of production takt, superior to the actual results of current manual detection, with low cost and good economic promotion.

Key words

Vehicle production / YOLOv5 / Python / Testing

引用本文

王金成, 刘兴. 基于机器视觉技术的汽车制造零件检测系统. 汽车工艺与材料, 2023 , (7) : 68 -72 . DOI: 10.19710/J.cnki.1003-8817.20220386

Jincheng Wang, Xing Liu. The Detection System of Automobile Manufacturing Parts Based on Machine Vision Technology[J]. Automobile Technology & Material, 2023 , (7) : 68 -72 . DOI: 10.19710/J.cnki.1003-8817.20220386

正文

收起

1 前言

收起

随着汽车行业快速发展，消费者对于汽车的需求逐渐增加，汽车配置种类也在逐渐增加。在整车生产制造行业，一辆高品质的汽车需要安装1 000类以上、共计上万个零件，为了避免在汽车生产时零件发生错和漏装，在制造过程中以往是通过人工安装前进行自检、相关工位互查、每条生产线尾人员检查以及质保人员终检。人工的检测主观干扰因素多，可靠性低，对于多种车型多种配置的混线生产，人工检查会因为疲劳检查等原因导致错漏装零件车下线，从而可能带来后续返修成本增加，甚者会导致错误的配置车辆流入客户，从而带来强烈的售后抱怨和经济损失。如何利用数智化的手段来识别并解决问题显得愈发重要，国内外相关人员对此做了较多的研究，许有健等^[1]识别汽车制造过程中的管控要素和相应的方法；唐艳、陈莉等^[2-3]对制造业在数智化升级的整体框架进行了研究。

利用机器视觉代替车间检查人员，完成整车零件的错漏装检测显得愈发重要。许多人开始着手研究，张丽秀等^[4]通过采用改进的YOLOv3算法实现汽车零件配置的识别，解决传统终检人工作业检测的弊端。汽车生产组装过程中的酒精管道插头、胶堵、空调冷凝管等零部件因为车型配置种类多，易发生错漏装的现象，且个别零件因为安装位置等原因不易第一时间发现问题，一旦出现问题就会产生返修返工、停台影响甚至会出现质量问题，会造成巨大损失。

针对上述错漏装不易发现的问题，为了以最低成本实现集成系统式预防问题，本研究主要开发了一套基于Python、OpenCV、YOLOv5开源模型算法、Snap7技术来实现汽车装配类零件错漏装的图像识别系统方法，从而杜绝错漏装的现象。本系统通过Python Snap7 与线体西门子PLC（S7-300系列）通信，实现如下功能。

a.通过sew变频器和编码器精准地获取当前车辆信息和车辆所处的位置；

b.利用OpenCV的Python库基于rtsp通讯协议调动普通的网络摄像头进行拍照然后对拍摄图像进行预处理；

c.利用YOLO模型进行图像识别分类；

d.最后利用位于生产线尾的语音屏和手机钉钉端进行相应的报警。

该系统具有低成本、低功率、高准确率的特点，便于在整车制造同类问题进行横向开展。

2 YOLOv5s目标检测算法

收起

2021年，Ultralytics LLC公司提出了YOLOv5算法，YOLOv5在原有YOLOv4的架构基础上进行改进^[5]，YOLOv5 算法分为 YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x算法。其中，YOLOv5s 的网络最小，检测速度最快^[6]，因为本系统主要识别的是整车生产过程中装配类零件的错漏装检测，YOLOv5s精度要求也是满足整车生产现场的实际需求，因此本系统基于YOLOv5s算法开展实际设计使用。

2.1 数据样本准备

本系统需要完成11种汽车零件的整体检测，为了后续集成化系统的快速开发推广使用，暂定采用每类零件都进行一次模型训练，生成11个训练模型。其所使用数据样本集是通过现场摄像头进行实时数据采集。因为系统测试车间是多种车型混线生产，且每种车型都有多个配置信息，根据零件实际情况进行样本的训练集和测试集准备。

因为在样本拍摄过程中，因为摄像头自身问题及信号传输可能会受到信号干扰问题，会导致图片中通常会产生高斯噪声和椒盐噪声，会出现影响视觉判断的黑白像素点，利用OpenCV的cv2.blur（）均值滤波函数对其进行降噪处理^[7]。

（1）

K = 1 5 × 5 × 1 ⋯ 1 ⋮ ⋱ ⋮ 1 ⋯ 1

根据卷积神经网络的计算要求，对图片进行归一标准化统一处理，确保图片大小为标准形式^[8]，所有图片大小都设置为640 px×640 px。

（2）Y=(Xi-min(X))/(Xi-max(x))

式中，xi为图像像素点值；min(x)、max(x)分别为图像像素的最小值与最大值^[9]。

图片标准化处理完成后，利用专业的图片标注软件为Labelimg软件对每张样本图片进行相应的标定。

2.2 模型训练

在模型训练过程，将初始学习率设为0.01，weight decay 设置为0.000 5， batchsize设置为64，训练epoch设置为300轮。分别将标注好11个零件的训练与测试图片样本集，进行模训练。在本系统中，最终采用将精确率、召回率作为最终样本模型好坏的评价衡量指标。经过多轮的训练最终得到11个样本模型，再分别将其设定IOU阈值为0.5时，其每个模型的精确率见表1。

3 系统功能和框架整体介绍

收起

整个程序系统位于服务器（服务器的配置信息），基于YOLOv5s算法，使用深度学习框架PyTorch，训练测试在PyTorch 1.8.0环境下完成，编程语言为Python 3.8，数据库为MySQL8.0.1操作系统是Win10系统。

3.1 系统整体信息

在整个系统设计过程中，5大主要模块分别为图像采集模块、车辆配置信息获取模块、车辆信息采集模块、图像识别模块和系统报警模块，系统结构如图1所示。

a.图像采集模块：利用OpenCV进行现场图片采集并进行降噪、灰度处理、像素大小处理。

b.车辆配置信息获取模块：利用Python实时从配置数据库SQL Server获取车辆的配置信息。

c.车辆信息采集模块：利用Python-Snap7与西门子s7-300系列的PLC实时通讯获得固定位置车辆到达信息，作为后续拍照、分析启动的先决条件。

d.系统报警模块：根据安装状态与否进行相应的语音提示和钉钉报警。

e.图像识别模块：利用迁移学习训练网络模型，将采集处理后的图片与模型对比分析，判断安装状态。

3.2 具体工作流程

在该项目从车辆到站到车辆出站预警分析等需要完成6步完整步骤。

a.步骤1：基于Python Snap7获取车间西门子PLC S7-300系列中的DB块信息。工业界经常将RFID系统分为标签、阅读器和天线3大组件。阅读器通过天线发送电子信号，标签接收到信号后发射内部存储的标识信息，阅读器再通过天线接收并识别标签发回的信息，最后阅读器再将识别结果发送给主机^[10]。通过安装在设备上RFID阅读器，从吊具上的数据载体（标签）中实时获取当前车辆底盘号信息，并将其存储到PLC的DB块中。目前车间使用的为西门子S7-300系列的PLC，通过 Snap7 提供的 read_area（self, area, dbnumber, start, size）函数，读取 PLC 的DB块中的值，并将其存储到MySQL数据库中。

b.步骤2：实时从MySQL数据库中获取步骤一中得到的车辆底盘号等信息，判断该底盘号是否与识别数据库中的车辆底盘号一致，如不一致说明该车辆为最新车辆，需要利用Python中的pymssql库实时从车辆配置信息的FIS服务器上的SQL Server数据库中获取车辆的车型信息和配置信息代码，存储到对应的MySQL数据中以便后用。

c.步骤3：利用Python OpenCV，基于网络摄像头的rtsp协议流实时流传输协议（主要用来控制影响的实时多媒体流传输协议^[11])控制网络摄像头，利用Python OpenCV的VideoCapture( )和imwrite( )控制网络摄像头获取图片。

d.步骤4：基于前期利用YOLOv5s实时训练的11种零件样本的训练模型，逐个对11张图片的11类零件进行机器视觉识别，并将识别判定结果实时存储到对应的MySQL数据库中，经过近2个月的实际观察判断，其准确性在99%以上，满足现场的实际需求，而且随着时间的推移，样本数据的逐渐增加，其准确性会继续提升。

e.步骤5：针对识别的结果实时存储到后端MySQL数据库中，如表2所示，如何利用更加有效的手段提醒操作者和检查人员采取措施显得愈发重要，为此利用Vue.js做前端、Node.js做后端搭建语音屏的实时显示界面，位于每条生产线的链尾，进行实时车辆检查状态提醒，即通过与线体PLC实时通讯获取当前车辆底盘号，根据底盘号实时与视觉识别结果存储数据库通讯，将其识别结果显示至工位屏上，并利用语音合成技术，将不合格结果通过语音播报出来，具体逻辑流程如图2所示。

f.步骤6：利用Python将不合格（或异常点）信息通过钉钉进行相应的报警。利用手机钉钉系统推送不合格车辆信息，在相关钉钉报警工作群中创建自定义机器人，获取到 Webhook 地址后，向这个地址发起 HTTP POST 请求^[12]，将相应的报警信息实时发送给相应的负责人员及时采取相应措施。

4 结束语

收起

在将整个系统用于现场后，经过现场两个多月的测试验证，识别准确率在99%以上，而且为了后续模型的更加精准，每隔一个月会对模型进行重新训练，使其准确性达到99.5%以上。而且利用位于每条生产线的语音屏和手机钉钉也会及时将错漏装信息反馈给检查人员，全面杜绝汽车零件错漏装的流出。之前车间漏检返修的数量为240次/年，经济损失20万元年；系统运行近6个月，相关零件错漏检返修的数量只有1次，大大降低了成本，提高了经济效益。后续将会对整个系统程序和算法进行持续优化，便于快速迭代以及推广实施。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

许有健, 吴涛, 梁玉环. 质量信息管理系统在汽车制造质量控制中的应用[J]. 制造与工艺, 2021(1): 115-116.

[2]

唐艳, 胡桐. 美的数智化"探索[J]. 企业管理 2021(2):103-106.

[3]

陈莉. 美的"数智四剑客"亮相工博会, 美云智数"立腕"最懂制造业的数字规划师[J]. 电器, 2020(10): 66-68.

[4]

张丽秀, 田甜, 邵萌. 基于改进的YOLO V3算法汽车零件配置辨识[J]. 组合机床与自动化加工技术, 2020(6): 150-153.

[5]

张锦, 屈佩琪, 孙程, 等. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 计算机应用, 2022(4): 1292-1300.

[6]

王莉茹. 基于YOLOv5s 的口罩佩带检测[J]. 西藏科技: 65-67.

[7]

李立宗. OpenCV轻松入门面向Python[M]. 北京: 电子工业出版社, 2019.

[8]

田佳鹭, 邓立国. 基于改进VGG16的猴子图像分类方法[J]. 信息技术与网络安全, 2020, 39(5): 6-11.

[9]

徐晓. 基于C和OpenCV相结合的猫脸识别研究[J]. 电脑与信息技术, 2021, 29(3): 30-33.

[10]

杨雪珂, 熊先青. 家具生产线射频识别技术的信息采集与应用[J]. 林业工程学报, 2022(3): 180-186.

[11]

郭佳琛. 网络摄像头的安全威胁技术分析[J]. 中国信息安全, 2019(4): 39-42.

[12]

李红永. Python监听服务器业务并利用钉钉机器人实现报警[J]. 中国有线电视, 2020(8): 900-903.

2023年第卷第7期

PDF下载

156

引用本文

BibTeX

文章信息

doi: 10.19710/J.cnki.1003-8817.20220386

首发时间：2026-01-12
出版时间：2023-07-20

补充材料

相关文章

文章信息

作者

出版历史

基金

作者信息

一汽-大众汽车有限公司佛山分公司，佛山 528000

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgyycl/CN/10.19710/J.cnki.1003-8817.20220386

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT