汽车工程师

阶段	RSU	I	M	O
编码	En_1	RSU-7	3	16	64
En_2	RSU-6	64	16	64
En_3	RSU-5	64	16	64
En_4	RSU-4	64	16	64
En_5	RSU-4F	64	16	64
En_6	RSU-4F	64	16	64
解码	Dn_5	RSU-4F	128	16	64
Dn_4	RSU-4	128	16	64
Dn_3	RSU-5	128	16	64
Dn_2	RSU-6	128	16	64
Dn_1	RSU-7	128	16	64

阶段	RSU	I	M	O
编码	En_1	RSU-7	3	16	64
En_2	RSU-6	64	16	64
En_3	RSU-5	64	16	64
En_4	RSU-4	64	16	64
En_5	RSU-4F	64	16	64
En_6	RSU-4F	64	16	64
解码	Dn_5	RSU-4F	128	16	64
Dn_4	RSU-4	128	16	64
Dn_3	RSU-5	128	16	64
Dn_2	RSU-6	128	16	64
Dn_1	RSU-7	128	16	64

参数	参数值
迭代次数/次	50
批处理大小/次	4
学习率	0.004
优化器	Adam
损失函数	二值交叉熵损失

参数	参数值
迭代次数/次	50
批处理大小/次	4
学习率	0.004
优化器	Adam
损失函数	二值交叉熵损失

基于轻量化U²-Net的车道线检测算法研究^*

PDF下载

邓欢 ¹ , 王健 ¹ , 吴孟军 ² , 杜若飞 ¹ , 费明哲 ¹ , 王云靖 ¹

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024,(8): 22-28

收起

汽车工程师 | 智能车辆环境感知与目标检测技术专刊 2024, (8): 22-28

基于轻量化U²-Net的车道线检测算法研究^*

全屏

邓欢¹, 王健¹, 吴孟军², 杜若飞¹, 费明哲¹, 王云靖¹

作者信息

¹ 山东交通学院，济南 250357

² 宁波市鄞州德来特技术有限公司，宁波 315100

通讯作者:

王健（1986—），男，山东潍坊人，工学博士，主要研究方向为自动驾驶及主动安全，wangjian@sdjtu.edu.cn。

Research on Lane Line Detection Algorithm Based on Lightweight U²-Net

Huan Deng¹, Jian Wang¹, Mengjun Wu², Ruofei Du¹, Mingzhe Fei¹, Yunjing Wang¹

Affiliations

¹ Shandong Jiaotong University, Jinan 250357

² Ningbo Yinzhou DLT Technologies Co., Ltd., Ningbo 315100

出版时间: 2024-08-15 doi: 10.20104/j.cnki.1674-6546.20230435

文章导航

摘要

收起

针对车道线遮挡、道路阴影等多车道驾驶环境下提取的车道线特征信息缺失造成预测车道线模糊、不连续等问题，提出一种基于轻量化U²-Net的车道线检测算法。首先，以轻量化U²-Net的残差U形模块（RSU）和多特征尺度融合获得全局信息丰富的车道线特征；其次，对车道线特征进行逐像素阈值判断，并选择最小二乘法结合感兴趣区域（ROI）中车道线簇进行车道线的拟合，实现多车道线检测并确认自车道线区域；最后，在图森（TuSimple）数据集上进行验证与分析。验证结果表明，所提出的车道线检测算法的平均准确率达到98.4%，相比于其他车道线检测网络，该算法的网络参数量较少，准确率较高。

关键词

轻量化U²-Net / 残差U形模块 / 多车道线检测 / 自车道线

Abstract

收起

In response to the multilane lines driving environments such as lane line occlusion, road shadows, where the extractes lane line feature information is missing, resulting in blurry and discontinuous predicted lane lines, this paper proposes a lightweight U²-Net network for lane line detection algorithm. Firstly, the Residual U-blocks (RSU) module of the lightweight U²-Net network and multi feature scale fusion are used to obtain globally informative lane line features; secondly, pixel-by-pixel threshold judgment is performed on lane line features, and the least square method is selected combined with the lane line cluster of Region Of Interest (ROI) to fit lane line, to achieve multilane line detection and determine the self lane line area; finally, the proposed lane detection algorithm is validated and analyzed in the TuSimple dataset. The results show that the average accuracy of the proposed lane line detection algorithm reaches 98.4%. Compared with other lane line detection networks, this algorithm has fewer network parameters and higher accuracy.

Key words

Lightweight U²-Net / Residual U-blocks (RSU) / Multi-lane line detection / Self lane line

引用本文

邓欢, 王健, 吴孟军, 杜若飞, 费明哲, 王云靖. 基于轻量化U²-Net的车道线检测算法研究^*. 汽车工程师, 2024 , (8) : 22 -28 . DOI: 10.20104/j.cnki.1674-6546.20230435

Huan Deng, Jian Wang, Mengjun Wu, Ruofei Du, Mingzhe Fei, Yunjing Wang. Research on Lane Line Detection Algorithm Based on Lightweight U²-Net[J]. Automotive Engineer, 2024 , (8) : 22 -28 . DOI: 10.20104/j.cnki.1674-6546.20230435

正文

收起

1 前言

收起

环境感知是无人驾驶技术的核心技术之一，其中，复杂环境下车道线检测的实时性和鲁棒性对车道偏离预警系统（Lane Departure Warning System，LDWS）、车道保持系统（Lane Keeping System，LKS）等驾驶辅助系统十分重要，可明显提高智能车辆的行驶安全性。目前，车道线检测算法分为传统车道线检测算法和基于深度学习的车道线检测算法^[1]。传统车道线检测算法在车道线标记清晰、无遮挡物的道路上检测效果较好，但难以应用于无人驾驶场景。

相比于传统车道线检测算法，越来越多的研究者将深度学习算法应用于图像处理领域，实现高精度的车道线检测，以提升遮挡和磨损条件下的车道线检测性能，但很多基于深度学习的车道线检测算法仍然存在一些问题。针对恶劣天气和夜间条件，Lee等^[2]提出一个端到端的多任务网络模型，即消失点引导网络（Vanishing Point Guided Network，VPGNet），可提高车道检测的实时性；Neven等^[3]提出了LaneNet算法进行多车道线检测，该算法基于实例分割的思想，但其检测精度不高；Gansbeke等^[4]提出一种端对端的车道线模型训练方式，通过直接回归车道参数提高车道线的检测效果；针对语义分割网络模型检测效果不佳、计算量大等问题，文献[5]基于BiSeNet V2网络模型优化改进，提高了模型的推理速度，文献[6]采用压缩的VGG16网络进行编码，通过车道线后处理过程获得更加精确的车道线，文献[7]提出融合多分支结构和注意力机制的车道线检测模型，解决了特征融合不充分、鲁棒性差的问题。因此，面对复杂多变的驾驶环境，寻求一种通用、计算量低的轻量化网络，同时改善神经网络识别精度不高和缺失多尺度上下文特征等缺陷，是目前无人驾驶技术环境感知领域中急需解决的问题。

考虑到基于分割的检测算法更易于实际应用，本文提出一种基于轻量化U²-Net的车道线检测算法。首先，以轻量化U²-Net语义分割网络分割车道线特征，使用残差U形模块（Residual U-blocks，RSU）提取深层特征信息，特征图融合模块保留全局信息，通过阈值分割进行多车道线提取。其次，提出一种简单的后处理方式，对分割后图像进行感兴趣区域提取，由最小二乘拟合和抛物线模型完成自车道线确认。最后，在图森（TuSimple）数据集上进行验证，使用正确率、平均绝对误差、F度量值等多个指标评估算法结果。

2 车道线语义分割网络设计

收起

针对复杂环境下车道线特征提取模型复杂、效果不佳等问题，本文借鉴图像语义分割的思路，提出基于轻量化U²-Net的车道线特征分割模型，可以在不使用常规分类网络主干的情况下快速地对预处理后的车道线图像进行特征分割，将输入图像分割为车道线特征和背景特征两种语义类别，继而对分割得到的车道线特征进行车道线提取，以实现对多车道线的检测和自车道线区域的确认。本文提出的车道线检测算法流程如图1所示。

2.1 轻量化U²-Net的车道线分割

轻量化U²-Net^[8]是一种用于显著对象检测的网络体系结构，其架构是堆叠嵌套的U型结构，包括6级编码网络、5级解码网络、解码网络和编码网络的最后一个阶段的特征图融合模块3个部分，其网络的结构和参数配置分别如图2和表1所示，其中I为输入图像的通道（C_in）数量、M为网络内层通道（C_mid）数量、O为输出图像的通道（C_out）数量。

2.1.1 编码、解码网络

在车道线检测和分割任务中，局部与整体的上下文信息都是必不可少的，既要扩大特征提取的感受野来提取深层特征，又要将浅层特征与深层特征融合。因此，轻量化U²-Net的编码、解码网络中每一个阶段都通过一个新的RSU模块来捕捉阶段内的多尺度特征，直接分阶段提取多尺度特征，再将每个阶段的车道线特征进行融合。其中，RSU模块细分为RSU-L模块和RSU-4F模块。

RSU-L模块采用U型结构，主要包括输入卷积层、编码-解码网络、残差连接3个部分。其中特征图的长度和高度分别为H和W，RSU网络的层数为L，当L=7时，RSU-7模块如图3a所示，其中包括卷积层（Conv）、批归一化（Batch Normalization，BN）层、修正线性单元（Rectified Linear Unit，Relu）激活层，以及下采样（Dowbsample）、上采样（Upsample）操作等，k为步幅，d为填充量。车道线特征图x（H×W×I）经过输入卷积层输出中间特征图F₁(x)（H×W×O），以提取车道线的局部特征；将F₁(x)输入高度为L的RSU-L模块，学习提取多尺度上下文信息U(F₁(x))。在RSU-L模块中，L越大，RSU模块越深，池化操作越多，获得的局部和全局特征越丰富；将获得的局部信息和全局信息通过残差连接，进行局部特征和多尺度特征的融合，特征融合公式为：

（1）H(x)=F₂(F₁(x))+x

式中：H(x)为输入图像特征x的期望映射，F₂、F₁为权值层。

RSU-4F模块如图3b所示，与RSU-L模块的结果相比，它将池化和上采样操作替换为扩展卷积，使得所有中间特征映射与其输入特征映射具有相同的分辨率，避免下采样过程的特征图过小。

2.1.2 特征图融合模块

在编码网络下采样和解码网络上采样过程中，En_6、De_5、De_4、De_3、De_2和De_1阶段通过3×3卷积层和S型函数（Sigmoid Function）输出S(6)、S(5)、S(4)、S(3)、S(2)、S(1)等6个车道线特征图，特征图融合模块就是将输出的6个车道线特征图分别上采样到输入图像大小，采用连接操作进行特征融合，然后通过1×1卷积层和S型函数生成最后的车道线特征图S_fuse，对每一项输出的车道线特征图使用二值交叉熵计算损失，故最终的损失函数包括S(6)、S(5)、S(4)、S(3)、S(2)、S(1)的损失和特征融合输出车道线特征图S_fuse的损失，具体计算公式为：

（2）$L={\sum }_{n=1}^{N}{w}_{s}^{\left(n\right)}{l}_{s}^{\left(n\right)}+{w}_{fuse}{l}_{fuse}$

式中：N=6为输出的车道线特征图数量，l_s⁽ⁿ⁾为车道线特征图S(n)的二值交叉熵损失，l_fuse为S_fuse的二值交叉熵损失，w_s⁽ⁿ⁾为l_s⁽ⁿ⁾的权重系数，w_fuse为l_fuse的权重系数。

2.2 多车道线检测

本文将车道线检测任务视为图像语义分割问题，经轻量化U²-Net语义分割网络提取的车道线特征图S_fuse包括丰富的局部和全局特征信息，可以将模糊、不连续的车道线特征弥补拟合为完整的车道线形状，直接进行多车道线检测。

首先通过多次验证测试，分析不同阈值（T_threshold）下的车道线检测效果，如图4所示，当T_threshold=0.3时获得的车道线检测效果较好，检测到的车道线基本与特征图中的车道线像素点稳合；其次，通过对S_fuse内的车道线像素值T进行逐像素判断，当T≥T_threshold时可以提取到完整的车道线簇的坐标集合F(x,y)；最后，将F(x,y)映射至输入图像，实现多条车道线的检测，解决对远端的车道线和弯道预测效果差以及车道线预测不连续的问题。

2.3 自车道确认

LDWS、LKS等驾驶辅助系统一般在近视野区域做出相应的驾驶策略，因此，在实现多车道线检测的基础上，本文提出以输入图像中线为中心，以近视野区域作为车道线图片的感兴趣区域（Region Of Interest，ROI），遍历ROI内的车道线簇，将与ROI中线距离最近的左、右两条连续车道线作为车辆当前行驶车道的左、右边界，并将上述两条车道线所包围的区域标记为车辆当前行驶的车道区域，以实现对行车车道的确认，为汽车的LDWS、LKS等驾驶辅助系统的决策提供依据，使车辆能够更加安全高效地行驶。

在前期的多车道线检测阶段已经提取到单独的车道线簇，故车道线拟合阶段不存在强噪声的干扰，为了提取完整的自车道线区域，选择最小二乘法结合ROI中车道线簇进行车道线的拟合，具体步骤如下：

a. 以输入图像中线为中心，获取ROI，进行逆透视变换；

b. 以ROI的质心为中心，取坐标距离最近的两条车道线分别为当前行驶车道的左、右边界，对两条车道线进行采样，获得左、右车道线的采样坐标集合，分别为L、R；

c. 使用最小二乘拟合确定拟合参数，使用抛物线模型进行车道线拟合，并通过拟合的车道线坐标绘制自车道区域，变换至原图。抛物线模型和误差平方和的计算公式为：

（3）y=ax²+bx+c

（4）${e}^{2}=\sum _{i=1}^{n}[{y}_{i}-(a{x}_{i}^{2}+b{x}_{i}{+c\left)\right]}^{2}$

式中：a、b、c为抛物线模型参数，y为拟合的车道线模型，y_i为真实的车道线模型，x_i为车道线簇的横坐标集，n为当前车道线簇的坐标数量。

3 验证准备

收起

3.1 数据集处理

本文对复杂多变驾驶场景下的车道线进行检测，选取的TuSimple数据集包括含不同天气状况下多车道线的车道场景，其分辨率为1 280×720，分为训练集、测试集和验证集，部分输入图像如图5a所示。其中，TuSimple数据集的图像的标注文件为json格式，其提供了许多离散的轴坐标对应的车道线的轴坐标值。

本文所提出的车道线检测网络的输入图像大小固定，且对应的标签应为二值分割图像，故数据集预处理部分包括对json格式的转换和输入图像的裁剪。首先，将其标签转换为png格式的二值分割图像，处理后的部分二值分割标签（Ground-Truth）如图5b所示；其次，将所有数据集中每个图像调整大小为512×512，作为网络的输入图像；最后，为防止训练过程出现过拟合现象，对数据集进行随机垂直翻转并裁剪为480×480，以增大数据集，提高训练模型的精度。

3.2 测试参数

测试所使用的平台为Windows 10，图形处理器（Graphics Processing Unit，GPU）为NVIDIA Quadro P4000。在算法实现方面，基于PyTorch深度学习框架进行神经网络模型搭建。在网络训练前，设置批处理大小（Batch Size）、迭代次数（Epoch）、学习率、优化器、损失函数等训练参数，如表2所示。

3.3 评价标准

轻量化U²-Net的输出是与输入车道线图像具有相同空间分辨率的预测车道线图，为了验证轻量化U²-Net对车道线特征提取的有效性，本文在TuSimple数据集上对其进行验证，并选取正确率（Accuracy，ACC）、平均绝对误差（Mean Absolute Error，MAE）、F度量值（F_1-measure）指标来评估算法结果。

给定一个预测的车道线特征图，M_mea表示预测的车道线与二值分割标签之间的平均每像素差，A_acc表示预测的车道线中预测正确的概率，F_1-measure是通过加权调和参数β²对精确率（P_precison）和召回率（P_recall）的加权调和。其中，召回率P_recall、精确率P_precison、M_mea、F_1-measure、A_acc的表达式为：

（5）P_recall=N_TP/(N_TP+N_FN)

（6）P_precison=N_TP/(N_TP+N_FP)

（7）${M}_{mea}= \frac{{\sum }_{r=1}^{H}{\sum }_{c=1}^{W}\left|P\left(r,c\right)-G(r,c)\right|}{H\times W}$

（8）F_1-measure=(1+β²)P_precisonP_recall/(β²P_precison+P_recall)

（9）A_acc=(N_TP+N_TN)/(N_TP+N_TN+N_FP+N_FN)

式中：N_TP为预测正确的车道线数量，N_FP为预测错误的车道线数量，N_FN为未检测到的车道线数量，N_TN为未预测正确的背景数量，P(r,c)为预测的车道线特征图，G(r,c)为真实的二值分割标签，(r,c)为像素的坐标，β²设为0.3。

4 验证结果与分析

收起

4.1 训练与优化

在模型的训练与优化过程中，每两次迭代进行模型验证，计算一次迭代中M_mea和F_1-measure的值，与前一次迭代的参数进行对比，以获得最优化的权重参数，训练过程中损失（Train Loss）、学习率与优化过程中的M_mea和F_1-measure随迭代次数变化的曲线如图6所示，由图6a可知，该网络模型的收敛速度快，由图6b可知，在迭代30次的训练后，预测的车道线效果基本稳定。

4.2 可视化分析

本文所提出的车道线检测算法在TuSimple数据集的测试集上进行验证，得到不同环境下车道线检测结果如图7所示。由图7a和图7b可知，本文所提出的基于轻量化U²-Net的车道线检测算法可以实现多车道线的检测；由图7c和图7d可知，在车道线不连续、车道线遮挡以及路面阴影条件下，本文算法将断开的车道线弥补拟合为连续的车道线。由上述结果可以看出，本文算法解决了预测车道线出现模糊、不连续等问题，特别是对远端的车道线和弯道预测效果较好，但该算法对近端的车道线特征提取效果不明显，需要进一步的后处理操作。

4.3 结果对比

将本文提出的车道线检测算法模型的大小及其在TuSimple数据集上的车道线检测准确率与空间卷积神经网络（Spatial Convolutional Neural Network，SCNN）^[9]、SqueezeNet^[10]、GoogLeNet_v2^[10]、LaneNet^[3]进行对比分析，验证模型检测效果。在不采用模型量化和深度学习推理优化器加速的情况下，本文所选取的轻量化网络在测试阶段的准确率达到了98.4%，其推理速度为14.3 帧/s，基本满足车道线检测的实时性要求。由图8可知，相比于其他网络，本文所提出的车道线检测算法模型的参数量较少，相比于参数量更高的LaneNet和SCNN分别提高了2.02%、1.87%，在保证检测速度的情况下，其准确率明显提高。

5 结束语

收起

本文提出了一种基于轻量化U²-Net的车道线检测算法：首先，搭建了轻量化U²-Net，通过RSU模块和多特征尺度融合提取全局信息和局部信息丰富的车道线特征，解决了远端区域、不连续的车道线预测效果较差的问题；其次，通过逐像素阈值比较，实现多车道线检测；最后，在车道线后处理过程，针对分割后图像没有强干扰点的特点，由最小二乘拟合和抛物线模型确认自车道线区域，为车辆高级辅助驾驶系统提供判断信息。在TuSimple数据集上的验证结果表明，本文的车道线检测算法平均准确率达到98.4%，推理速度为14.3 帧/s，在车道线遮挡、道路阴影等多车道线的驾驶环境下具有良好的检测效果，可对远处的车道线和弯道进行检测。

基金

收起

*山东省交通运输科技项目(2022B107)
2021年山东省高等学校青年创新团队发展计划项目(2021KJ039)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

时小虎, 吴佳琦, 吴春国, 等. 基于残差网络的弯道增强车道线检测方法[J]. 吉林大学学报(工学版), 2023, 53(2): 584-592.

SHI

X H

, WU

J Q

, WU

C G

, et al. Enhanced Lane Detection Method for Curves Based on Residual Networks[J]. Journal of Jilin University (Engineering Edition), 2023, 53(2): 584-592.

[2]

LEE

, KIM

, SHIN

YOON J

, et al. VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 1947-1955.

[3]

NEVEN

, DE BRABANDERE

, GEORGOULIS

, et al. Towards End-to-End Lane Detection: An Instance Segmentation Approach[C]// IEEE Intelligent Vehicles Symposium(IV). Changshu, China: IEEE, 2018: 286-291.

[4]

VAN

GANSBEKE W

, NEVEN

, et al. DE BRABANDERE B, End-to-End Lane Detection through Differentiable Least-Squares Fitting[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. Seoul, Korea: IEEE, 2019.

[5]

王碧瑶, 韩毅, 崔航滨, 等. 基于图像的道路语义分割检测方法[J]. 山东大学学报(工学版), 2023, 53(5): 37-47.

WANG

B Y

, HAN

, CUI

H B

, et al. Image Based Road Semantic Segmentation Detection Method[J]. Journal of Shandong University (Engineering Edition), 2023, 53(5): 37-47.

[6]

邓天民, 蒲龙忠, 万桥. 改进FCN的车道线实例分割检测方法[J]. 计算机工程与设计, 2022, 43(10): 2935-2943.

DENG

T M

, PU

L Z

, WAN

. Improved Lane Line Instance Segmentation Detection Method for FCN[J]. Computer Engineering and Design, 2022, 43(10): 2935-2943.

[7]

蒯晓, 丁飞, 张登银. 多分支融合注意力机制的车道线检测模型[J]. 电子测量与仪器学报, 2023, 37(4): 35-43.

KUAI

, DING

, ZHANG

D Y

. A Lane Line Detection Model Based on Multi Branch Fusion Attention Mechanism[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(4): 35-43.

[8]

QIN

X B

, ZHANG

Z C

, HUANG

C Y

, et al. U²-Net: Going Deeper with Nested U-Structure for Salient Object Detection[J]. Pattern Recognition, 2020, 106.

[9]

PAN

X G

, SHI

J P

, LUO

, et al. Spatial as Deep: Spatial CNN for Traffic Scene Understanding[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New Orleans, Louisiana, USA: AAAI, 2018.

[10]

CHEN

Z P

, LIU

Q F

, LIAN

C F

. PointLaneNet:Efficient End-to-End CNNs for Accurate Real-Time Lane Detection[C]// 2019 IEEE Intelligent Vehicles Symposium (IV). Paris, France: IEEE, 2019: 2563-2568.

2024年第卷第8期

PDF下载

160

引用本文

BibTeX

文章信息

doi: 10.20104/j.cnki.1674-6546.20230435

首发时间：2025-11-25
出版时间：2024-08-15

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2023-10-21

基金

*山东省交通运输科技项目(2022B107)

2021年山东省高等学校青年创新团队发展计划项目(2021KJ039)

作者信息

¹ 山东交通学院，济南 250357

² 宁波市鄞州德来特技术有限公司，宁波 315100

通讯作者:

王健（1986—），男，山东潍坊人，工学博士，主要研究方向为自动驾驶及主动安全，wangjian@sdjtu.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcs/CN/10.20104/j.cnki.1674-6546.20230435

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT