汽车工程师

源点	目标点
(430,710)	(290,710)
(1 020,710)	(990,710)
(740,500)	(990,0)
(670,500)	(290,0)

源点	目标点
(430,710)	(290,710)
(1 020,710)	(990,710)
(740,500)	(990,0)
(670,500)	(290,0)

参数	文献[12] 算法	文献[13] 算法	本文算法
视频总帧数/帧	1 350	1 350	1 350
识别正确帧数/帧	1 320	1 298	1 331
识别正确率/%	97.78	96.15	98.59
车道偏离帧数/帧	242	242	242
预警帧数/帧	239	240	241
预警率/%	98.76	99.17	99.58
处理后视频帧速率 /帧·s^-1	22	23	25

参数	文献[12] 算法	文献[13] 算法	本文算法
视频总帧数/帧	1 350	1 350	1 350
识别正确帧数/帧	1 320	1 298	1 331
识别正确率/%	97.78	96.15	98.59
车道偏离帧数/帧	242	242	242
预警帧数/帧	239	240	241
预警率/%	98.76	99.17	99.58
处理后视频帧速率 /帧·s^-1	22	23	25

基于滑动窗口搜索的车道线检测与车道偏离预警算法^*

PDF下载

王梓楠 , 何东 , 赵茂杰

汽车工程师 | 重庆交通大学自动驾驶技术专题 2023,(9): 15-20

收起

汽车工程师 | 重庆交通大学自动驾驶技术专题 2023, (9): 15-20

基于滑动窗口搜索的车道线检测与车道偏离预警算法^*

全屏

王梓楠, 何东, 赵茂杰

作者信息

重庆交通大学，重庆 400074

Lane Line Detection and Lane Departure Warning Algorithm Based on Sliding Window Searching

Zinan Wang, Dong He, Maojie Zhao

Affiliations

Chongqing Jiaotong University, Chongqing 400074

出版时间: 2023-09-15 doi: 10.20104/j.cnki.1674-6546.20230342

文章导航

摘要

收起

针对智能车辆在不同环境下识别车道线出现偏移的问题，提出一种基于滑动窗口搜索的车道线检测与车道偏离预警算法。首先，对实时道路图像进行预处理，包括摄像头校准、色彩和渐变过滤、透视变换等，再采用滑动窗口搜索算法检测车道线，并利用二次多项式进行车道线拟合。然后，利用摄像头单目测距原理计算车辆与车道中心线的相对位置，判断是否偏离车道。试验结果表明，该算法车道线检测准确率达98.59%，车道偏离预警率达99.58%，处理后视频帧速率约为25帧/s，满足准确性、实时性需求。

关键词

图像预处理 / 滑动窗口搜索 / 车道线检测 / 车道偏离

Abstract

收起

For the problem of intelligent vehicles recognizing lane line deviation in different environments, this paper proposed a lane line detection and lane deviation warning algorithm based on sliding window search. Firstly, real-time road images were preprocessed, including camera calibration, color and gradient filtering, perspective transformation, etc., and then the sliding window search algorithm was used to detect the lane lines and fit the lane lines using quadratic polynomials. Then, the camera monocular ranging principle was used to calculate the relative position of the vehicle to the centerline of the lane and determine whether it deviated from the lane. The experimental results show that the algorithm’s lane line detection accuracy reaches 98.59%, the lane deviation warning rate reaches 99.58%, and the processed video frame rate is about 25 frames/s, which meets the accuracy and real-time requirements.

Key words

Image preprocessing / Sliding window search / Lane line detection / Lane departure

引用本文

王梓楠, 何东, 赵茂杰. 基于滑动窗口搜索的车道线检测与车道偏离预警算法^*. 汽车工程师, 2023 , (9) : 15 -20 . DOI: 10.20104/j.cnki.1674-6546.20230342

Zinan Wang, Dong He, Maojie Zhao. Lane Line Detection and Lane Departure Warning Algorithm Based on Sliding Window Searching[J]. Automotive Engineer, 2023 , (9) : 15 -20 . DOI: 10.20104/j.cnki.1674-6546.20230342

正文

收起

1 前言

收起

车道线检测是自动驾驶车辆和驾驶辅助系统的关键技术之一^[1]。通过准确检测车道线，智能车辆能够实现自动驾驶、车道保持、车道偏离预警等功能，对改善车辆的主动安全性具有重要作用^[2-3]。

近年来，国内外学者针对车道线检测技术进行了广泛研究，提出了多种检测算法。Borkar等^[4]基于Hough变换和迭代匹配滤波器，提出了一种利用随机抽样一致（RANdom SAmple Consensus，RANSAC）和卡尔曼滤波器实现鲁棒的车道线检测的方法；Liu等^[5]提出基于Transformer模型的车道线检测算法，利用Transformer模型的自注意力机制对车道线的细长结构进行建模；Zhao等^[6]利用深度强化学习引入粗略车道检测模型，以进行淮确的车道检测和定位；刘康婷等^[7]将图像转换为鸟瞰图，使用LaneRidge检测器提取车道线，并使用RANSAC算法对虚、实车道线进行分类；翟煕照等^[8]分析比较了目标检测算法和语义分割算法对车道线的识别能力和效果，结果表明，基于深度学习的语义分割网络具有更好的车道线识别能力。尽管深度学习技术的引入使车道检测算法的性能得到了提升，但现有的车道线检测算法仍存在如下问题：算法的准确性及鲁棒性不足，在弯道工况下难以准确识别车道线的位置，易发生偏移；大部分算法通常使用复杂的深度网络提取图像特征，导致实时性难以满足实际应用需求。

针对上述问题，本文提出一种基于滑动窗口搜索的车道线检测与车道偏离预警算法，首先对车载摄像头拍摄的原始图像进行图像预处理，包括摄像头校准、色彩和渐变过滤、透视变换等，再利用滑动窗口搜索算法提取左、右车道线像素点坐标，并对像素点进行二次多项式拟合获取车道线，最后利用摄像头单目测距原理判断车辆是否偏离车道。

2 车道线检测及车道偏离预警算法

收起

本文使用的道路视频图像由哈佛H6车型前风窗玻璃下沿车身正中位置的摄像头采集，摄像头与地面的距离为1.15 m，像平面垂直于车身行驶方向，采集地点为绕城高速公路，车速范围为80~100 km/h。

本文采用的车道线检测流程如图1所示，首先读取车载摄像头拍摄的实时道路视频，将视频按帧分隔为图像，依次对每帧图像进行预处理，使用滑动窗口搜索算法提取车道线像素点，并利用二次多项式拟合车道线，然后通过计算车辆相对于中心线的位置判断车辆是否偏离车道。为了直观显示车道线检测结果，在输出图像上车道线区域内分别使用绿色和红色表示车辆未偏离车道和存在偏离车道的风险。

2.1 图像预处理

2.1.1 摄像头校准

摄像头在车载环境中捕捉道路图像时，车辆振动、安装角度和镜头特性等因素会造成透视畸变和镜头畸变，影响车道线位置和形状，故需进行摄像头校准^[9]。

2.1.1.1 收集棋盘图像

通过收集棋盘图像，利用棋盘上已知的格点和边缘来计算图像的畸变情况，进而估计摄像头的畸变参数。将摄像头固定，通过连续拍摄并调整摄像头的角度和距离，获得多个不同角度和距离的图像，如图2所示。

2.1.1.2 计算校准矩阵和失真系数

在特定的摄像头标定软件中对每帧图像进行分析，检测出棋盘格内部的角点，提取每帧图像中棋盘格角点的坐标信息，如图3所示。

通过将棋盘图像中的角点与实际棋盘格的物理尺寸进行对应，建立起角点的映射关系，利用提取的角点坐标信息和建立的角点映射关系，由标定软件计算摄像头的内、外部参数，并生成摄像头校准矩阵和失真系数。校准矩阵用于将三维空间中的点投影到图像平面上，失真系数用于校正摄像头镜头引入的畸变，主要包括径向畸变和切向畸变。

径向畸变的校正过程可表示为：

（1）$\begin{array}{l}{x}_{distort}=x(1+{k}_{1}{r}^{2}+{k}_{2}{r}^{4}+{k}_{3}{r}^{6})\\ ydistort=y(1+k1{r}^{2}+{k}_{2}{r}^{4}+{k}_{3}{r}^{6})\end{array}$

切向畸变的校正过程可表示为：

（2）$\begin{array}{l}xdistort=x+[2{p}_{1}xy+{p}_{2}({r}^{2}+2{x}^{2}\left)\right]\\ ydistort=y+\left[{p}_{1}\right({r}^{2}+2{y}^{2})+2{p}_{2}xy]\end{array}$

式中，x_distort、y_distort为经畸变处理后图像中的横、纵坐标；x、y为原始图像中的横、纵坐标；r为径向畸变的径向距离；k₁、k₂、p₁、p₂、k₃为失真系数。

摄像头校准矩阵M_cam为：

（3）${M}_{cam}=\left[\begin{array}{ccc}{f}_{x}& 0& {c}_{x}\\ 0& {f}_{y}& {c}_{y}\\ 0& 0& 1\end{array}\right]$

式中，f_x、f_y分别为摄像头水平和垂直方向上的焦距；c_x、c_y分别为图像平面上光学中心点的横、纵坐标。

2.1.1.3 失真校正

采集到的实时道路图像存在径向畸变和切向畸变，失真校正的主要目标是使用失真系数逆向模拟并消除畸变效应，从而使图像更加符合真实场景的几何形状，如图4所示。

2.1.2 色彩和渐变过滤

车道线在不同环境条件下可能呈现不同的颜色和亮度，并且可能受到光照、阴影等因素的影响，导致其视觉特征变化较大。为在各种复杂场景下准确检测车道线，本文对色彩过滤和渐变过滤两种方法进行组合创建通道过滤阈值，并生成二进制图像。

首先，将原始图像由RGB空间转换到HLS空间。在HLS空间中，利用L通道过滤图像，在不同照明条件下对L通道进行阈值处理均有助于更精确地从图像中提取车道线信息。然后，采用索贝尔（Sobel）算子沿水平方向和垂直方向处理图像，主要目的在于消除图像中大部分水平线，同时去除噪声和与车道线无关的信息，以更好地聚焦于垂直方向上的车道线特征。

将色彩和渐变过滤后的结果相结合生成二进制图像，如图5所示。其中车道线部分呈现较明显的白色像素，其他区域为黑色像素。

2.1.3 透视变换

透视变换的目的是将摄像头的斜视角图像转换为鸟瞰图，从而获得更准确、直观的车道线信息。将图片投影到新的视平面上，使平行线在新的视角中依然保持平行，从而消除原始图像中的透视畸变^[10]。该过程是二维(x,y)到三维(x′,y′,z′)，再到另一个二维空间(x",y")的映射，原理如图6所示。

透视变换公式为：

（4）$\left[\begin{array}{l}x\text{'}\\ y\text{'}\\ z\text{'}\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& {a}_{12}& {a}_{13}\\ {a}_{21}& {a}_{22}& {a}_{23}\\ {a}_{31}& {a}_{32}& {a}_{33}\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]$

（5）$\left[\begin{array}{l}x"\\ y"\\ 1 \end{array}\right]=\left[\begin{array}{l}\frac{x\text{'}}{z\text{'}}\\ \frac{y\text{'}}{z\text{'}}\\ 1 \end{array}\right]$

此时透视变换的变换矩阵为$T=\left[\begin{array}{ccc}{a}_{11}& {a}_{12}& {a}_{13}\\ {a}_{21}& {a}_{22}& {a}_{23}\\ {a}_{31}& {a}_{32}& {a}_{33}\end{array}\right]$。

本文透视变换的具体实现步骤为：

a. 定义源点和目标点：源点即图像中的4个角点，这些角点构成一个矩形，包围车道区域。在透视变换后的图像中，要保证车道线平行，需要定义目标点，即输出图像中的4个角点。本文源点和目标点的坐标如表1所示。

b. 使用源点和目标点计算透视变换矩阵。通过使用OpenCV getPerspective Transform函数实现，将源图像中的像素映射到目标图像中的像素。

c. 将计算得到的透视变换矩阵应用于原始图像，对图像进行变换，使车道线在输出图像中保持平行。

通过上述步骤，透视变换可以纠正原始图像中的透视畸变，从而使得车道线在图像中保持平行。为验证透视变换是否实现预期效果，本文将源点和目标点绘制到测试图像及其扭曲的对应点上，观察线条在扭曲后的图像中是否平行，如图7所示。

2.2 车道线检测

在对实时道路图像应用失真校准、色彩和渐变过滤以及透视变换后，通过对图5中的二进制图像进行透视变换，获得了经过校准纠正的二进制图像，如图8所示。然后，使用滑动窗口搜索方法更容易找到清晰突出的车道线像素，但仍需进一步处理以确定哪些像素属于车道线，并区分左、右车道线。为此，需进行图像区域划分、绘制直方图、车道线像素识别、多项式曲线拟合和车道线绘制。

2.2.1 图像区域划分

根据道路的几何形状，将图像分为左、右2个区域，分别用于检测对应的车道线。本文通过定义一条垂直线来划分图像，将其分为左、右2个部分。

2.2.2 绘制直方图

在透视变换后的二进制图像中绘制直方图，如图9所示。直方图反映了不同像素在图像中的分布情况，车道线通常在图像中形成明显的峰值，通过观察直方图能够确定车道线所在的像素位置。

2.2.3 车道线像素识别

本文针对每个区域，采用滑动窗口搜索算法识别车道线所在的像素。滑动窗口搜索是一种在图像中定位目标的方法，核心原理是通过滑动一个固定大小的窗口，逐行扫描图像，以识别目标的位置。如图10所示，本文滑动窗口搜索的实现步骤如下：

a. 创建一个滑动窗口，从图像底部开始，在图像高度范围内，将图像划分成9个滑动窗口，每个滑动窗口的宽度为50像素，高度为20像素。

b. 在每个滑动窗口中，绘制窗口内白色像素的直方图，并获取直方图峰值位置，峰值位置通常对应于车道线所在的像素。

c. 找到当前滑动窗口内的车道线像素后，将下一个滑动窗口的起始点移动到上一个滑动窗口中心的位置，并循环继续进行下一轮的搜索。

该方法能够逐步、系统地在图像中定位车道线像素的位置，为后续车道偏离预警提供关键信息。在实际应用中，通过调整滑动窗口的尺寸、位置和搜索策略，可以进一步优化该方法，以满足不同道路情况和车辆行驶速度的需求。

2.2.4 多项式曲线拟合

在车道线检测中，通过滑动窗口搜索获得车道线像素的位置后，使用二次多项式拟合得到车道线的曲线模型。二次多项式的数学形式为：

（6）k=av²+bv+c

式中，v、k分别为车道线的横、纵坐标；a、b、c为需确定的系数。

通过拟合二次多项式，可以获得车道线曲线的系数，根据已知的车道线像素点的坐标计算最优的参数a、b、c，从而得到车道线的二次多项式曲线模型。

2.2.5 车道线绘制

通过拟合算法得到左侧车道线和右侧车道线的二次多项式系数，可以在图像上直观地显示出车道线的位置，从而可视化车道线检测结果，如图11所示。

2.3 车道线偏离预警算法

如图12所示，本文利用单目摄像头测距算法计算识别出的车道线底部端点至图像中间的距离，将此距离与车辆宽度的一半进行比较，即可判断车辆是否偏离车道。若车辆没有偏离车道，车道线区域呈现为绿色，若车辆偏离车道，车道线区域将由绿色变为红色，并发出偏离预警信号。

首先，计算识别出的车道宽度d_width，即左、右侧车道线之间的距离。然后，计算车辆相对于左、右侧车道线的水平偏移量m、n：

（7）$\left\{\begin{array}{l}{d}_{width}={l}_{right}-{l}_{left}\\ m={l}_{mid}-lleft\\ n={l}_{right}-{l}_{mid}\end{array}\right.$

式中，l_left、l_right分别为左、右侧车道线在图像中的位置；l_mid为车辆在图像中的位置。

m>n时，车辆向右偏离车道，m<n时，车辆向左偏离车道。引入车道宽度D_lw，我国高速公路车道宽度通常为3.75 m，计算车辆相对于车道中心线的偏离程度T_offset：

（8）${T}_{offset}=\frac{m}{{d}_{width}}\times {D}_{lw}-\frac{Dlw}{2}$

T_offset>0时，车辆向右偏离车道，T_offset<0时，车辆向左偏离车道，且|T_offset|越大，车辆偏离越远。本文参考文献[11]中基于横向判断的车道偏离预警算法中的阈值设定，取0.5 m作为车辆相对于车道中心线的偏离阈值。

3 试验结果及分析

收起

本文算法采用Python3.7编写并使用OpenCV3.2.0实现，使用的计算机硬性条件为：锐龙75800X8C16T处理器、Kingston 16 GB内存、Leadteck Quadro RTX4000 8 GB内存显卡。采用的车道数据集由哈佛H6车载摄像头在绕城高速公路上拍摄获得，得到的道路图像视频帧速率为30帧/s、分辨率为1 920×1 080，共1 350帧。拍摄的交通场景中融合了多种干扰路况，如车道线不清晰、周围车辆及高速公路上标志线干扰等情况。

本文对上述视频进行处理，并与基于霍夫变换的车道线检测跟踪及车道偏离预警算法^[12]和基于深度学习的快速车道线检测方法^[13]进行对比，测试结果如图13和表2所示。由表2可知，本文算法在识别正确率方面和实时性方面具备明显优势。

经过对多组实时道路视频样本的采集与分析，针对车速在80~100 km/h范围内的各种情境，本文提出的滑动窗口搜索算法均能在保证高识别准确率和高预警率的同时满足实时性要求。

4 结束语

收起

本文针对车道线检测和车道偏离预警问题，首先，对车载摄像头采集到的实时道路图像进行图像预处理，再采用滑动窗口搜索算法对车道线进行检测，然后利用单目摄像头测距算法判断车辆是否偏离车道。试验验证结果表明，与检测效果较好的现有检测算法相比，所提出的算法在车道线检测的准确性和实时性方面显著提升。

基金

收起

*重庆市川渝联合实施重点研发项目(cstc2021jscx-cylh0026)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

杨清峻, 侯忠伟. 基于车道线消失点检测的车距测量方法研究[J]. 汽车工程师, 2021(6): 35-38.

YANG

Q J

, HOU

Z W

. Research on Vehicle Distance Measurement Method Based on Lane Line Vanishing Point Detection[J]. Automotive Engineer, 2021(6): 35-38.

[2]

OZGUNALP

, FAN

, AI

, et al. Multiple Lane Detection Algorithm Based on Novel Dense Vanishing Point Estimation[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 18(3): 621-632.

[3]

李守彪, 武志斐. 基于多尺寸分解卷积的车道线检测[J]. 汽车技术, 2022(8): 32-37.

S B

, WU

Z F

. Lane Line Detection Based on Multi-Size Decomposition Convolution[J]. Automobile Technology, 2022(8): 32-37.

[4]

BORKAR

, HAYES

, SMITH

M T

. Robust Lane Detection and Tracking with RANSAC and Kalman Filter[C]// 2009 16th IEEE International Conference on Image Processing (ICIP). Cairo, Egypt: IEEE, 2009: 3261-3264.

[5]

Y D

, CHEN

L G

, HUANG

H B

, et al. Nighttime Lane Markings Recognition Based on Canny Detection and Hough Transform[C]// 2016 IEEE International Conference on Real-time Computing and Robotics (RCAR). Angkor Wat, Cambodia: IEEE, 2016: 411-415.

[6]

ZHAO

Z Y

, WANG

, LI

X L

. Deep Reinforcement Learning Based Lane Detection and Localization[J]. Neurocomputing, 2020, 413: 328-338.

[7]

刘康婷, 高坤, 赵奉奎. 基于视觉的车道线检测技术研究[J]. 智能计算机与应用, 2021, 11(4): 139-142+148.

LIU

K T

, GAO

, ZHAO

F K

. Research on Lane Line Detection Technology Based on Vision[J]. Intelligent Computer and Application, 2021, 11(4): 139-142+148.

[8]

翟煕照, 韩同群, 杨正才. 利用视觉传感器图像处理技术实现前方车道线识别方法研究[J]. 汽车实用技术, 2021, 46(6): 29-34.

ZHAI

Y Z

, HAN

T Q

, YANG

Z C

. Research on the Method of Realizing Forward Lane Line Recognition Using Visual Sensor Image Processing Technology[J]. Automobile Practical Technology, 2021, 46(6): 29-34.

[9]

刘炜, 陆存豪. 自动驾驶汽车环境感知传感器研究[J]. 汽车实用技术, 2023, 48(10): 197-203.

LIU

, LU

C H

. Research on Environment Sensing Sensors for Autonomous Vehicles[J]. Practical Automotive Technology, 2023, 48(10): 197-203.

[10]

李海华, 万热华, 陈小玲, 等. 一种基于逆透视变换的车道线检测方法[J]. 工业仪表与自动化装置, 2021(2): 97-100.

H H

, WAN

R H

, CHEN

X L

, et al. A Lane Line Detection Method Based on Inverse Perspective Transformation[J]. Industrial Instrumentation and Automation, 2021(2): 97-100.

[11]

张亚秋, 刘雅莉, 赵珣. 一种基于横向距离判断的车道偏离预警算法[J]. 电视技术, 2022, 46(7): 8-12.

ZHANG

Y Q

, LIU

Y L

, ZHAO

. A Lane Departure Warning Algorithm Based on Lateral Distance Judgment[J]. TV Technology, 2022, 46(7): 8-12.

[12]

顾友霖, 郑再象, 刘洋, 等. 基于霍夫变换的车道线检测跟踪及车道偏离预警[J]. 南方农机, 2023, 54(9): 129-132.

Y L

, ZHENG

Z X

, LIU Y et al. Lane Line Detection Tracking and Lane Departure Warning Based on Hough Transform[J]. Southern Agricultural Machinery, 2023, 54(9): 129-132.

[13]

刘彬, 魏为民. 基于深度学习的快速车道线检测方法[J]. 汽车实用技术, 2023, 48(5): 34-39.

LIU

, WEI

W M

. A Fast Lane Line Detection Method Based on Deep Learning[J]. Automobile Practical Technology, 2023, 48(5): 34-39.

2023年第卷第9期

PDF下载

206

引用本文

BibTeX

文章信息

doi: 10.20104/j.cnki.1674-6546.20230342

首发时间：2025-11-25
出版时间：2023-09-15

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2023-08-18

基金

*重庆市川渝联合实施重点研发项目(cstc2021jscx-cylh0026)

作者信息

重庆交通大学，重庆 400074

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcs/CN/10.20104/j.cnki.1674-6546.20230342

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT