科学技术与工程

实验算法	Highway	Pedestrians	Wet snow	Pets2006
ViBe	0.806	0.546	0.651	0.547	0.801	0.650	0.699	0.511	0.590	0.591	0.798	0.679
文献[10]	0.867	0.658	0.748	0.758	0.917	0.829	0.869	0.497	0.632	0.701	0.808	0.751
文献[11]	0.854	0.346	0.493	0.856	0.850	0.853	0.802	0.572	0.668	0.722	0.915	0.807
ViBe-BR	0.912	0.655	0.763	0.941	0.804	0.867	0.937	0.514	0.664	0.741	0.803	0.771

实验算法	Highway	Pedestrians	Wet snow	Pets2006
ViBe	0.806	0.546	0.651	0.547	0.801	0.650	0.699	0.511	0.590	0.591	0.798	0.679
文献[10]	0.867	0.658	0.748	0.758	0.917	0.829	0.869	0.497	0.632	0.701	0.808	0.751
文献[11]	0.854	0.346	0.493	0.856	0.850	0.853	0.802	0.572	0.668	0.722	0.915	0.807
ViBe-BR	0.912	0.655	0.763	0.941	0.804	0.867	0.937	0.514	0.664	0.741	0.803	0.771

检测场景	建模时间/s	建立背景模型条件
ViBe	12.81	14.54	65.34	68.76	仅需单帧图像
文献[10]	15.59	17.64s	76.14	83.62	需要多帧图像,且图像中不能包含前景目标
文献[11]	13.01	14.85	66.02	73.97	仅需单帧图像
ViBe-BR	32.94	33.81	186.34	194.61	仅需单帧图像

检测场景	建模时间/s	建立背景模型条件
ViBe	12.81	14.54	65.34	68.76	仅需单帧图像
文献[10]	15.59	17.64s	76.14	83.62	需要多帧图像,且图像中不能包含前景目标
文献[11]	13.01	14.85	66.02	73.97	仅需单帧图像
ViBe-BR	32.94	33.81	186.34	194.61	仅需单帧图像

视频帧数	实际位置	检测位置	横轴像素误差	纵轴像素误差	综合像素误差
第295帧	(609,271)	(608,272)	1	1	1.414 2
第315帧	(205,507)	(206,507)	1	0	1.000 0
第335帧	(421,149)	(420,151)	1	2	2.236 1
第355帧	(349,102)	(349,103)	0	1	1.000 0
第375帧	(291,63)	(290,62)	1	1	1.414 2
第395帧	(241,29)	(241,28)	0	1	1.000 0

视频帧数	实际位置	检测位置	横轴像素误差	纵轴像素误差	综合像素误差
第295帧	(609,271)	(608,272)	1	1	1.414 2
第315帧	(205,507)	(206,507)	1	0	1.000 0
第335帧	(421,149)	(420,151)	1	2	2.236 1
第355帧	(349,102)	(349,103)	0	1	1.000 0
第375帧	(291,63)	(290,62)	1	1	1.414 2
第395帧	(241,29)	(241,28)	0	1	1.000 0

三维空间点	像平面(x, y) 坐标/m	空间(X', Y', Z') 直角坐标/m
控制点C_a	(0.135 031, -0.112 389)	(-2 438 269.660,5 038 694.337,3 047 081.631)
控制点C_b	(-0.129 519, -0.165 178)	(-2 438 263.875,5 038 700.231,3 047 076.570)
控制点C_c	(-0.362 380, 0.144 744)	(-2 438 270.521,5 038 703.095,3 047 066.499)
控制点C_d	(0.172 234, 0.166 881)	(-2 438 277.576,5 038 693.938,3 047 075.953)
摄影中心S	—	(-2 438 293.787,5 038 710.632,3 047 073.101)

三维空间点	像平面(x, y) 坐标/m	空间(X', Y', Z') 直角坐标/m
控制点C_a	(0.135 031, -0.112 389)	(-2 438 269.660,5 038 694.337,3 047 081.631)
控制点C_b	(-0.129 519, -0.165 178)	(-2 438 263.875,5 038 700.231,3 047 076.570)
控制点C_c	(-0.362 380, 0.144 744)	(-2 438 270.521,5 038 703.095,3 047 066.499)
控制点C_d	(0.172 234, 0.166 881)	(-2 438 277.576,5 038 693.938,3 047 075.953)
摄影中心S	—	(-2 438 293.787,5 038 710.632,3 047 073.101)

面向鬼影抑制的改进ViBe算法及其应用

PDF下载

舒兆翰 ¹ , 李小龙 ²^,³^,^* , 郭霞 ¹ , 龚玉泉 ¹ , 朱小飞 ¹

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(14): 5948-5956

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(14): 5948-5956

面向鬼影抑制的改进ViBe算法及其应用

全屏

舒兆翰¹, 李小龙²^,³^,^*, 郭霞¹, 龚玉泉¹, 朱小飞¹

作者信息

1. 核工业湖州勘测规划设计研究院股份有限公司, 湖州 313000

2. 东华理工大学自然资源部环鄱阳湖区域矿山环境监测与治理重点实验室, 南昌 330013

3. 东华理工大学中核三维地理信息工程技术研究中心, 南昌 330013

舒兆翰(1998—),男,汉族,浙江衢州人,硕士。研究方向:运动目标检测与追踪。E-mail:2020110353@ecut.edu.cn。

通讯作者:

*李小龙(1981—),男,汉族,吉林白城人,博士,副教授。研究方向:计算机视觉。E-mail:lixiaolong@ecut.edu.cn。

Improved ViBe Algorithm for Ghosting Suppression and Its Application

Zhao-han SHU¹, Xiao-long LI²^,³^,^*, Xia GUO¹, Yu-quan GONG¹, Xiao-fei ZHU¹

Affiliations

1. Nuclear Industry Huzhou Survey, Planning, Design and Research Institute Co.,Ltd., Huzhou 313000, China

2. Key Laboratory of Mine Environmental Monitoring and Improving around Poyang Lake, Ministry of Natural Resources, East ChinaUniversity of Technology, Nanchang 330013, China

3. CNNC Engineering Research Center of 3D Geographic Information, East China University of Technology, Nanchang 330013, China

出版时间: 2025-05-18 doi: 10.12404/j.issn.1671-1815.2403961

文章导航

摘要

收起

针对视觉背景提取(visual background extractor, ViBe)算法在运动目标检测过程中容易产生鬼影的问题,在原算法基础上加入背景还原阶段,提出一种改进算法ViBe-BR(ViBe with background restoration)。首先,结合三帧差分预先提取背景图像内前景区域;然后,使用前景区域周围的背景像素对区域内部进行填充,得到还原图像;最后,修正还原图像,并基于还原背景进行ViBe检测,达到抑制鬼影的效果。实验结果表明,ViBe-BR算法在4种不同场景中都取得了良好的检测效果,相比ViBe算法,前景检测的平均精确率、召回率以及F₁依次有0.222、0.03和0.123的提升,有效地消除了鬼影的影响,可应用于实际地理定位任务中以获取运动目标的地理位置信息。

关键词

运动目标检测 / 视觉背景提取 / 鬼影消除 / 背景还原 / 地理定位

Abstract

收起

Aiming at the problem that ViBe (visual background extractor) algorithm is prone to ghosting during moving target detection, an improved algorithm, ViBe-BR (ViBe with background restoration) was proposed by adding a background restoration stage to the original algorithm. First, the foreground region within the background image was pre-extracted by combining three-frame differencing. Then, the interior of the region was filled using the background pixels around the foreground region to obtain the restored image; Finally, the restored image was corrected and ViBe detection was performed based on the reduced background to achieve the effect of suppressing ghosting. The experimental results show that the ViBe-BR algorithm achieves good detection results in four different scenes, and compared with the ViBe algorithm, the average precision, recall, and F₁ value of foreground detection have been improved by 0.222, 0.03, and 0.123 in that order, which effectively eliminates the influence of ghosting, and it can be applied to practical geo-localization tasks in order to obtain the geographic location information of the moving targets.

Key words

moving target detection / visual background extractor / ghost elimination / background restoration / geolocation

引用本文

舒兆翰, 李小龙, 郭霞, 龚玉泉, 朱小飞. 面向鬼影抑制的改进ViBe算法及其应用. 科学技术与工程, 2025 , 25 (14) : 5948 -5956 . DOI: 10.12404/j.issn.1671-1815.2403961

Zhao-han SHU, Xiao-long LI, Xia GUO, Yu-quan GONG, Xiao-fei ZHU. Improved ViBe Algorithm for Ghosting Suppression and Its Application[J]. Science Technology and Engineering, 2025 , 25 (14) : 5948 -5956 . DOI: 10.12404/j.issn.1671-1815.2403961

正文

收起

运动目标检测技术^[1]是计算机视觉^[2]领域的重要内容之一。随着监控系统的普及,以视频为基础的运动目标检测已经广泛应用于智能交通、智慧城市等各方面,具有重要的研究价值和意义。鉴于深度学习类算法^[3]需要较高的硬件配置和大量数据集,实验成本较高,因此尽管传统的目标检测算法出现较早,但目前对其研究仍在继续。传统运动目标检测算法主要有光流法^[4]、帧差法^[5]和背景减除法^[6],其中背景减除法以其检测精度高、适用性强等特点成为当下研究热点^[7]。

ViBe(visual background extractor)算法^[8]属于背景减除法中的非参数化背景模型,该算法因具有模型简单、计算量小以及实时性好等优点而被广泛应用。但在实际检测中,ViBe的检测结果容易受到鬼影干扰^[9],因此大量学者对原算法进行了改进优化。针对鬼影问题,文献[10]采用均值法选取不含前景目标的图像进行背景模型初始化,使得建立的背景模型尽量贴近真实背景;该方法虽然能够防止鬼影产生,但在背景建模前需要准备多张当前场景的纯背景图像,实施前景检测的实验条件有所增加。文献[11]扩大了背景样本点选取的邻域范围,同时引入最大类间方差法计算图像的最佳分割阈值,依据阈值对前景点进行二次判定,抑制鬼影干扰;该方法虽然能够起到消除鬼影的效果,但在二次判定过程中,有时容易将部分前景点错误判定为鬼影而消除,导致前景漏检问题的出现。

对此,针对ViBe算法存在的鬼影问题,现提出一种改进算法ViBe-BR(ViBe with background restoration)。ViBe-BR算法在建立背景样本集前,结合三帧差分获取背景图像内前景区域,并使用背景像素替换前景点,还原真实背景;在前景检测时,基于还原背景完成ViBe检测,以此抑制鬼影的出现。此外,基于相机标定和共线条件方程等原理,求解视频场景内图像点与地面点之间的坐标转换关系,将ViBe-BR检测应用于运动目标的地理定位,获取检测目标的地理位置信息。

1 改进的ViBe算法

收起

1.1 ViBe算法原理

ViBe是一种基于像素的运动目标检测算法,其检测过程主要包括背景建模、前景检测和背景更新三部分。在背景建模阶段,算法为图像内每个像素点都建立了一个背景样本集,过程表达式为

(1)

B (x, y) = {v 1, v 2, …, v i, …, v N - 1, v N}

式(1)中:B(x, y)为像素点(x, y)的背景样本集;v_i为从像素点(x, y)的8邻域内随机抽取的样本点;N为每个背景样本集内样本点的个数,在ViBe检测中,N为固定取值20。

在前景检测阶段,算法通过比较当前图像与背景样本集中相应位置的像素值,并依据预设的阈值将该像素点判定为背景点或前景点,判定表达式为

(2)

H {S R [(x, y)] ⋂ B (x, y)} > R m i n, B G H {S R [(x, y)] ⋂ B (x, y)} ≤ R m i n, F G

式(2)中:S_R[(x, y)]是以像素点(x, y)为中心、匹配阈值R为半径的二维欧氏空间;BG为背景点;FG为前景点;在对像素点的类别进行判定时,若集合H{·}中元素的个数大于设定的个数阈值R_min,则将该像素点判定为背景点,反之判定为前景点;在ViBe检测中,匹配阈值R取值为20,个数阈值R_min取值为2。

在背景更新阶段,算法采用保守更新策略加邻域扩散机制的方法对背景模型进行更新。具体做法是:当某像素点被判定为背景点时,有1/δ的概率使用当前背景像素随机替换该点对应背景样本集内的某个样本点,同时有1/δ的概率更新其8邻域内某个背景点的样本集。此外,当视频中某像素点在连续N₀帧图像中都被检测为前景时,算法会强制将该像素点更新为背景点。在ViBe检测中,δ和N₀均为固定值,分别为16和20。

1.2 ViBe-BR算法

ViBe算法将视频的第一帧作为背景图像,而当背景图像中存在运动目标时,就会导致算法建立的背景样本集中包含前景像素点。在检测开始后,如果算法不能准确、快速地更新背景模型,背景图像中前景区域内的像素点就会被持续判定为前景,导致检测结果中出现鬼影现象,如图1所示,可以看到,鬼影的出现严重干扰了原本的检测结果。

为了抑制鬼影的出现,本文研究在ViBe检测基础上加入背景还原阶段(ViBe-BR),在建立背景模型前预先消除背景图像内前景区域,还原真实背景,并基于还原背景完成ViBe检测。背景还原步骤为:①结合Canny边缘检测^[12]和三帧差分算法,提取背景图像内前景区域;②设计背景填充规则,使用背景像素对前景区域进行填充,得到还原图像;③引入OTSU算法^[13],对还原图像进行修正,输出真实背景。即还原过程主要包括前景区域提取、前景区域消除以及还原图像修正三部分。

1.2.1 前景区域提取

前景区域提取目的是将背景帧A₁中的前景区域完整的分割出来。对此,本节设计了一种融合三帧差分法和Canny边缘检测的前景提取方法,其主要思想如下。

首先,依据三帧差分法抗噪声干扰能力强的特点,使用三帧差分加形态学处理初步提取背景图像内前景区域Q。

然后,引入Canny算法分别对三帧图像进行边缘检测,获取丰富的前景边缘信息。

最后,仅保留区域Q内的边缘检测结果作为最终运算结果L,目的是在得到前景目标完整边缘信息的同时,减少背景噪声的干扰。

前景提取的具体流程如图2所示,其中Canny检测和三帧差分运算过程中涉及的阈值均通过OTSU算法自适应得出。

为了进一步减少噪声的干扰,同时提取完整的前景区域,得到上述结果L后,继续进行如下操作。

首先,针对图像L内的背景像素点,若其8邻域内前景点个数占邻域内像素点总数的50%以上,则将此背景像素判定为前景点。

其次,依据图像L内前景像素点彼此之间是否8邻域连通的规则,将前景像素点继续分类,并将各类连通的前景像素依次标记为1、2、…、i,即得到当前图像内i个连通区域。

然后,消除所含像素点个数小于β的连通域,β为经验取值,设置为固定值15。

最后,采用种子填充法^[14]对剩余连通域进行填充,完成填充后输出最终的前景图像矩阵,记为G。

前景提取的视觉效果如图3所示,可以看出,使用本节所提方法,不仅可以提取到较完整的前景区域,而且较好保留了区域原本的轮廓信息。

1.2.2 前景区域消除

前景区域消除的主要思想是:使用区域中前景点邻域内相应的背景点来替换此前景点,以达到消除前景的效果。在替换开始前,对前景图像G的边界进行数值填充,填充数量为1,填充数值为-1,完成填充后得到前景模板F,前景模板的作用是:保证G内各像素点,其邻域内的8个邻域点一定全部存在。同时,建立一个与灰度背景A₁相同的图像矩阵M₁,作为待还原背景。

得到G和M₁后,开始进行前景区域消除,具体过程如图4所示。图4中变量v的作用是循环背景替换的操作,使得前景区域内全部前景点均被替换,F(i+h₀, j+w₀)表示用以替换前景点F(i, j)的背景像素,其中h₀和w₀为方向参数,h₀∈{-1,0,1},w₀∈{-1,0,1},易知除h₀=0、w₀=0外两参数还有8种组合方式,使得(i+h₀, j+w₀)能够依次表示像素点(i,j)邻域内的8个像素点,分别对应目标在二维图像内的8个运动方向。h₀和w₀的取值依据目标的运动方向而定,即选择前景运动方向上的背景点来替换此前景点。此外,当前景消除操作运行到图4中虚线框所示步骤时,针对背景图像的一轮背景替换实际就已完成,虚线框内的步骤主要是防止F(i+h₀, j+w₀)=-1的情况,即因某个前景区域处于图像边缘而导致其无法被邻域内相应的背景像素替换,此时采取的方法是:将已更新的F和M₁重新作为输入端,改变方向参数后再进行一轮背景替换。全部结束后,输出最终的背景还原图像M₁。

1.2.3 还原图像修正

为了提高背景还原的准确性,对还原图像M₁进行修正。主要思路是:①引入OTSU算法分割背景灰度图像A₁内的前景和背景像素;②建立标记矩阵M₂,标记M₁中“G(x, y)=255”区域内仍为前景的像素点;③针对被标记的前景像素点,对其再进行一轮背景替换。

易知,G(x, y)=255表示2.1节中提取到的前景区域,而标记的方法是,将矩阵M₂中标记位置上的值赋为255,其他位置赋为0,即M₂由0和255两个值组成。M₁的具体修正过程如下。

首先,使用OTSU算法计算背景灰度图像A₁内像素点灰度的最佳分割阈值T,并比较A₁中“G(x,y)=255”区域内各像素点灰度值与阈值T的大小关系;统计灰度>T的像素点个数,记为s₁;统计灰度≤T的像素点个数,记为s₂。

然后,依据式(3)得到标记矩阵M₂。

(3)

M 2 (x, y) = 255, G (x, y) = 255, s 1 > s 2, M 1 (x, y) > T 255, G (x, y) = 255, s 1 ≤ s 2, M 1 (x, y) ≤ T 0, 其 他

式(3)中:当s₁>s₂时,说明背景灰度图像A₁中前景像素的灰度值应该>T;反之,则说明A₁中前景像素的灰度值应该≤T。

最后,将M₁和M₂分别作为背景图像和前景模版,输入上文图4流程中,对M₁再进行一轮背景替换操作,得到修正后的还原图像。

背景图像还原最终的视觉效果如图5所示,可以看出,经过背景还原操作后,原始背景图像中的前景目标被较好地融入目标周围的背景中,证明了本文所提背景还原方法的有效性。

2 实验对比与分析

收起

为了验证所提改进算法消除鬼影的效果,将ViBe、同类改进方法(文献[10-11])以及ViBe-BR算法进行对比实验。实验平台为CPU: Inter(R) Core(TM) i7-6700HQ CPU @2.60 GHz 2.59 GHz+16.0 G内存,Windows10 64位操作系统,程序使用Python3.6编写。实验选择CDnet2014数据集^[15]中4种不同场景的视频序列,包括:存在树枝晃动的高速公路(Highway),存在光照变化的公园(Pedestrians),雨雪天气下的交通道路(Wet snow)以及光线较暗的车站候车室(Pets2006)。为了减少噪声对算法鬼影消除效果的干扰,同时保证对比实验的公平性,实验对各算法检测结果均进行一次形态学腐蚀处理^[16],腐蚀所用的结构元素核大小为3×3。实验中验证算法性能所用的真值图像均通过Labelme软件人工标注获得。

2.1 定性对比

如图6所示,为各算法在不同场景中前景检测的视觉效果。可以看到,因为背景图像内存在前景目标,所以ViBe算法的检测结果中出现了明显的鬼影现象。此外,在Highway场景中,由于前景目标内部像素点之间存在较大灰度差,依靠单个阈值无法准确划分前景点与鬼影点,使得文献[11]方法在消除鬼影时将部分前景像素错判为了鬼影,检测结果中出现了大面积的前景漏检。相比之下,3种改进算法都对鬼影起到了较好的抑制作用,整体检测效果均优于原算法。同时,ViBe-BR和文献[10]方法的适用性优于文献[11]方法。

2.2 定量对比

为了量化各算法的检测结果,实验选择前景点检测的精确率(precision, P)、召回率(recall, R)以及F测度(F₁)作为算法性能的评价指标^[17]。3项指标依次可以反映算法前景点检测的误检情况、漏检情况以及综合检测效果。

各算法的评价指标值如图7和表1所示。依据图表可计算得,在4种不同场景前景检测的平均精确率、平均召回率以及平均F₁上,相比ViBe算法,文献[10]方法依次有0.137、0.056和0.097的提高,文献[11]方法依次有0.147、0.007和0.062的提高,ViBe-BR依次有0.222、0.03和0.123的提高。可以看出,3种改进算法的前景检测精确率相比原算法均有大幅提升,整体检测效果更优。同时,在3种改进算法中,ViBe-BR算法的改进效果优于文献[10-11]方法。

为了分析3种改进算法进行背景建模的复杂度,选择背景建模时间和建立背景模型所需图像数作为复杂程度的评价指标,具体结果如表2所示。从表2可以看到,在背景建模时间上,ViBe-BR算法所需时间最长,约为ViBe算法的2.5倍,但由于背景建模阶段仅存在于检测开始前,所以背景建模时间的增长,实际上并不会影响算法前景检测的实时性。在背景建模条件上,文献[10]方法所需条件最为严格,对比实验预先准备了各场景下20张不包含前景目标的背景图像。相比之下,在进行背景模型初始化的复杂程度上,ViBe-BR算法高于文献[11]和ViBe算法,略低于文献[10]方法。

3 ViBe-BR地理定位应用

收起

为了验证ViBe-BR算法在真实场景下的可实施性,使用支架和手机相机,模拟固定的监控摄像头拍摄视频,并使用Potplayer软件截取部分视频,转换为连续的单帧图像,调整图像尺寸为682×384,共计800张图像。随机抽取连续的6帧图像,帧数间隔设置为20,同时基于ViBe-BR检测到的二值图像生成相应的矩形目标框,以此反映ViBe-BR算法在真实场景下的实际检测效果,如图8所示。由图8可以看出,ViBe-BR成功检测出了场景内的运动目标,没有出现目标漏检或误检的问题,证明了ViBe-BR算法在实际检测中的有效性和可实施性。

实验使用矩形框的中心点来代表运动目标在像素坐标系中的坐标位置^[18],表3为ViBe-BR检测到的像素坐标及其与真值的误差,真值图像同样通过Labelme软件人工标注获得。从对比结果可以看出,ViBe-BR算法横轴上的检测误差在1个像素内,纵轴上的误差在2个像素内,综合像素误差在2.5个像素内,整体检测效果良好,具有较好的实际应用性。

因为视频监控缺少和地理环境的耦合,所以根据ViBe-BR检测结果,人工难以快速获取视频内运动目标的地理位置信息。对此,本文研究通过张正友标定法^[19]计算拍摄相机的内参数矩阵,并基于特定条件求解共线方程^[20],以确定拍摄场景内图像点与地面点之间的坐标转换关系,使得在完成ViBe-BR检测后,能够快速获取运动目标的地理坐标,实现地理定位。

张正友相机标定的过程为:使用相机从不同角度拍摄黑白棋盘格标定板,并寻找棋盘格内角点作为标定点,通过标定点与其像平面点的对应关系,即每张图像的单应矩阵,来进行相机标定,相机标定的主要目的是求解像片的内方位元素。实验使用厚度为0.1 mm,阵列为12×9,方格边长为20 mm的菲林标定板,从不同角度对棋盘格录制视频,最终选取平均重投影误差^[21]为0.078 1像素的17张棋盘格进行相机标定,求得手机相机的内参数矩阵。

共线方程的表达式为

(4)

x - x 0 y - y 0 - f = λ R φ R ω R κ X - X ′ s Y - Y ′ s Z - Z ′ s

式(4)中:x₀和y₀为像主点在框标坐标系中的坐标;f为摄影中心到像片的主距;x₀、y₀和f为图像的内方位元素,通过相机标定后已知;(X'_s, Y'_s, Z'_s)表示摄像中心S的空间直角坐标;R_φR_ωR_κ为由航向倾角φ、旁向倾角ω和像片旋角κ组成的旋转矩阵,为3×3矩阵;X'_s、Y'_s、Z'_s、φ、ω和κ为像片的外方位元素;λ为比例因子。

求解共线方程即解算像片的外方位元素和当前场景的比例因子,目的是获取场景内图像点二维坐标与地面点三维坐标的转换关系,解算过程包含空间后方交会和前方交会法^[22],其中空间后方交会法的精度受控制点的位置和数量影响。

ViBe-BR为固定场景下的运动目标检测算法,而同一场景内各地面点的高程相近。因此,为了增强算法的适用能力,降低应用成本和实验条件,本文研究采取一种特定条件下的共线方程解法:预先获取摄影中心S的空间直角坐标(X'_s,Y'_s,Z'_s),并假设各地面点对应的比例因子λ都相等,即将λ和旋转矩阵R_φR_ωR_κ视为整体,记为矩阵Q,因为已知相机内参数和摄影中心的空间直角坐标,所以求解出矩阵Q即可得当前场景内的共线条件方程。易知Q为3×3矩阵,1个控制点可构造3个等式,所以求解矩阵Q需要3个已知控制点。实验以场景内停车位的顶点为标志,选取了4个控制点,如图9所示,选择控制点C_a、C_b和C_d作为已知点来求解Q,使用控制点C_c来验证该方法的误差。

因为共线方程中的自变量和因变量分别为像平面坐标和空间直角坐标,所以还需依据高斯投影的正反算和大地坐标转换公式^[23],将图9中的像素坐标(u, v)转换为像平面坐标(x, y),高斯平面坐标(X,Y)转换为空间直角坐标(X', Y', Z'),转换结果如表4所示。

将表4中控制点C_a、C_b和C_d的坐标(x, y)和(X', Y', Z'),以及摄影中心S的坐标(X', Y', Z')代入共线方程,列式求解矩阵Q,结果为

(5)

Q = − 0.0131 − 0.0208 0.0131 − 0.0108 − 0.0260 − 0.0323 − 0.0032 0.0065 0.0039

得到矩阵Q后,根据C_c点的像素坐标,可计算出该点相应的高斯平面坐标,计算结果为(3 179 183.773,384 977.002);对比C_c的坐标真值(3 179 185.902,384 979.476),可知解算值在X轴方向的偏差约为2.13 m,在Y轴方向的偏差约为2.47 m,总体误差约为3.26 m。说明依据矩阵Q,可实现视频场景内图像点与地面点之间的坐标转换。

同理,依据前文图8中ViBe-BR检测到的像素坐标,解算得运动目标相应的地理坐标,并以此在地形图上绘制出运动轨迹,如图10所示。可以看到,使用本节方法,成功获取了各帧图像中运动目标在视频场景内较准确的地理坐标,实现了运动目标的地理定位。

4 结论

收起

为了解决ViBe算法在运动目标检测过程中容易出现鬼影的问题,提出了一种改进算法ViBe-BR。该算法首先融合三帧差分法和Canny检测来提取背景图像内的前景区域;然后设计填充规则,使用邻域背景点替换区域内前景点,得到还原图像;最后对还原的背景图像进行修正,并基于最终还原背景进行ViBe检测,以此抑制鬼影的出现。为了在ViBe-BR检测后快速获取运动目标的地理位置信息,本文研究进行相机标定并基于特定条件求解视频场景的共线方程,实现运动目标的地理定位。实验结果显示,ViBe-BR相比原算法,虽然背景初始化的时间约有1.5倍的增长,但是在多种不同检测场景中,前景检测平均精确率有0.222的提升,有效地消除了鬼影,前景检测的平均F₁有0.123的提升,整体检测性能更优。在实际地理定位任务中,ViBe-BR算法也能准确检测出运动目标,快速获取目标的地理坐标。但不足之处是,ViBe-BR算法只能应用于固定摄像头背景下的运动目标检测,在未来的研究中,将对其进一步优化,使算法可应用于转动摄像头背景下的目标检测任务中。

基金

收起

国家自然科学基金(42261078)
江西省重点研发计划“揭榜挂帅”项目(20223BBE51030)
江西省地质局科技研究项目(2022JXDZKJKY08)
2024年度浙江省自然资源厅自然资源科技项目(2024ZJDZ020)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

蒙晓宇, 朱磊, 张博, 等. 基于结构相似性粗定位与背景差分细分割的运动目标检测方法[J]. 科学技术与工程, 2021, 21(36): 15563-15570.

Meng

Xiaoyu

, Zhu

Lei

, ZhangBo, et al. Moving target detection method based on rough positioning of structure similarity and fine segmentation of background difference[J]. Science Technology and Engineering, 2021, 21(36): 15563-15570.

[2]

, Liu

Y P

, Wu

S H

, et al. Infrared small target detection based on multiscale local contrast learning networks[J]. Infrared Physics & Technology, 2022, 123: 1-11.

[3]

夏正洪, 魏汝祥, 屠佳, 等. 通航机场场面运动目标检测方法[J]. 科学技术与工程, 2022, 22(29): 13114-13119.

Xia

Zhenghong

, Wei

Ruxiang

, Tu

Jia

, et al. Moving targetdetection method for general aviation airport[J]. Science Technology and Engineering, 2022, 22(29): 13114-13119.

[4]

Jia

, Chen

W G

. Extracting turbulence parameters of smoke via videoanalysis[J]. AIP Advances, 2021, 11(8): 085003.

[5]

Chen

, Wang

R L

, Zhang

, et al. Background-foreground inte-raction for moving object detection in dynamic scenes[J]. Information Science, 2019, 483: 65-81.

[6]

Dong

E Z

, Han

, Jian

, et al. Moving target detection based on improved Gaussian mixture model considering cameramotion[J]. Multimedia Tools and Applications, 2020, 79: 7005-7020.

[7]

Dwivedi

, Singh

, Kushwaha

. An approach for unattended object detection through contour formation using background subtraction[J]. Procedia Computer Science, 2020, 171: 1979-1988.

[8]

Zuo

J H

, Jia

Z H

, Yang

, et al. Moving object detection in video sequence images based on an improved visual background extraction algorithm[J]. Multimedia Tools and Applications, 2020, 79(39): 29663-29684.

[9]

汤旻安, 王晨雨. 基于改进ViBe算法的静态场景运动目标检测[J]. 激光与光电子学进展, 2021, 58(14): 216-224.

Tang

Minan

, Wang

Chenyu

. Moving object detection in static scene based on improved ViBealgorithm[J]. Laser & Optoelectronics Progress, 2021, 58(14): 216-224.

[10]

王欣宇, 陈广锋, 李侠. 基于改进ViBe算法的运动目标检测[J]. 东华大学学报(自然科学版), 2023, 49(1): 95-102, 118.

Wang

Xinyu

, Chen

Guangfeng

, Li

Xia

. Moving object detection based on an improved ViBe algorithm[J]. Journal of Donghua University (Natural Science Edition), 2023, 49(1): 95-102, 118.

[11]

涂伟强, 李炎炎, 龙伟, 等. 采取阶段性改进的全新ViBe目标检测算法[J]. 四川大学学报(自然科学版), 2021, 58(3): 67-72.

Weiqiang

, Li

Yanyan

, Long

Wei

, et al. A new target detection algorithm of ViBe based on phased improvement[J]. Journal of Sichuan University (Natural Science Edition), 2021, 58(3): 67-72.

[12]

杜文汉, 李东兴, 王倩楠, 等. 融合改进帧差和边缘提取算法的运动目标检测[J]. 科学技术与工程, 2022, 22(5): 1944-1949.

Wenhan

, Li

Dongxing

, Wang

Qiannan

, et al. Moving target detection based on improved frame difference and edge extractionalgorithm[J]. Science Technology and Engineering, 2022, 22(5): 1944-1949.

[13]

赵晓宇, 陈建军, 张凯琪, 等. 基于HSV色彩空间和Otsu算法的无人机影像植被覆盖度自动提取[J]. 科学技术与工程, 2021, 21(35): 15160-15166.

Zhao

Xiaoyu

, Chen

Jianjun

, Zhang

Kaiqi

, et al. Automatic extraction of vegetation coverage from unmanned aerial vehicle images based on HSV and Otsu algorithm[J]. Science Technology and Engineering, 2021, 21(35): 151160-151166.

[14]

曹建立, 陈志奎, 王宇新, 等. 高分辨图像区域填充的并行计算方法[J]. 计算机工程, 2021, 47(9): 217-226, 234.

Cao

Jianli

, Chen

Zhikui

, Wang

Yuxin

, et al. Parallel computing method of region filling for high-resolution images[J]. Computer Engineering, 2021, 47(9): 217-226, 234.

[15]

魏超, 贺光辉. 基于直方图的白平衡算法的研究[J]. 微电子学与计算机, 2018, 35(6): 75-78.

Wei

Chao

, He

Guanghui

. Automatic white balance algorithm based onhistogram[J]. Microelectronics & Computer, 2018, 35(6): 75-78.

[16]

李辉辉, 林凯墅, 马占奎, 等. 基于条纹池化和迁移学习的耕地分割模型[J]. 科学技术与工程, 2021, 21(36): 15356-15364.

Huihui

, Lin

Kaishu

, Ma

Zhankui

, et al. Cultivated land segmentation model based on strip pooling and transfer learning[J]. Science Techology and Engineering, 2021, 21(36): 15356-15364.

[17]

Liu

, Chai

G H

, Qu

. Moving target detection based on improved ghost suppression and adaptive visual background extraction[J]. Journal of Central South University, 2021, 28(3): 747-759.

[18]

李杰超, 张潇宵, 王凯. 改进局部二值模式算法与Camshift结合的目标跟踪方法[J]. 科学技术与工程, 2021, 21(26): 11232-11239.

Jiechao

, Zhang

Xiaoxiao

, Wang

Kai

. Moving target tracking method based on improved local binary patterns algorithm and Camshift[J]. Science Techology and Engineering, 2021, 21(26): 11232-11239.

[19]

王谭, 王磊磊, 张卫国, 等. 基于张正友标定法的红外靶标系统[J]. 光学精密工程, 2019, 27(8): 1828-1835.

Wang

Tan

, Wang

Leilei

, Zhang

Weiguo

, et al. Design of infrared target system with Zhang Zhengyou calibration method[J]. Optics and Precision Engineering, 2019, 27(8): 1828-1835.

[20]

赵慧洁, 陈轲, 贾国瑞, 等. 全景畸变正切改正的高光谱影像视场拼接方法[J]. 红外与激光工程, 2019, 48(3): 47-54.

Zhao

Huijie

, Chen

, Jia

Guorui

, et al. FOV stitching method for hyperspectral image with tangent correction of panoramic distortion[J]. Infrared and Laser Engineering, 2019, 48(3): 47-54.

[21]

杨守瑞, 段婉莹, 艾文宇, 等. 光场相机建模与畸变校正改进方法[J]. 红外与激光工程, 2023, 52(1): 239-247.

Yang

Shourui

, Duan

Wanying

, Ai

Wenyu

, et al. Light field camera modeling and distortion correction improvement method[J]. Infrared and Laser Engineering, 2023, 52(1): 239-247.

[22]

李佳田, 王聪聪, 阿晓荟, 等. 多向前方交会与单隐层神经网络结合的近景前方交会法[J]. 测绘学报, 2020, 49(6): 736-745.

Jiatian

, Wang

Congcong

, A

Xiaohui

, et al. Method of close-range space intersection combining multi-image forward intersection with single hidden layer neural network[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(6): 736-745.

[23]

Guo

J C

, Shen

W B

, Ning

J S

. Development of Lee’s exact method for Gauss-Krüger projection[J]. Journal of Geodesy: Continuation of Bulletin Géodésique and Manuscript Geodaetica, 2020, 94(6): 58-68.

2025年第25卷第14期

PDF下载

369

146

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2403961

接收时间：2024-05-25
首发时间：2025-07-09
出版时间：2025-05-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-05-25
修回日期：2025-02-14

基金

国家自然科学基金(42261078)

江西省重点研发计划“揭榜挂帅”项目(20223BBE51030)

江西省地质局科技研究项目(2022JXDZKJKY08)

2024年度浙江省自然资源厅自然资源科技项目(2024ZJDZ020)

作者信息

1. 核工业湖州勘测规划设计研究院股份有限公司, 湖州 313000

2. 东华理工大学自然资源部环鄱阳湖区域矿山环境监测与治理重点实验室, 南昌 330013

3. 东华理工大学中核三维地理信息工程技术研究中心, 南昌 330013

通讯作者:

*李小龙(1981—),男,汉族,吉林白城人,博士,副教授。研究方向:计算机视觉。E-mail:lixiaolong@ecut.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2403961

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

实验算法	Highway	Pedestrians	Wet snow	Pets2006
ViBe	0.806	0.546	0.651	0.547	0.801	0.650	0.699	0.511	0.590	0.591	0.798	0.679
文献[10]	0.867	0.658	0.748	0.758	0.917	0.829	0.869	0.497	0.632	0.701	0.808	0.751
文献[11]	0.854	0.346	0.493	0.856	0.850	0.853	0.802	0.572	0.668	0.722	0.915	0.807
ViBe-BR	0.912	0.655	0.763	0.941	0.804	0.867	0.937	0.514	0.664	0.741	0.803	0.771

实验算法

Highway

Pedestrians

Wet snow

Pets2006

F₁

ViBe

0.806

0.546

0.651

0.547

0.801

0.650

0.699

0.511

0.590

0.591

0.798

0.679

文献[10]

0.867

0.658

0.748

0.758

0.917

0.829

0.869

0.497

0.632

0.701

0.808

0.751

文献[11]

0.854

0.346

0.493

0.856

0.850

0.853

0.802

0.572

0.668

0.722

0.915

0.807

ViBe-BR

0.912

0.655

0.763

0.941

0.804

0.867

0.937

0.514

0.664

0.741

0.803

0.771

检测场景	建模时间/s	建立背景模型条件
ViBe	12.81	14.54	65.34	68.76	仅需单帧图像
文献[10]	15.59	17.64s	76.14	83.62	需要多帧图像,且图像中不能包含前景目标
文献[11]	13.01	14.85	66.02	73.97	仅需单帧图像
ViBe-BR	32.94	33.81	186.34	194.61	仅需单帧图像

检测场景

建模时间/s

建立背景模型条件

Highway

Pedestrians

Wet snow

Pets2006

ViBe

12.81

14.54

65.34

68.76

仅需单帧图像

文献[10]

15.59

17.64s

76.14

83.62

需要多帧图像,且图像中不能包含前景目标

文献[11]

13.01

14.85

66.02

73.97

仅需单帧图像

ViBe-BR

32.94

33.81

186.34

194.61

仅需单帧图像

视频帧数	实际位置	检测位置	横轴像素误差	纵轴像素误差	综合像素误差
第295帧	(609,271)	(608,272)	1	1	1.414 2
第315帧	(205,507)	(206,507)	1	0	1.000 0
第335帧	(421,149)	(420,151)	1	2	2.236 1
第355帧	(349,102)	(349,103)	0	1	1.000 0
第375帧	(291,63)	(290,62)	1	1	1.414 2
第395帧	(241,29)	(241,28)	0	1	1.000 0

视频帧数

实际位置

检测位置

横轴像
素误差

纵轴像
素误差

综合像
素误差

第295帧

(609,271)

(608,272)

1.414 2

第315帧

(205,507)

(206,507)

1.000 0

第335帧

(421,149)

(420,151)

2.236 1

第355帧

(349,102)

(349,103)

1.000 0

第375帧

(291,63)

(290,62)

1.414 2

第395帧

(241,29)

(241,28)

1.000 0

三维空间点	像平面(x, y) 坐标/m	空间(X', Y', Z') 直角坐标/m
控制点C_a	(0.135 031, -0.112 389)	(-2 438 269.660,5 038 694.337,3 047 081.631)
控制点C_b	(-0.129 519, -0.165 178)	(-2 438 263.875,5 038 700.231,3 047 076.570)
控制点C_c	(-0.362 380, 0.144 744)	(-2 438 270.521,5 038 703.095,3 047 066.499)
控制点C_d	(0.172 234, 0.166 881)	(-2 438 277.576,5 038 693.938,3 047 075.953)
摄影中心S	—	(-2 438 293.787,5 038 710.632,3 047 073.101)

三维空
间点

像平面(x, y)
坐标/m

空间(X', Y', Z')
直角坐标/m

控制点C_a

(0.135 031,
-0.112 389)

(-2 438 269.660,5 038 694.337,3 047 081.631)

控制点C_b

(-0.129 519,
-0.165 178)

(-2 438 263.875,5 038 700.231,3 047 076.570)

控制点C_c

(-0.362 380,
0.144 744)

(-2 438 270.521,5 038 703.095,3 047 066.499)

控制点C_d

(0.172 234,
0.166 881)

(-2 438 277.576,5 038 693.938,3 047 075.953)

摄影中心S

—

(-2 438 293.787,5 038 710.632,3 047 073.101)