科学技术与工程

类型	粗匹配/对	明显错误/对	正确率/%
初配对	983	409	58.39
预筛选	625	33	94.72

类型	粗匹配/对	明显错误/对	正确率/%
初配对	983	409	58.39
预筛选	625	33	94.72

图片	Parameter	RANSAC	LMedS	本文算法
1	内点率/%	95.9	93.8	100
误差均值	0.987	0.988	0.496
2	内点率/%	93.8	99.0	96.0
误差均值	1.046	1.036	0.815
3	内点率/%	95.4	94.7	100
误差均值	1.545	1.563	0.819
4	内点率/%	100	100	100
误差均值	1.256	1.256	0.801
5	内点率/%	90.4	98.1	100
误差均值	0.953	0.937	0.566
6	内点率/%	100	80.6	100
误差均值	0.480	0.459	0.141

图片	Parameter	RANSAC	LMedS	本文算法
1	内点率/%	95.9	93.8	100
误差均值	0.987	0.988	0.496
2	内点率/%	93.8	99.0	96.0
误差均值	1.046	1.036	0.815
3	内点率/%	95.4	94.7	100
误差均值	1.545	1.563	0.819
4	内点率/%	100	100	100
误差均值	1.256	1.256	0.801
5	内点率/%	90.4	98.1	100
误差均值	0.953	0.937	0.566
6	内点率/%	100	80.6	100
误差均值	0.480	0.459	0.141

图片	RANSAC	LMedS	本文算法
1	1.356 8	1.358 0	0.625 1
2	1.325 4	1.317 3	1.035 4
3	1.813 3	1.834 5	0.961 4
4	1.465 8	1.465 8	0.939 5
5	1.377 8	1.368 2	0.644 5
6	0.766 8	0.782 5	0.259 3

图片	RANSAC	LMedS	本文算法
1	1.356 8	1.358 0	0.625 1
2	1.325 4	1.317 3	1.035 4
3	1.813 3	1.834 5	0.961 4
4	1.465 8	1.465 8	0.939 5
5	1.377 8	1.368 2	0.644 5
6	0.766 8	0.782 5	0.259 3

图片	算法运行时间/s
1	0.368 8	0.405 3	0.440 8
2	0.398 1	0.449 2	0.470 3
3	0.372 6	0.402 4	0.439 6
4	0.391 8	0.396 1	0.480 6
5	0.354 7	0.421 1	0.441 2
6	0.378 1	0.393 7	0.464 3

图片	算法运行时间/s
1	0.368 8	0.405 3	0.440 8
2	0.398 1	0.449 2	0.470 3
3	0.372 6	0.402 4	0.439 6
4	0.391 8	0.396 1	0.480 6
5	0.354 7	0.421 1	0.441 2
6	0.378 1	0.393 7	0.464 3

基于匹配点递增的随机抽样一致图像拼接

PDF下载

金顺 ¹ , 葛动元 ¹^,^* , 姚锡凡 ²

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(6): 2435-2441

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(6): 2435-2441

基于匹配点递增的随机抽样一致图像拼接

全屏

金顺¹, 葛动元¹^,^*, 姚锡凡²

作者信息

¹ 广西科技大学机械与汽车工程学院, 柳州 545006

² 华南理工大学机械与汽车工程学院, 广州 510640

金顺(1998—),男,汉族,安徽六安人,硕士研究生。研究方向:机器视觉、全景视觉。E-mail:1356980269@qq.com。

通讯作者:

^* 葛动元(1970—),男,汉族,湖南邵阳人,博士,研究员。研究方向:机器视觉、机器学习。E-mail:gordon399@gxust.edu.cn。

Image Mosaic Based on RANSAC with Matching Point Increasing

Shun JIN¹, Dong-yuan GE¹^,^*, Xi-fan YAO²

Affiliations

¹ School of Mechanical and Automotive Engineering, Guangxi University of Science and Technology, Liuzhou 545006, China

² School of Mechanical and Automotive Engineering, South China University of Technology, Guangzhou 510640, China

出版时间: 2025-02-28 doi: 10.12404/j.issn.1671-1815.2401806

文章导航

摘要

收起

针对图像拼接任务中出现的图像误匹配特征点较多导致的拼接时间较长、直接使用全部特征点存在的图像拼接精度不够等问题,提出了一种基于匹配点递增策略与随机抽样一致 (random sample consensus, RANSAC)相结合的图像拼接优化方法。该方法首先通过特征点初筛选避免大量无效抽样以提高计算效率,接着使用一种渐进的采样策略逐步增加匹配点并反复采样获得精确结果,最后采用一种新的基于均方根误差的损失函数筛选结果,得出最优模型。实验结果表明,在未明显增加耗时的情况下,本文算法的内点率进一步提高,特征点误差均值与均方根误差有了明显下降,图像拼接的精度提高,有效改善了拼接缝处的错位现象,显著减少了图像拼接任务中拼接误差。

关键词

匹配点递增 / 图像拼接 / 随机抽样一致 / 单应性矩阵

Abstract

收起

To address the issues of long stitching time due to numerous mismatched feature points and insufficient stitching accuracy when using all feature points directly in image stitching tasks, an optimized image stitching method combining a matching point increasing strategy with RANSAC(random sample consensus) was proposed. The method initially screened feature points to prevent numerous ineffective samples, thus improving computational efficiency. Then, a progressive sampling strategy was employed to incrementally increase matching points and repeatedly sample for precise results. Finally, the optimal model was obtained by utilizing a new loss function based on root mean square error to filter the results. The experimental results indicate that, without a noticeable increase in time consumption, the interior point rate of the algorithm in this paper is further enhanced, the mean and root mean square errors of feature points have decreased significantly, the accuracy of image stitching is improved, the misalignment phenomenon at the stitching seam is effectively improved, and the stitching errors in image stitching tasks are significantly reduced.

Key words

matching point increasing / image stitching / random sample consensus / homography matrix

引用本文

金顺, 葛动元, 姚锡凡. 基于匹配点递增的随机抽样一致图像拼接. 科学技术与工程, 2025 , 25 (6) : 2435 -2441 . DOI: 10.12404/j.issn.1671-1815.2401806

Shun JIN, Dong-yuan GE, Xi-fan YAO. Image Mosaic Based on RANSAC with Matching Point Increasing[J]. Science Technology and Engineering, 2025 , 25 (6) : 2435 -2441 . DOI: 10.12404/j.issn.1671-1815.2401806

正文

收起

图像拼接是图像处理领域的一个重要技术,其核心目的是将具有重叠区域的图片进行一系列处理,从而生成一幅具有全景视角范围的图像^[1],由于能够获得更广的图像视角,目前广泛应用于医学图像拼接、虚拟现实与增强现实、工业生产等领域。

传统的图像拼接算法研究路径,由于近年来特征点检测算法的快速发展,逐渐由最开始基于频域的方法逐渐过渡到基于特征点的方法,目前的研究以特征点法作为主流方法^[2],此方法主要包含特征点的提取和单应性矩阵估计等步骤^[3]。

在特征点提取中,较早的工作有Harris角点检测器^[4],但这种角点检测器不支持尺度变换,还存在误差大、易误检等缺陷。由Lowe^[5]提出的SIFT(scale-invariant feature transform)算法实现了特征点提取时的尺度不变性,解决了特征点检测的尺度变换问题,唯一的不足是SIFT算法的计算量偏大。针对SIFT算法的耗时问题Bay等^[6]对SIFT算法进行改进,提出了SURF(speeded up robust features)算法,其原理是使用盒装滤波器代替复杂的高斯滤波,在一些实时性要求较高的场合,SURF算法具有一定优势。Rublee等^[7]提出的ORB(oriented FAST and rotated brief)算法进一步优化特征点检测精度与速度,极大地增加了特征点的检测速度,在特征点检测中得到了广泛的应用。

单应性矩阵估计算法中,Fischler等^[8]提出的RANSAC算法通过反复从集合抽取一定数量的数据来估算整体模型,依据投影误差跟所取阈值的差距将特征点分为内点和外点,其中内点指距离阈值小于给定误差的点,外点反之。RANSAC算法可以寻找到最优的单应矩阵,但有外点比例过高时计算量过大等问题。Mulyawan等^[9]提出的LMedS(least median of squares)算法使用距离偏差中值代替内点数,避免了RANSAC(random sample consensus)算法中的距离阈值选择,自适应的优化拼接结果。

快速准确地估计出图像间的单应性矩阵,成为图像拼接任务的关键,近年来学者们也对其做了不少探究。Zaragoza等^[10]将图像分割为均匀网格,并采用一种Moving DLT的方法分别估计每个网格的单应性矩阵,取得了良好的拼接结果。Sharma等^[11]提出一种基于accelerated-KAZE的图像拼接算法,通过最小化拼接缝来获得优异的拼接结果。钟梦帆等^[12]采用局部特征点对称约束的方法获得正确匹配点对集合,降低了RANSAC算法的参数敏感性。李明亮等^[13]利用小波变换预处理、拉普拉斯金字塔图像融合等步骤优化了图像拼接的流程,提高特征匹配精度的同时缩短了匹配时间。戴卫华等^[14]通过匹配参考图像与待拼接图像间的局域像素,优选最佳特征匹配点,从而提高单应性矩阵估计的准确性。李晓明等^[15]利用AUV传感器信息作为先验知识减小特征匹配的搜索空间,提高了海底图像的配准效率。郭璠等^[16]利用MDCNN卷积神经网络进行特征提取,使用LightGBM回归拼接参数,实现全景图像的快速拼接。如上所述,虽然目前已有许多完善的图像拼接算法,但仍然存在特征点过多计算复杂度大等不足,且少有对不同匹配点数量下图像拼接质量影响的探索和讨论。

为了解决特征点外点比例过高计算量大,单一特征点数量下难以获得精确单应性矩阵的问题,现提出一种基于匹配点递增策略与RANSAC结合的图像拼接优化方法。该方法通过特征点初筛选,避免了大量无效的抽样计算;利用匹配点对的汉明距离差异,采用渐进的抽样策略逐步增加匹配点数量,改进RANSAC算法的抽样过程,获得更精确、更拟合的单应性矩阵。最后使用一种新的基于均方根误差的损失函数代替RANSAC算法的内点数量作为更有效的评价指标,进一步筛选出最优的单应性矩阵,以实现最终的图像拼接。以期有效减少拼接误差,提高拼接精度。

1 RANSAC算法

收起

随机抽样一致算法,采用反复从数据集中随机抽样的方式,实现对模型参数的鲁棒估计,其本质上是一个数据集的拟合方法,在图像拼接任务中常用来拟合单应性矩阵。当使用ORB算法提取特征点时,数据集即为N对匹配点对,计为s_n=(x_n,y_n;x' _n,y' _n),其中(x_n,y_n)为待拼接图像特征点坐标,(x' _n,y' _n)参考图像中特征点坐标。若将数据集记为${S}_{n}=\left\{{s}_{n}\right\},$RANSAC算法的主要步骤如下。

步骤1 从数据集S_n中随机的选取4对匹配点s_i1、s_i2、s_i3和s_i4计算单应性矩阵H_i用来描述两个平面之间的变换关系,以把待拼接图像的点投影变换到参考图像的模型参数计算为例^[17],摄像机模型中某空间点在两幅图像中的变换计算公式为

(1)

$\left[\begin{array}{l}x\text{'}\\ y\text{'}\\ 1\end{array}\right]=\alpha \left[\begin{array}{lll}{h}_{1}& {h}_{2}& {h}_{3}\\ {h}_{4}& {h}_{5}& {h}_{6}\\ {h}_{7}& {h}_{8}& {h}_{9}\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]$

单应性矩阵H是一个3×3的矩阵,${h}_{1},{h}_{2},\dots,{h}_{9}$为其9个参数,α表示尺度信息。若考虑进尺度信息,将h₉设为1,式(1)可以表示为

(2)

$\left\{\begin{array}{l}x\text{'}=\frac{{h}_{1}x+{h}_{2}y+{h}_{3}}{{h}_{7}x+{h}_{8}y+1}\\ y\text{'}=\frac{{h}_{4}x+{h}_{5}y+{h}_{6}}{{h}_{7}x+{h}_{8}y+1}\end{array}\right.$

设$h=[{h}_{1},{h}_{2},\dots,{h}_{8}{]}^{\mathrm{T}},$则式(2)可以写为

(3)

$\left\{\begin{array}{l}(x　y　1　0　0　0　-xx\text{'}　-yx\text{'})h=x\text{'}\\ (0　0　0　x　y　1　-xy\text{'}　-yy\text{'})h=y\text{'}\end{array}\right.$

H共有8个未知参数,故需4对任意3点不共线的匹配点计算求解,设$b=[x\text{'}{\mathrm{ }}_{1},y\text{'}{\mathrm{ }}_{1},\dots,x\text{'}{\mathrm{ }}_{4},y\text{'}{\mathrm{ }}_{4}],$将s_i1、s_i2、s_i3和s_i4代入式(2)后分别写为式(3)的形式,则获得

(4)

$Ah=b$

式(4)中:

(5)A=$\left(\begin{array}{llllllll}{x}_{i1}& {y}_{i1}& 1& 0& 0& 0& -{x}_{i1}\mathrm{x}\text{'}{\mathrm{ }}_{i1}& -{y}_{i1}\mathrm{x}\text{'}{\mathrm{ }}_{i1}\\ 0& 0& 0& {x}_{i1}& {y}_{i1}& 1& -{x}_{i1}\mathrm{x}\text{'}{\mathrm{ }}_{i1}& -{y}_{i1}\mathrm{x}\text{'}{\mathrm{ }}_{i1}\\ \mathrm{ }& \mathrm{ }& \mathrm{ }& \mathrm{ }& ︙& \mathrm{ }& \mathrm{ }& \mathrm{ }\\ {x}_{i4}& {y}_{i4}& 1& 0& 0& 0& -{x}_{i4}\mathrm{x}\text{'}{\mathrm{ }}_{i4}& -{y}_{i4}\mathrm{x}\text{'}{\mathrm{ }}_{i4}\\ 0& 0& 0& {x}_{i4}& {y}_{i4}& 1& -{x}_{i4}\mathrm{y}\text{'}{\mathrm{ }}_{i4}& -{y}_{i4}\mathrm{y}\text{'}{\mathrm{ }}_{i4}\end{array}\right)$

其中A^TA可逆,则解为

(6)

$h=({A}^{\mathrm{T}}{A)}^{-1}{A}^{\mathrm{T}}b$

步骤2 未被抽样的其他匹配点s_n,计算坐标(x_n,y_n)通过获得的单应性矩阵映射的新坐标$({x}_{n}^{\mathrm{*}},{y}_{n}^{\mathrm{*}}),$再计算$({x}_{n}^{\mathrm{*}},{y}_{n}^{\mathrm{*}})$与(x' _n,y' _n)之间的距离,即

(7)

${d}_{n}=\sqrt{({x}_{n}^{\mathrm{*}}-{x}_{n}{)}^{2}+({y}_{n}^{\mathrm{*}}-{y}_{n}{)}^{2}}$

若d_n小于给定的阈值t,将这个点记为内点,若超出阈值则记为外点,统计本次抽样获得的内点个数。

步骤3 重复步骤1和步骤2,反复地进行抽样,且需要保证一个最小的抽样次数,以确保在需要的置信概率p时,获得一个没有任何外点的结果。最小抽样次数N的计算公式^[18]为

(8)

$N=\frac{\mathrm{l}\mathrm{g}(1-p)}{\mathrm{l}\mathrm{g}[1-{(1-\epsilon )}^{s}]}$

式(8)中:s为最小抽样的样本数大小;ε为数据集的外点比例。

重复计算N次后获得N个内点统计数,其中有最多内点数对应的单应性矩阵H即为最优单应性矩阵,可以用该矩阵对图像进行转换操作。

在内点占比较高的情况下,RANSAC算法拟合好且稳健,但外点占比过高的情况下往往表现不佳,达到预定置信概率需要的最低抽样次数也会指数增加,如图1所示。

图1给出了当p=0.99时不同s值对应的抽样次数N随ε变化的曲线。从图1中可以看出,在置信概率和样本数量一定的情况下,最低抽样次数随着外点比例的升高而快速升高。

为避免此类情况,常见的方法是尽可能地降低外点在特征点集合中的比例,使RANSAC算法的运算效果更加准确和快速。

2 基于匹配点递增的RANSAC算法

收起

2.1 算法描述

RANSAC算法采取对匹配点整体进行随机抽样的方式,没有考虑到不同匹配点数量可能潜在的好的匹配结果,当匹配点数量较少时,难以获得一个符合精度要求的结果。为了提高算法的精度和适应性,本文研究提出了一种基于匹配点递增策略的RANSAC算法,其核心思想为匹配点递增的RANSAC循环,即逐渐地增加匹配点数量并反复抽样,筛选出可能潜在的好的匹配结果,从而使模型得到优化,本文算法的概要流程如图2所示。

在初始数量的匹配点集M中增加一对匹配点后,采用RANSAC算法计算单应性矩阵并更新迭代次数。因为匹配点总数量的不断增加,算法利用RMSE(root mean square error)来计算损失函数,可以更加合理地筛选出好的匹配结果。即将内点、外点的损失函数改为

(9)

${L}_{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt{\frac{1}{K}\stackrel{K}{\sum _{n=1}}{\left(({x}_{n},{y}_{n})-f(x\text{'}{\mathrm{ }}_{n},y\text{'}{\mathrm{ }}_{n})\right)}^{2}}$

式(9)中:L_RMSE为以均方根误差RMSE为指标的损失函数;K为匹配特征点对数量;(x_n,y_n)为待拼接图像特征点坐标;(x' _n,y' _n)为参考图像中特征点坐标。

通过反复抽样,达到总迭代次数要求后,选择最小的L_RMSE值作为当前匹配点数量下的最优值。接着通过不断增加匹配点数量反复计算并记录最优损失函数值,当匹配点数量达到给定值时,退出循环,以最优损失函数值对应的单应性矩阵作为最优结果。

2.2 特征点预处理

根据RANSAC算法可知,当特征点中存在过多的错误匹配点时,若在算法运行前将错误匹配点提前剔除,不仅可以提高匹配率,匹配速度上也会有很大的提升,本文研究通过双向验证的特征点粗匹配及特征点预筛选的方法来逐步提高匹配精确度。

首先,采用双向交叉验证的方法对ORB算法提取到的特征点进行粗匹配。若以任意一张参考图像G₁中的某特征点P₁举例,首先比较P₁与待拼接图像中所有特征点之间的汉明距离,将汉明距离最小与次小的点分别记为最近邻点P_i与次近邻点P_j,只有当P₁与P_i、P_j之间的距离满足式(10)时,则称P₁的最近邻点为P_i,对参考图像G₁中的所有特征点执行同样操作,得到参考图像G₁中所有特征点的最近邻集合P_A。同样的,遍历待拼接图像G₂中的特征点,可计算得到匹配点集合P_B,只有P_A与P_B集合中的一对匹配关系相同时,才被认为这一对匹配点是正确匹配的。

(10)

$\frac{D({P}_{1},{P}_{i})}{D({P}_{1},{P}_{j})}<{T}_{\mathrm{h}}$

式(10)中:D(P₁,P_i)、D(P₁,P_j)分别为参考图像中特征点与待拼接图像中最近邻与次近邻特征点的距离度量值;T_h为自主设定的阈值,取0.75。

接着,为进一步提高初始匹配点的匹配精度,进行特征点预筛选步骤,初步的使用RANSAC算法剔除绝大多数不符合要求的点以便于接下来的精细处理,即通过RANSAC算法计算出单应性矩阵H,对待拼接图像中特征点反向投影后,根据式(7)计算距离差值并剔除不符合距离要求的点。

通过双向交叉验证的方法及特征点预筛选的步骤,能获得一个删除大量重复与错误匹配点后内点占比极高的匹配点集以便于下一步运算,此处将匹配点集记为D。

2.3 匹配点递增策略的RANSAC循环

获得内点占比极高的特征点集D后,可以再次使用RANSAC算法获得一个新的单应性矩阵H,但实际操作中会发现,对特征点集合D,既经过预筛选的全部特征点直接使用RANSAC算法时,往往并不能获得一个好的配准结果。

图像拼接中使用RANSAC算法本质上是想寻找到一个特征点的采样组合,既抽取的最小4个点样本,使得计算出的单应性矩阵对剩余的特征点反向投影后有最多的特征点符合距离阈值要求,即有最多的内点。在特征点总数固定时,足够的抽样次数N下,所计算出的最大内点数是确定的,但在实践中发现,使用全部特征点总数下最大内点数对应的配准结果不一定是最优的结果。

如图3所示,通过逐个的增加特征点数量来模拟不同特征点总数,可以发现最大内点集合是不断变化的,在特征点总数P取58时,图3示例中L_RMSE取到了最小值。分析原因,是因为在特征点对总数为57时,增加的匹配点对使得原本不占优的内点数占主要数量,得到了新的单应性矩阵H进行计算。

换言之,往一个较少的匹配点集中逐个增加已有的匹配点对时,占主要数量的内点集、最优的单应性矩阵是不断变化的,因为特征点位置分布的不确定性,很难排除这其中会有拼接效果更好的结果,而传统RANSAC算法中直接使用全部特征点进行单次计算,忽略了其中的差别。

为此本文研究设计了一种匹配点数量递增的RANSAC循环算法,通过逐个增加匹配点对并使用RANSAC算法,来发现潜在的可获得更好拼接结果的特征点数量,算法的主要步骤如下。

步骤1 在经过预筛选后的匹配点集D中,按照从小到大的顺序,根据汉明距离对匹配点进行排序。

步骤2 从排序好的匹配点集中取前一部分匹配点组成初始匹配点集合M,此处的匹配点数目取经验值25个。

步骤3 往匹配点集合M中添加一对匹配点,对新的M集合中匹配点使用RANSAC算法,计算并保留损失函数和单应性矩阵。

步骤4 判断M集合中匹配点对数是否超过80,若没超过,返回步骤3,若超过进入步骤5。

步骤5 比较不同匹配点数量的集合D的评价指标,保留最优评价指标对应的单应性矩阵H,以此单应性矩阵的拼接结果作为最终结果。

3 实验与分析

收起

实验硬件平台为Intel(R) Core(TM) i5-7200U CPU @2.50 GHz 2.71 GHz,内存8 GB,软件环境为Windows10 64位操作系统,在Python 3.9和Opencv4.7.0下完成。特征点提取算法采用ORB特征点,所用图片为不同来源、不同场景的环境图像,共设计6组不同图像的对比实验。

3.1 特征点预筛选实验

为了验证特征点预筛选步骤的实际效果,以一对1 024×768像素的图像对为例进行特征点粗匹配及预筛选操作。ORB提取的初始特征点对数目为500对,使用KNN算法进行匹配并利用交叉验证的方法初步处理错误匹配,获得粗匹配结果。

预筛选的结果如图4所示,由图4可以发现,粗匹配结果中虽有更多的特征点但有大量误匹配,使用本文方法预筛选后特征点数目变少,正确率更高。

为进一步说明特征点预筛选效果,表1列出了统计的任意5对图像对实验数据,数据使用累加值,每对图像初始特征点对500对,共2 500对。

从表1数据可以看出,经特征点预筛选后,特征点正确率明显提高,有利于后续获得更加精确的单应性矩阵。

3.2 拼接效果对比

以图像组1和组2为例,分别以传统RANSAC算法、LMedS算法和本文算法进行拼接,图5展示了3种算法的拼接结果。其中图5(a)和图5(b)为图像组1和图像组2中的左图和右图;图5(c)和图5(d)为使用传统RANSAC算法的拼接效果。同样的,图5(e)、图5(f)与图5(g)、图5(h)分别为使用LMedS算法和本文算法的拼接结果。

观察图像拼接结果,3种算法均完成比较完整的图像拼接,但在拼接细节方面存在一些差距。在图5(c)和图5(d)传统RANSAC算法拼接图像放大区域可以看出,图5(c)中马路边线出现明显错位,图5(d)中课桌边缘也出现一定程度的错位,使用LMedS算法拼接的图5(e)和图5(f)同样出现了这种情况。对比图5(g)和图5(h)中结果,本文算法在标记处均完成较为准确的拼接,拼接结果较好。

3.3 拼接性能分析

为了评价本文算法的实际性能,此处使用4个客观的指标对实验结果进行分析。

(1)内点率:正确匹配的特征点比例,内点率越高,说明特征匹配的质量越好,图像拼接的结果也会更准确。

(2)误差均值:被定义为各特征点经过选定的单应性矩阵反向投影后,与所对应的匹配点之间的距离误差取均值。值越小,特征匹配的效果越好。

(3)均方根误差:评价参考图像与配准后图像像素间的距离。一个较低的RMSE值意味着图像拼接结果更接近于真实情况,即拼接效果更好。

(4)运行时间:用来评价算法的运行效率。

表2列出了3种算法的内点率和误差均值,可以看出本文算法从内点率和误差均值上都要优于其他算法。从内点率上分析,通过逐个增加特征点方法,本文算法得到特征点全部为内点,相较于另外两种算法有了进一步提高;从误差均值上分析,在6组图像对中,本文算法的误差均值相较于传统RANSAC算法、LMedS算法平均下降了0.438 2和0.433 5。

表3所示为均方根误差,相较于RANSAC和LMedS算法,本文提出的算法均方根误差最小,且平均下降了44.91%、45.05%;RANSAC主要通过消除误匹配点从而获得一个较小的RMSE值,而本文提出的算法通过直接比较RMSE的值获取最优结果,匹配精度最高。

表4中所列的算法运行时间为每种算法运行10次的平均用时,比较表4中数据可知,虽然传统RANSAC算法领先少许,但本文算法在没有明显增加用时的情况下添加了最优RMSE的选择过程,图像配准的效果明显提高。

4 结论

收起

针对图像拼接任务中特征点误匹配较多、单一特征点数量下单应性矩阵估计精度不够等问题,提出了一种基于特征点递增策略与RANSAC相结合的图像拼接优化方法。该方法通过特征点初筛选避免大量无效抽样计算,采用渐进的抽样策略逐步增加匹配点数量并使用一种基于均方根误差的新的损失函数,减少了图像拼接的误差,提高了图像拼接的准确度。实验结果表明,在未明显增加耗时的情况下,本文算法充分利用特征点的组合信息,获得了精确的图像拼接结果,有效改善了拼接缝处的错位现象,优化了图像拼接任务中拼接误差较大的问题,在现实场景中同样获得了观感良好的拼接图片,具有一定的实践意义。

基金

收起

国家自然科学基金(51765007)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

王娟, 师军, 吴宪祥. 图像拼接技术综述[J]. 计算机应用研究, 2008, 25(7): 1940-1943, 1947.

Wang

Juan

, Shi

Jun

, Wu

Xianxiang

. Survey of image mosaics techniques[J]. Application Research of Computers, 2008, 25(7): 1940-1943, 1947.

[2]

王红君, 刘一鸣, 岳有军, 等. 基于改进ORB 算法的无人机遥感图像拼接技术[J]. 科学技术与工程, 2020, 20(13): 5230-5234.

Wang

Hongjun

, Liu

Yiming

, Yue

Youjun

, et al. Image mosaic technology of unmanned aearial vehicle remote sensing based on improved ORB algorithm[J]. Science Technology and Engineering, 2020, 20(13): 5230-5234.

[3]

Jiang

, Ma

, Xiao

, et al. A review of multimodal image matching: methods and applications[J]. Information Fusion, 2021, 73: 22-71.

[4]

Harris

, Stephens

. A combined corner and edge detector[C]//Procedings of the Alvey Vision Conference 1988. Manchester: University of Sheffield Printing Unit, 1988: 147-151.

[5]

Lowe

D G

. Distinctive image features from scale-invariantkeypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6]

Bay

, Tuytelaars

, Van Gool

. SURF: speeded up robust features[C]// Proceedings of the European Conference on Computer Vision. Graz: Springer, 2006: 404-417.

[7]

Rublee

, Rabaud

, Konolige

, et al. ORB: an efficient alternative to SIFT or SURF[C]// International Conference on Computer Vision. Barcelona: IEEE, 2011: 2564-2571.

[8]

Fischler

M A

, Bolles

R C

. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[9]

Mulyawan

, Jovianto

, Hendryli

, et al. Land mapping with least median of squares regression using landsat imagery: a case study Jakarta and surrounding area[J]. IOP Conference Series: Materials Science and Engineering, 2020, 852(1). DOI: 10.1088/1757-899X/852/1/012024.

[10]

Zaragoza

, Chin

T J

, Tran

Q H

, et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7): 1285-1298.

[11]

Sharma

S K

, Jain

. Image stitching using AKAZE features[J]. Journal of the Indian Society of Remote Sensing, 2020, 48: 1389-1401.

[12]

钟梦帆, 裴继红. 局部特征点对称约束的图像拼接增强方法[J]. 航空学报, 2022, 43(S1): 193-200.

Zhong

Mengfan

, Pei

Jihong

. Image stitching enhancement method with symmetrical constraint of local feature points[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(S1): 193-200.

[13]

李明亮, 侯英竹. 基于导向快速与旋转简短和随机抽样一致组合的图像拼接算法优化[J]. 科学技术与工程, 2022, 22(21): 9182-9189.

Mingliang

, Hou

Yingzhu

. Image mosaic algorithm optimization based on ORB and RANSAC combination[J]. Science Technology and Engineering, 2022, 22(21): 9182-9189.

[14]

戴卫华, 刘盛春, 赵慎, 等. 采用局域像素匹配的随机抽样一致改进算法[J]. 国防科技大学学报, 2021, 43(4): 38-43.

Dai

Weihua

, Liu

Shengchun

, Zhao

Shen

, et al. Improved random sampling consensus algorithm using local pixel matching[J]. Journal of National University of Defense Technology, 2021, 43(4): 38-43.

[15]

李晓明, 赫沙沙, 陈双慧. 结合先验知识的海底图像配准方法[J]. 计算机辅助设计与图形学学报, 2023, 35(11): 1743-1750.

Xiaoming

, He

Shasha

, Chen

Shuanghui

. Seabed image matching by incorporating priorknowledge[J]. Journal of Conputer-Aided Design & Computer Graphics, 2023, 35(11): 1743-1750.

[16]

郭璠, 李小虎, 刘文韬, 等. 基于参数回归的快速全景图像拼接算法[J]. 通信学报, 2023, 44(9): 36-47.

Guo

Fan

, Li

Xiaohu

, Liu

Wentao

, et al. Fast panoramic image stitching algorithm based on parameter regression[J]. Journal of Communications, 2023, 44(9): 36-47.

[17]

张敏. 基于多视域广角相机视频图像拼接技术研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2016.

Zhang

Min

. Research of video stitching technology based on multiply wide-angle cameras[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2016.

[18]

Harley

, Zisserman

. Multiple view geometry in computer vision[M]. 2rd ed. Cambridge: Cambridge University Press, 2003: 116-123.

2025年第25卷第6期

PDF下载

372

143

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2401806

接收时间：2024-03-14
首发时间：2025-07-27
出版时间：2025-02-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-03-14
修回日期：2024-12-10

基金

国家自然科学基金(51765007)

作者信息

¹ 广西科技大学机械与汽车工程学院, 柳州 545006

² 华南理工大学机械与汽车工程学院, 广州 510640

通讯作者:

^* 葛动元(1970—),男,汉族,湖南邵阳人,博士,研究员。研究方向:机器视觉、机器学习。E-mail:gordon399@gxust.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2401806

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

类型	粗匹配/对	明显错误/对	正确率/%
初配对	983	409	58.39
预筛选	625	33	94.72

类型

粗匹配/对

明显错误/对

正确率/%

初配对

983

409

58.39

预筛选

625

94.72

图片	Parameter	RANSAC	LMedS	本文算法
1	内点率/%	95.9	93.8	100
误差均值	0.987	0.988	0.496
2	内点率/%	93.8	99.0	96.0
误差均值	1.046	1.036	0.815
3	内点率/%	95.4	94.7	100
误差均值	1.545	1.563	0.819
4	内点率/%	100	100	100
误差均值	1.256	1.256	0.801
5	内点率/%	90.4	98.1	100
误差均值	0.953	0.937	0.566
6	内点率/%	100	80.6	100
误差均值	0.480	0.459	0.141

图片

Parameter

RANSAC

LMedS

本文算法

内点率/%

95.9

93.8

100

误差均值

0.987

0.988

0.496

内点率/%

93.8

99.0

96.0

误差均值

1.046

1.036

0.815

内点率/%

95.4

94.7

100

误差均值

1.545

1.563

0.819

内点率/%

100

误差均值

1.256

0.801

内点率/%

90.4

98.1

100

误差均值

0.953

0.937

0.566

内点率/%

100

80.6

100

误差均值

0.480

0.459

0.141

图片	RANSAC	LMedS	本文算法
1	1.356 8	1.358 0	0.625 1
2	1.325 4	1.317 3	1.035 4
3	1.813 3	1.834 5	0.961 4
4	1.465 8	1.465 8	0.939 5
5	1.377 8	1.368 2	0.644 5
6	0.766 8	0.782 5	0.259 3

图片

RANSAC

LMedS

本文算法

1.356 8

1.358 0

0.625 1

1.325 4

1.317 3

1.035 4

1.813 3

1.834 5

0.961 4

1.465 8

0.939 5

1.377 8

1.368 2

0.644 5

0.766 8

0.782 5

0.259 3

图片	算法运行时间/s
1	0.368 8	0.405 3	0.440 8
2	0.398 1	0.449 2	0.470 3
3	0.372 6	0.402 4	0.439 6
4	0.391 8	0.396 1	0.480 6
5	0.354 7	0.421 1	0.441 2
6	0.378 1	0.393 7	0.464 3

图片

算法运行时间/s

RANSAC

LMedS

本文算法

0.368 8

0.405 3

0.440 8

0.398 1

0.449 2

0.470 3

0.372 6

0.402 4

0.439 6

0.391 8

0.396 1

0.480 6

0.354 7

0.421 1

0.441 2

0.378 1

0.393 7

0.464 3