CN110246169B - 一种基于梯度的窗口自适应立体匹配方法及系统 - Google Patents

Abstract

本发明公开了一种基于梯度的窗口自适应立体匹配方法及系统，包括：S1、确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；S2、基于所述函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。本发明充分考虑了窗口尺寸的选取对立体匹配效果的影响，通过确定影像梯度幅值和窗口尺寸的函数关系式，将其作为先验信息自适应地确定每个像素点处的窗口尺寸，进而实现自适应立体匹配，大大提高了图像立体匹配的精度，改善了立体匹配的效果。

Description

一种基于梯度的窗口自适应立体匹配方法及系统

技术领域

本发明属于数字图像处理与计算机视觉技术领域，更具体地，涉及一种基于梯度的窗口自适应立体匹配方法及系统。

背景技术

立体匹配是数字图像处理与计算机视觉领域的研究热点之一，其核心是寻找左右影像中的对应点来计算视差，在图像三维重建等诸多应用中，都需要利用图像立体匹配算法对视频帧序列进行多帧配准得到精确的同名点对应关系，所以，精准实现图像的立体匹配有着非常重要的意义。

传统的基于灰度的立体匹配方法采用固定窗口，通过计算左右影像对应窗口之间像素的相似度进行匹配。但是，在图像的平坦区域，像素之间的差异较小，如果采用较小的窗口进行匹配则无法覆盖足够的灰度变化，容易造成误匹配，而在图像的边缘区域，图像的纹理信息丰富，像素之间的差异较大，如果采用较大的窗口进行匹配则无法避免非边缘区域对其产生的干扰使得匹配位置不正确，且计算量较大，故传统的立体匹配方法很难选择到一个合适的窗口进行匹配，精确度较低。

因此能够自适应选择合适的窗口已经成为亟需解决的问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供了一种基于梯度的窗口自适应立体匹配方法及系统，旨在解决现有立体匹配方法无法自适应选择尺寸合适的匹配窗口的问题。

为实现上述目的，本发明提供了一种基于梯度的窗口自适应立体匹配方法，包括以下步骤：

S1、确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；

S2、基于步骤S1所得的函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。

通过以上步骤可以做到自适应地获取尺寸合适的窗口进行立体匹配。

优选地，步骤S1中确定影像梯度幅值和窗口尺寸的函数关系式的方法包括以下步骤：

S11、从视频帧序列{I₁,I₂,…,I_n}中，任意读取两幅影像作为待匹配的左影像

和右影像

其中，1≤i,j≤n，n为大于等于2的正整数；

S12、计算左影像的梯度幅值，得到左影像

每个像素点处的梯度幅值，即梯度幅值集合A_L＝{A_L(x,y)}，其中，A_max为最大值梯度幅值，A_min为最小梯度幅值；优选地，可以采用sobel算子计算影像的梯度幅值；

S13、基于左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量，记为最佳窗口尺寸数量；

S14、基于最佳窗口尺寸数量对左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的函数关系式。

以上梯度幅值和窗口尺寸的函数关系式适用于该视频帧序列中的所有影像，可以确定所有影像中每个像素点所对应的合适窗口尺寸，进而自适应地进行立体匹配，大大提高了匹配的精确度。

优选地，步骤S13中基于左影像的梯度幅值以及左右影像的标准视差图确定最佳窗口尺寸数量的方法包括以下步骤：

S131、初始化窗口尺寸数量N，初始化窗口尺寸数量的更新步长N_r，初始化窗口尺寸的最小值W_min，初始化窗口尺寸的更新步长W_r，初始化最大迭代次数k_max，其中，N为大于等于2的整数，N_r和W_r为大于等于1小于等于3的整数，W_min为大于等于2小于等于5的整数，k_max为区间[40,70]范围内的整数；

S132、基于对左影像

的各个像素点在右影像

中相对应的预设区域范围内寻找最为相似的像素点作为匹配点的原则，找到右影像

中与左影像

相对应的匹配点，计算视差，得到标准视差图D_C作为参考图；

S133、将左影像

的梯度幅值区间[A_min,A_max]平均分成N等分，得到N个梯度幅值子区间，优选地，所述梯度幅值子区间范围为：

其中，A_s为第s个梯度幅值子区间中的像素点所对应的梯度幅值，s∈[1,N]，

为所述梯度幅值子区间的长度；每个子区间都对应一个窗口尺寸；

S134、根据公式W_s＝W_min+W_r·(N-s)计算处于第s个梯度幅值子区间的像素点所对应的窗口尺寸W_s，其中，s∈[1,N]。对处于不同梯度幅值子区间的像素点采用对应尺寸的窗口进行立体匹配，得到视差图D_tmp，计算视差误差为D_error＝|D_tmp-D_C|；

S135、基于公式N＝N+N_r更新窗口尺寸数量，根据步骤S133和步骤S134进行计算得到当前的视差误差；

S136、比较相邻两次的视差误差大小，若当前的视差误差大于等于上一次的视差误差，则立体匹配效果已经达到最佳，得到最佳窗口尺寸数量N_best为N-N_r，算法结束；

S137、若当前的视差误差小于等于上一次的视差误差，则立体匹配效果未达到最佳，重复步骤S135-S136进行迭代；

S138、当迭代次数超过最大迭代次数k_max时，N_best取值为当前的窗口尺寸数量N，算法结束。

优选地，随着窗口尺寸数量的增加，立体匹配效果会先逐渐变好后又逐渐变差，对应的视差误差会先逐渐变小然后逐渐变大。

窗口尺寸数量会直接影响匹配的效果，通过以上方法可以得到一个最佳窗口尺寸数量，大大降低了误匹配率。

优选地，步骤S14中基于最佳窗口尺寸数量对所述左影像的梯度幅值和窗口尺寸进行函数关系拟合的方法包括：

S141、将左影像中每个像素点处的梯度幅值和与其对应的窗口尺寸形成样本集；

S142、将样本集绘制于坐标系中形成散点图，其中坐标系的横坐标为梯度幅值，纵坐标为窗口尺寸；

S143、对散点图进行函数拟合确定函数关系式。

基于所得的函数关系式，仅通过计算影像中像素的梯度幅值即可动态确定匹配窗口的大小，大大提高了匹配效率和匹配精准度。

优选地，立体匹配是对左影像中的一个像素点A，以像素点A为中心确定一个窗口，同时在右影像中的预设区域范围内以同样大小的窗口进行滑动，找到与像素点A所在窗口中像素值最为相似的窗口，以该窗口中心处的像素点作为像素点A的匹配点，对左影像中的每一个像素点做相同的操作找到其在右影像中的匹配点，计算左右影像匹配点处的位移作为视差图。

本发明另一方面提供了一种基于梯度的窗口自适应立体匹配系统，包括：

模型构建模块，用于确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应的计算影像中每个像素点处用于进行匹配的合适窗口尺寸；

立体匹配模块，用于基于所述函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。

优选地，模型构建模块包括：

影像读取单元，用于从视频帧序列中，任意读取两幅影像作为待匹配的左影像和右影像；

梯度计算单元，用于计算左影像的梯度幅值，得到左影像中每个像素点处的梯度幅值；

窗口尺寸数量计算单元，用于基于左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量；

函数关系拟合单元，用于基于窗口尺寸数量对左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的函数关系式。

通过本发明所构思的以上技术方案，与现有技术相比，能够取得下列有益效果：

1、本发明提供了一种基于梯度的窗口自适应立体匹配方法，通过确定影像梯度幅值和窗口尺寸的函数关系式，并将其作为先验信息，可以动态的确定每个像素点处的窗口尺寸，进而实现窗口自适应地立体匹配。

2、本发明通过确定影像中每个像素点处最适合的窗口尺寸，对于影像中的平坦区域选择尺寸较大的窗口，可以避免因局部相似度大而造成误匹配，而对于影像的边缘区域选择尺寸较小的窗口，可以避免非边缘区域产生的干扰，进而大大减少了误匹配，提高了图像立体匹配的精度。

3、本发明所提供的方法复杂度低，易于实现。

附图说明

图1是本发明提供的一种基于梯度的窗口自适应立体匹配方法流程图；

图2是本发明提供的梯度幅值和窗口尺寸的拟合关系图；

图3(a)是待匹配的原始左影像；

图3(b)是利用传统的基于灰度的立体匹配方法得到的视差图；

图3(c)是利用本发明所提供的基于梯度的窗口自适应立体匹配方法得到的视差图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了实现上述目的，本发明提供了一种基于梯度的窗口自适应立体匹配方法。

对卫星在一分钟的时间段内针对某一个固定区域进行拍摄得到的一个短时视频进行几何校正、辐射校正以及稳像处理得到视频卫星影像中的视频帧序列，本具体实施例对该视频帧序列采用本发明所提供的方法进行立体匹配，如图1所示是本发明提供的一种基于梯度的窗口自适应立体匹配方法流程图。本具体实施例所述的窗口尺寸为正方形窗口的边长，具体的，本发明提供的一种基于梯度的窗口自适应立体匹配方法包括以下步骤：

S1、确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；

S2、基于步骤S1所得的函数关系，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。

在同一个视频帧序列中影像之间的差异性较小，所以步骤S1中所得的梯度幅值与窗口尺寸之间的函数关系式适用于该视频帧序列中的所有影像，可以做到自适应地获取尺寸合适的窗口进行立体匹配。

具体的，步骤S1中确定影像梯度幅值和窗口尺寸的函数关系式的方法包括以下步骤：

S11、从视频帧序列{I₁,I₂,…,I_n}中，任意读取两幅影像作为待匹配的左影像

和右影像

其中，1≤i,j≤n，n为大于等于2的正整数；

S12、利用sobel算子计算左影像的梯度幅值，得到左影像

每个像素点的梯度幅值，即梯度幅值集合A_L＝{A_L(x,y)}，其中，A_max为最大值梯度幅值，A_min为最小梯度幅值；

S13、基于左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量，将区间[A_min,A_max]平均分成N等分，得到N个子区间，其中N为大于等于2的整数，对不同子区间采用不同尺寸的窗口进行立体匹配，并找到立体匹配效果达到最佳时的窗口尺寸数量，记为最佳窗口尺寸数量N_best；

S14、基于最佳窗口尺寸数量对左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的定量关系式。具体的，将窗口尺寸数量N取值为N_best，左影像

中每个像素点I_L(x,y)处的梯度幅值A_L(x,y)和与其对应的窗口尺寸W_L(x,y)形成样本集Points_AW＝{A_L(x,y),W_L(x,y)}，其中，A_L(x,y)∈A_L，窗口尺寸W_L(x,y)共有N_best种，将其绘制于坐标系中形成散点图，其中横坐标为梯度幅值A_L(x,y)，纵坐标为窗口的尺寸W_L(x,y)，并针对散点图拟合函数关系W＝f(A)，这里f可以采用形式上比较简单的函数表达式，可以采用一次函数或二次函数等；如图2所示为本发明提供的梯度幅值和窗口尺寸的拟合关系图，采用二次函数进行拟合，拟合得到的关系式为y＝-0.0000106x²-0.0137x+2.3195，其中，横坐标x为梯度值，纵坐标y为窗口尺寸。

具体的，步骤S13中基于左影像的梯度幅值以及左右影像的标准视差图确定最佳窗口尺寸数量的方法包括以下步骤：

S131、初始化窗口尺寸数量N为2，初始化窗口尺寸数量的更新步长N_r为1，初始化窗口尺寸的最小值W_min为3，初始化窗口尺寸的更新步长W_r为1，初始化最大迭代次数k_max为50；

S132、基于对左影像

的各个像素点在右影像

中相对应的预设区域范围内寻找最为相似的像素点作为匹配点的原则，找到右影像

中与左影像

相对应的匹配点，计算视差，得到标准视差图D_C作为参考图；优选的，可以基于以上原则，进行人工匹配得到标准视差图；

S133、将左影像

的梯度幅值区间[A_min,A_max]平均分成N等分，得到N个梯度幅值子区间，则第s个梯度幅值子区间中的像素点所对应的梯度幅值A_s为：

其中，s∈[1,N]，

为梯度幅值子区间的长度；

S134、根据公式W_s＝W_min+W_r·(N-s)计算处于第s个梯度幅值子区间的像素点所对应的窗口尺寸W_s，其中，s∈[1,N]。对处于不同梯度幅值子区间的像素点采用不同尺寸的窗口进行立体匹配，得到视差图D_tmp，计算视差误差为D_error＝|D_tmp-D_C|；

S135、基于公式N＝N+N_r更新窗口尺寸数量，根据步骤S133和步骤S134进行计算得到当前的视差误差；

S136、比较相邻两次的视差误差大小，若当前的视差误差大于等于上一次的视差误差，则立体匹配效果已经达到最佳，得到最佳窗口尺寸数量N_best为N-N_r，算法结束；

S137、若当前的视差误差小于等于上一次的视差误差，则立体匹配效果尚未达到最佳，重复步骤S135-S136进行迭代；

S138、当迭代次数超过最大迭代次数k_max时，N_best取值为当前的窗口尺寸数量N，算法结束。

具体的，立体匹配是对左影像中的一个像素点A，以像素点A为中心确定一个窗口，同时在右影像中的预设区域范围内以同样大小的窗口进行滑动，找到与像素点A所在窗口中像素值最为相似的窗口，以该窗口中心处的像素点作为像素点A的匹配点，对左影像中的每一个像素点做相同的操作找到其在右影像中的匹配点，计算左右影像匹配点处的位移作为视差图。

经过大量实验发现，随着立体窗口尺寸种数的增加，立体匹配效果会先逐渐变好后又逐渐变差，对应的视差误差会先逐渐变小然后逐渐变大，故当当前的视差误差比上一次得到的视差误差大时，上一次的窗口尺寸数量的取值结果即为立体匹配效果最佳时的结果。

在上述实施例中，由于将待匹配影像的梯度幅值和窗口尺寸结合起来，通过实验探究两者的定量关系，使得在进行立体匹配的时候能够根据上述定量关系自适应地调整窗口尺寸，同时保证了窗口的多样性，从而减少了误匹配的发生，提升了立体匹配的精度。

本发明实施例还提供了一种基于梯度的窗口自适应立体匹配系统，包括：

模型构建模块，用于确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；

立体匹配模块，用于基于所述函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。

具体地，模型构建模块包括：

影像读取单元，用于从视频帧序列中，任意读取两幅影像作为待匹配的左影像和右影像；

梯度计算单元，用于计算左影像的梯度幅值，得到左影像中每个像素点处的梯度幅值；

窗口尺寸数量计算单元，用于基于左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量；

函数关系拟合单元，用于基于所述窗口尺寸数量对所述左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的函数关系式。

在本发明实施例中，各模块及单元的具体实现方式可以参考上述对应方法实施例中的描述，本发明实施例将不再复述。

将本发明提供的基于梯度的窗口自适应立体匹配方法与传统的基于灰度的立体匹配的方法分别进行实验得到匹配视差图，如图3所示为本发明提供的方法与传统基于灰度的立体匹配方法的匹配结果比较图，其中(a)组图为待匹配的原始左影像，(b)组图是利用传统的基于灰度的立体匹配方法得到的视差图，(c)组图是利用本发明所提供的基于梯度的窗口自适应立体匹配方法得到的视差图。视差图中每个像素点处的灰度值代表视差，越亮的地方视差也就越大，因此，影像中相对较高的楼顶区域在对应的视差图中具有相对较高的亮度。对比(b)和(c)两组视差图，可以看出，根据传统立体匹配方法得到的视差图存在很多高亮白色噪点，而这些噪点大多位于较低的地面区域，原本不应该有很高的亮度，故存在较大的匹配误差，经过本发明所提供的基于梯度的窗口自适应立体匹配方法处理后，高亮白色噪点基本被消除，并且高亮的像素点基本集中在较高的建筑物顶部区域，能够反映出(a)图所示的原始影像中建筑物区域的轮廓，误匹配大大减少，具有更好的立体匹配效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于梯度的窗口自适应立体匹配方法，其特征在于，包括以下步骤：

S1、确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；具体包括以下步骤：

S11、从视频帧序列{I₁,I₂,…,I_n}中，任意读取两幅影像作为待匹配的左影像

和右影像

其中，1≤i≤n，1≤j≤n，n为大于或等于2的正整数；

S12、计算所述左影像的梯度幅值，得到所述左影像

每个像素点处的梯度幅值，其中，A_max为所述左影像的最大值梯度幅值，A_min为所述左影像的最小梯度幅值；

S13、基于所述左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量，记为最佳窗口尺寸数量；具体包括以下步骤：

S131、初始化窗口尺寸数量N，初始化窗口尺寸数量的更新步长N_r，初始化窗口尺寸的最小值W_min，初始化窗口尺寸的更新步长W_r，初始化最大迭代次数k_max；

S132、基于对所述左影像

的各个像素点在所述右影像

中相对应的预设区域范围内找到最为相似的像素点作为匹配点的原则，找到所述右影像

中与所述左影像

相对应的匹配点，计算视差，得到标准视差图D_C作为参考图；

S133、将所述左影像

的梯度幅值区间[A_min,A_max]平均分成N等分，得到N个梯度幅值子区间；

S134、根据公式W_s＝W_min+W_r·(N-s)计算处于第s个梯度幅值子区间的像素点所对应的窗口尺寸W_s，其中，s∈[1,N]，对处于不同梯度幅值子区间的像素点采用对应尺寸的窗口进行立体匹配，得到视差图D_tmp，计算视差误差为D_error＝|D_tmp-D_C|；

S135、基于公式N＝N+N_r更新窗口尺寸数量，根据步骤S133和步骤S134进行计算得到当前的视差误差；

S136、比较相邻两次的视差误差大小，若当前的视差误差大于或等于上一次的视差误差，则立体匹配效果已经达到最佳，得到最佳窗口尺寸数量N_best为N-N_r，操作结束；

S137、若当前的视差误差小于上一次的视差误差，则立体匹配效果未达到最佳，重复步骤S135-S136进行迭代；

S138、当迭代次数超过最大迭代次数k_max时，N_best取值为当前的匹配窗口数量N，操作结束；

S14、基于所述最佳窗口尺寸数量对所述左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的函数关系式；

S2、基于所述函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配。

2.根据权利要求1所述的立体匹配方法，其特征在于，所述N为大于或等于2的整数，所述N_r和W_r均为大于或等于1、且小于或等于3的整数，所述W_min为大于或等于2、且小于或等于5的整数，所述k_max为区间[40,70]范围内的整数。

3.根据权利要求1所述的立体匹配方法，其特征在于，对所述左影像的梯度幅值和窗口尺寸进行函数关系拟合的方法包括：

S141、将所述左影像中每个像素点处的梯度幅值和与其对应的窗口尺寸形成样本集；

S142、将所述样本集绘制于坐标系中形成散点图，所述坐标系的横坐标为梯度幅值，纵坐标为窗口尺寸；

S143、对所述散点图进行函数拟合确定函数关系式。

4.根据权利要求1所述的立体匹配方法，其特征在于，所述立体匹配方法应用于数字图像处理与计算机视觉技术领域。

5.一种基于梯度的窗口自适应立体匹配系统，其特征在于，包括：

模型构建模块，用于确定影像梯度幅值和窗口尺寸的函数关系式，用于自适应调整影像中每个像素点处用于进行匹配的窗口尺寸以适应不同的影像区域；

立体匹配模块，用于基于所述函数关系式，计算得到视频帧序列中待匹配影像每个像素点处的窗口尺寸，进而自适应地进行影像对的立体匹配；

其中，所述模型构建模块包括：

影像读取单元，用于从视频帧序列{I₁,I₂,…,I_n}中，任意读取两幅影像作为待匹配的左影像

和右影像

其中，1≤i≤n，1≤j≤n，n为大于或等于2的正整数；

梯度计算单元，用于计算所述左影像的梯度幅值，得到所述左影像

中每个像素点处的梯度幅值，其中，A_max为所述左影像的最大值梯度幅值，A_min为所述左影像的最小梯度幅值；

窗口尺寸数量计算单元，用于基于所述左影像的梯度幅值以及左右影像的标准视差确定最佳匹配时的窗口尺寸数量，记为最佳窗口尺寸数量；具体包括以下步骤：

S131、初始化窗口尺寸数量N，初始化窗口尺寸数量的更新步长N_r，初始化窗口尺寸的最小值W_min，初始化窗口尺寸的更新步长W_r，初始化最大迭代次数k_max；

S132、基于对所述左影像

的各个像素点在所述右影像

中相对应的预设区域范围内找到最为相似的像素点作为匹配点的原则，找到所述右影像

中与所述左影像

相对应的匹配点，计算视差，得到标准视差图D_C作为参考图；

S133、将所述左影像

的梯度幅值区间[A_min,A_max]平均分成N等分，得到N个梯度幅值子区间；

S134、根据公式W_s＝W_min+W_r·(N-s)计算处于第s个梯度幅值子区间的像素点所对应的窗口尺寸W_s，其中，s∈[1,N]，对处于不同梯度幅值子区间的像素点采用对应尺寸的窗口进行立体匹配，得到视差图D_tmp，计算视差误差为D_error＝|D_tmp-D_C|；

S135、基于公式N＝N+N_r更新窗口尺寸数量，根据步骤S133和步骤S134进行计算得到当前的视差误差；

S136、比较相邻两次的视差误差大小，若当前的视差误差大于或等于上一次的视差误差，则立体匹配效果已经达到最佳，得到最佳窗口尺寸数量N_best为N-N_r，操作结束；

S137、若当前的视差误差小于上一次的视差误差，则立体匹配效果未达到最佳，重复步骤S135-S136进行迭代；

S138、当迭代次数超过最大迭代次数k_max时，N_best取值为当前的匹配窗口数量N，操作结束；

函数关系拟合单元，用于基于所述窗口尺寸数量对所述左影像的梯度幅值和窗口尺寸进行函数关系拟合，确定两者之间的函数关系式。

Images