基于双目视觉的深度图立体匹配算法研究改进

基于双目视觉的深度图立体匹配算法研究改进

２３３１）９（６１’譬。２ 制控与量测机算计

．．

Ｃｏｍｐｕｔｅｒ

Ｍｅａｓｕｒｅｍｅｎｔ

＆

ＣｏｎｔｒｏＩＩ

ｒ磊ｉ手ＦＩ三丽

Ｉ瞒，．１似， ｏ

文献标识码：Ｂ

Ｉ

文章编号：１６７１—４５９８Ｃ２００８１０９—１３３２—０３中圈分类号：ＴＰ３０１．６

基于双目视觉的深度图立体匹配算法研究改进

周亦鹏

（西北工业大学自动化学院，陕西西安７１００６８）

摘要：双目立体视觉可以直接模仿人眼与人类视觉的立体感知过程，是计算机视觉研究的核心课题之一。文章主要针对图像的立体匹配算法研究，对区域相关算法进行了分析。在传统的ＮＣＣ基本灰度相关度测度函数的基础上，将动态规划优化理论引入到匹配中，提高了匹配的速度和准确度。实验表明．本文算法能够满足目标跟踪试验要求，具有重要的理论意义和较高的实用价值。

关键词：双目视觉ｔ立体匹配算法Ｉ相关匹配优化；视差范围

ＩｍｐｒｏｖｅＡｌｇｏｒｉｔｈｍＢａｓｅｄ

ｏｎ

ｔｈｅＤｅｐｔｈＭａｐ

ＢｉｎｏｃｕｌａｒＳｔｅｒｅｏ

Ｍａｔｃｈｉｎｇ

ＺｈｏｕＹｉｐｅｎｇ

（ＤｅｐａｒｔｍｅｎｔｏｆＡｕｔｏｍａｔｉｏｎ，ＮｏｒｔｈｗｅｓｔｅｒｎＰｏｌｙｔｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｘｉ＇ａｎ

Ａｂｓｔｒａｃｔ：Ｂｉｎｏｃｕｌａｒ

ｓｔｅｒｅｏ

７１００６８，Ｃｈｉｎａ）

ｖｉｓｉｏｎ

ｖｉｓｉｏｎ

ｐａｐｅｒ

ｃａｎ

ｄｉｒｅｃｔｌｙｉｍｉｔａｔｅｔｈｅｈｕｍａｎ

ａ

ｅｙｅａｎｄｈｕｍａｎｖｉｓｕａｌ

ｐｅｒｃｅ ｐｔｉｏｎ

ｏｆｔｈｒｅｅ－－ｄｉｍｅｎｓｉｏｎａｌ，ｃｏｍｐｕｔｅｒ

ｉｓｔｈｅ

ｗａｓ

ｃｏｒｅ

ｔｏｐｉｃ

ｏｆｓｔｕｄｙ．Ｔｈｉｓｍａｉｎｌｙｆｏｒ

ｇｒａｙ

ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌｉｍａｇｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｒｅｓｅａｒｃｈ，ｔｈｅｒｅｇｉｏｎａｌｃｏｒｒｅｌａｔｉｏｎａｌｇｏｒｉｔｈｍ

ｏｎ

ａｎａｌｙｚｅｄ．ＩｎｔｈｅｔｒａｄｉｔｉｏｎａｌＮＣＣｂａｓｉｃ

ｔｏ

ｃｏｒｒｅｌａｔｉｏｎｆｕｎｃｔｉｏｎｏｆｔｈｅｍｅａｓｕｒｅ

ｔｈｅｂａｓｉｓｏｆｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｔｈｅｏｒｙ

ｃａｎ

ｗｉｌｌｂｅｉｎｔｒｏｄｕｃｅｄｏｆ

ｔａｒｇｅｔＫｅｙ

ｔｈｅｍａｔｃｈ，ｉｍｐｒｏｖｅｄｍａｔｃｈｉｎｇｓｐｅｅｄａｎｄａｃｃｕｒａｃｙ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍ

ａｎ

ｍｅｅｔｔｈｅｔｅｓｔｒｅｑｕｉｒｅｍｅｎｔｓ

ｔｒａｃｋｉｎｇａｎｄｉｔｉｓｉｍｐｏｒｔａｎｔｔｈｅｏｒｅｔｉｃａｌａｎｄｐｒａｃｔｉｃａｌｖａｌｕｅ．

ｓｔｅｒｅｏ

ｗｏｌｄｓ：ｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｔ

ｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍ｝ｍａｔｃｈｉｎｇｏｐｔｉｍｉｚａｔｉｏｎ；ｐａｒａｌｌａｘ

ｓｃｏｐｅ

１立体匹配算法概述

立体匹配。其实质是从不同视角拍摄的同一场景的图像中，寻找出场景中同一点在不同图像中的共扼点对，求出对应点的视差值生成深度图。所谓深度图，就是把共扼点对的视差量化成灰度值所形成的灰度图。由于视差大小描述了场景点的远近，所以深度图中不同灰度值代表着不同的距离，使人眼对场景点的远近产生更直观的感受。由于立体匹配算法比较复杂，计算量相对较大，所以它一直是立体视觉研究中的重点和难点。

立体匹配的过程大体可分为３步；确定匹配基元，定义测度函数，选择搜索策略。根据匹配基元的不同，立体匹配算法分为３类：区域匹配、特征匹配和相位匹配。

２

圈１区域相关匹配原理

相同或相近时，测度函数值达到最小。常见的归一化互相关算法ＮＣＣ灰度相关测度函数如下：

（１）归一化互相关算法Ｎｅｄ胡（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ

ｌａｔｉｏｎ）：

Ｃｏｒｒｅ—

∑∑Ⅱｏ＋ｉｄ＋Ｊ）一五石ｊＩ］ ［ｂ＋ｉ＋ｄ∥＋力一ｉ石干砑

区域相关立体匹配算法

区域相关匹配算法［１１是一种经典的立体匹配算法，它可以

２．１基本区域相关匹配算法

得到稠密的视差图。因为单个像紊的灰度不能够提供足够的信息，所以该算法先以基准图中一个像素点为中心创建一个邻域支持窗口，用邻域像素的灰度值分布来表征该像素，然后从待匹配图中寻找这么一个像素，以其为中心创建同样的一个窗口，使其邻域像素的灰度值分布与前者的相似性必须满足一定的阈值条件。对于己经进行外极线校正的立体图像对，可以认为匹配的对应点在图像的同一行上，如图１所示。

对于左图像中点Ｉｌ（ｚ，ｙ），可以从右图中同一水平扫描线上搜索其匹配点。这之前，我们首先要定义描述两个窗口灰度分布差异的灰度相关测度函数，当两个窗口包含的灰度信息

收稿日期：２００８—０５—０８；修回日期：２００８—０６—１０。

作者简介：周亦鸱（１９６９一），男，博士，主要从事计算机图像视觉处理、图像算法、交通运输规划及安全方向的研究．

，＼／∑∑Ｅｌｌｂ－４－ｉ，ｙ－４－ｊ）一＾砑∑∑［ｋ＋ｉ＋ｄｄ州）一ｉ五耳劢…—１’一Ｊ—＿Ｉ

Ｑ）

以上是区域相关立体匹配中的归一化互相关基本算法，这种方法中窗口的选择很重要，具体的影响将在实验中分析。２．２区域相关匹配算法的一些改进２．２．１视差范围约束

这起源于心理物理实验，它表明人类视觉系统只能融合比某个限度小的立体图像［３］。将该结果应用于立体视觉的研究中，可以大大减少立体匹配寻找匹配点时的搜索长度，大大减少计算时间。对于双目立体图像对‘“，如图１所示，可以预先设定视差范围（一ｄ，＋ｄ），对于左图像中点Ｌ（ｚ，ｙ），可以在右图中同一水平扫描线上设定视差范围内搜索其匹配点，即从Ｌ（ｚ—ｄ，ｙ）到Ｊｚ（ｚ＋ｄ，ｊ，），这样就避免了搜索整个扫描线，提高了效率。这种约束对于不同测度函数的区域匹配都是适用的。

２．２．２归一化互相关函数的加速计算方法

中华测控网

ｃｈｉｎａｍｃａ．ｃｏｍ

万方数据

基于双目视觉的深度图立体匹配算法研究改进

第９期周亦鹂：基于双目视觉的深良图立体匹配算法研究改进

１３３３

归一化互相关函数的定义式（２）可以写成下式

ＮＣＣ（ｚ，，，ｄ）一＿：：：竺些些兰兰：＝（２）

。

￣／ｍｒ（ｚ，Ｙ，Ｊ１） 目ａｒ（ｘ＋ｄ，Ｙ，Ｊｚ）

其中

ｃｏｗ（ｘ，Ｙ，ｄ）＝∑∑［Ｊ。（ｘ－ｋｉ，ｙ＋ｊ）一币历，］

［Ｌ（ｚ＋ｉ＋ｄ，ｙ＋ｊ）一瓦百ｉＦ丽］

ｉ…一４

（３）

ｍｒ（ｚ，Ｙ，Ｉ，）＝∑∑［Ｊ，（ｚ＋ｆ，，＋ｊ）一ｉ百丽］２（４）ｉ…一“

ｍｒ（ｘ－－［－ｄ，Ｙ，Ｉｚ）一∑∑［Ｊ。（ｚ＋ｉ＋ｄ，ｙ＋ｊ）一瓦ｉｉＦ丽］２…；一≈

（５）

从上式可以看出，该函数的计算量相当大，但是在窗口移动过程中存在很多重复计算，所以对上式我们可以进行一定的简化。通过以下途径可以提高相关计算速度。计算ｃｏ”（ｚ，Ｙ，ｄ），把

了丽一丽矗面而。圣娶－（ｘ－ｋｉ，ｙ＋川６）

Ｉｚ（ｚ＋ｄ，ｙ）一

—（２—ｊ二＿若生＋１）

丽∑Ｊ。（ｚ＋ｆｄ，ｙ＋歹）代ｍ（２ｎ＋１）ｆ幺，笪“～”一……“。

人ＣＯＴ，＇（ｚ，ｙ，ｄ）整理简化后的结果为：

ｃｏｖ（ｘ，ｙ，ｄ）一∑∑［Ｊ，（ｚ＋ｆ，，＋Ｊ） Ｊ２（ｚ＋ｉ＋ｄ，ｙ＋』）一

（２ｍ＋１）（２ｎ＋１）１１石Ｉｙ） 五（至—千砑］

ｉ＝－ｍｉ一

３基于动态规划的全局最优搜索策略

３．１动态规划简介

动态规划［４３是解决多阶段决策最优化问题的方法。利用最优化原理求解多阶段决策最优化的过程，称为动态规划。适用于动态规划方法的问题必须满足最优化原理和无后效性。动态规划的基本思想是：将过程分成若干个互相联系的阶段，即子问题。将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，先求解子问题；对于重复出现的子问题，只在第一次遇到时进行求解并把答案保存，以后遇到时直接引用答案。３．２引入动态规划的区域相关匹配优化

在区域相关匹配的基础上，这里引入动态规划技术来选择最优的匹配点。由于用来匹配的图像对事先已经进行外极线校正，所有外极线等同于水平扫描线，所以匹配点只在对应的扫描线上寻找，依次对每条水平扫描线上的像点进行匹配。对于某一条扫描线（如第Ｙ条），取右图扫描线为视差空间图的垂直坐标轴，取左图扫描线为水平坐标轴，图中位于坐标（ｚ，ｓ）的值等于右图像位于（ｚ，ｙ）的特征点与左图像（ｓ，ｙ）处的特征点的支持窗口之间的区域相关值，描述右图特征点（ｚ，ｙ）与左图特征点（ｓ，ｙ）相匹配的程度。在选定视差搜索范围。一ｄ后，根据前面区域相关匹配的结果，若匹配时采用的两幅图像宽度均为Ｎ，则每一条扫描线上所有特征点的相关值构成一个Ｎ×Ｎ矩阵，所以视差空间图像平面也叫相关系数矩阵平面。由于有视差搜索空间限制，该矩阵中也仅有有限个元素值不为零。

基于视差空间图像的表述，扫描线上特征点的匹配转化为在相关系数矩阵二维平面上从左上角到右下角搜索最佳路径的

万方数据

图２相关系数矩阵

问题，如图２所示。按照动态规划方法，将相关系数矩阵平面上的区域相关值Ｃ等效为二维动态规划的状态，右图扫描线上特征点的数目等效为动态规划的阶段，定义匹配价值函数：

Ｖ（ｚ，ｓ）＝ｍａｘ【Ｖ（ｚ一１，ｓ一１），ｙ（ｚ一２，ｓ一１），

Ｖ（ｚ一３，ｓ一１），…，］＋Ｃ（工，ｓ）（７）

其中，ｍａｘ为求最大值符号，Ｖ（ｚ，ｓ）为阶段路径达到ｚ位置的累积价值，Ｃ（ｚ，ｓ）为右图第ｚ个特征点与左图第ｓ个特征点的相关值。搜索时从相关系数矩阵平面的左上角Ｖ（１，１）出发，在选定的搜索视差范围ｄ内寻找到达右下角Ｖ（Ｎ，Ｎ）点的最佳路径，沿该路径累积的匹配价值最大，该路径上的点即确定了扫描线上特征点的最佳匹配关系。

在具体的匹配过程中，可以引入根据顺序一致性约束条件，该条件限制了相关系数平面中匹配路径的走向只能在０。～９０。的范围内，将上式进一步简化为：

Ｖ（ｚ，ｓ）一ｍａｘＥＶ（ｘ一１，５），Ｖ（ｚ一１，ｓ一１），

ｙ（ｚ，ｓ一１），Ｖ（ｚ，ｓ一１）ｌ＋Ｃ（ｘ，５）

（８）

由此可见，参与比较的路径减少，再加上视差范围的限定，使计算的复杂度大大减小，能够快速找到匹配的最佳路径，从而实现致密视差图的恢复。

４实验及分析

４．１

区域标准相关匹配算法窗口大小选择对结果的影响本实验使用的匹配源图像对是由Ｕｎｉｖｅｒｓｉｔｙ

ｏｆ

Ｔｓｕｋｕｂａ提

供的Ｔｓｕｋｕｂａ图像对，图像大小为３８，１＊２８８像素。实验前先对图像进行预处理，用口＝１．０的７×７ＬＯＧ离散内核进行卷积［６］。结果如图３所示，图中只列出了图像对中的左图的处理结果。预处理后的图像与原图像相比较，很容易看出边缘特征变得更加明显了。

（ａ）原Ｔｓａｋｕｂａ图像Ｃｏ）ＬＯＧ卷积后的图像（ｃ）预处理后的图像

图３匹配源图像预处理

然后对预处理后的图像对进行基本区域相关匹配的实验。应用归一化互相关灰度测度函数实验，每组实验中又选择大小不同的窗口进行多次实验。

本实验选择的窗口为５×５，７×７和９×９大小的方形窗口，视差搜索范围ｄ一３０，实验结果如图４所示。实验表明，对于这种测度函数，窗口大小的选择对匹配结果的影响还是相当大的：很明显，匹配窗口较小时，出现很多不连续点，误匹配较多，而窗口较大时，图像边缘特征变得很模糊。所以匹配

中华测控网

ｃｈｉｎａｍｃａ．ｃｏｒｎ

基于双目视觉的深度图立体匹配算法研究改进

：！！！！：

窗口大小的选择要根据不同需要而改变。

笪蔓塑型量皇墼型

笙！！鲞

范围限定等策略，利用从相关参数矩阵中寻找最优路径，实现了立体匹配。可以看出，本方法在视差连续的地方效果较好，本文研究的改进动态规划匹配算法完全可以描绘场景的深度信息，同时也较好地满足了从视差图中把要跟踪的目标从场景中分离的要求。

５

由于用双目视觉做目标跟踪０６３的研究时，我们关注较多的是深度图中目标的位置特征，而对其边缘特征要求不是很精确。根据本实验的分析，９×９的窗口已经可以满足要求。

结束语

本文着重讨论了区域相关匹配算法，给出了ＮＣＣ这种常

见的灰度相关度测度函数。匹配中以传统的区域相关算法为基础，引入改进的动态规划全局最优搜索策略，并结合ＮＣＣ的

（ａ）５

ｘ

５窗口

（ｂ）７ｘ７窗口（ｃ）９ｘ９窗口

加速计算、一致性约束和视差范围限定等策略，利用从相关参数矩阵中寻找最优路径，实现了立体匹配。通过实验分析了匹配窗口的大小选择对匹配结果的影响，并以此为依据选取了合适的窗口。在此基础上，对用于目标跟踪的序列图像对的实验，表明了本文的方法基本可以满足从视差图中把要跟踪的目标从场景中分离的要求，具有重要的理论意义和较高的实用价

值。

图４互相荧算法

４．２引入改进动态规划的匹配算法实验

本实验所用的匹配源图像是立体匹配标准测试图像对，标准测试图像选用Ｕｎｉｖｅｒｓｉｔｙ

５所示。

ｏｆ

Ｔｓｕｋｕｂａ提供的Ｔｓｕｋｕｂａ图像对

和Ｒ．ＳｚｅｌｉｓｋｉａｎｄＲ．Ｚａｂｉｈ提供的Ｍａｐ图像，实验结果如图

参考文献：

［１３廖索英，杨华军．基于区域相关的动态匹配方法［Ｊ］．光电工程，

２００６（１２）ｌ１３７—１４０．

［２］马颂德，张正友．计算机视觉一计算理论与算法基础［Ｍ］．北

京ｔ科学出版社，１９９８．

［３］ＣｏｏｐｅｒＪ，ＶｅｎｋａｔｅｓｈＳ，ＫｉｔｃｈｅｎＬ．Ｅａｒｌｙｊｕｍｐ—ｏｕｔｃｏｒｎｅｒｄｅｔｅｃ—

ｔｏｒｓ［刀．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ

ｏｎ

ＰＡＭＩ，２００３，１５（８）ｌ８２３—８２８．

ｒ４］ＭａｒｒＤ．Ｖｉｓｉｏｎ中译本：视觉计算理论［Ｍ］．姚国正，刘

汪云九．译．北京：科学出版社，１９８８．

磊，

［５］游素亚，徐光佑．立体视觉研究的现状与进展［Ｊ］．中国图像图

形学报，２００６，２（１）：１７—２４．

［６］游索亚，柳健，万发贯．基于小波变换相位的立体匹配系统

［Ｊ］．信息与控制，２００５，１５１：２８—３１．

图５

目标跟踪图像的动态规触ＮＣＣ匹配算法

［７］罗三定，崔振峰．一种实时多目标跟踪的新算法［Ｊ］．计算机测

量与控制，２００６，１４（８）Ｉ１１０８—１１０９．

［８］ＢａｒｎａｒｄＳ，Ｆｉｓ。ｈｌ。。Ｍ．Ｃｏ。ｐ。ｔ。ｔｉ。。。ｌ。ｔ。。。。［ｃ］．ＡＣＭＣｏｒｎｐ。一

ｔｉｎｇ．Ｓ。ｒｖｅｙｓ，２００２，１５（５）．

匹配中以传统的区域相关算法为基础，引人动态规划全局最优搜索策略，并结合ＮＣＣ的加速计算、一致性约束和视差

尊§坩ｉ咐９螂啦睁球９咐§埘啦筘嘴哦站咐廿舶埘∞潮坩韭幽噌韭捌吲酆水‰掣拶ｄ酆．Ｒ啦｝哆．毗毗Ｉ峨毗Ｐ鲢ｉ￥哆；Ｓ啦｝啦ｌ哟触Ｐ啦毗峭峨峨毗毗陆峨峨哦峨Ｆ咣删伊

（上接第１３２６页）

可以看出双重模糊Ｋ一均值算法的模糊分类器主要优点是：（１）简单。（２）结构系统化。（３）在聚类过程中，双重模糊Ｋ一均值的聚类算法能预处理训练数据，以至于训练数据能够保证１００％地被模糊分类器分类。（４）它还有很好的通用

加

性。

参考文献：

∞卯

如∞∞

［１］董晶，王军政，马立玲．基于模糊控制的电机加载控制方法

口］．计算机测量与控制，２００４，１４（９）：１１８０－－１１８１．

［２］边肇棋，张学工．模式识别（第二版）［Ｍ］．北京ｔ清华大学出版

社，２０００．

帕∞

［３］吴逸飞．模式识别一一原理、方法及应用［Ｍ］．北京：清华大学

出版社，２００２．

［４］ＢｏｚｉｎｏｖｌｃＲＭ．Ｏｆｆ—ＬｉｎｅＣｕｒｓｉｖｅＳｃｒｉｐｔＷｏｒｄＲｅｃｏｇｎｉｔｉｏｎ［刀．

ＩＥＥＥｔｒａｎｓ．ｏｎＰ．Ｒ．＆Ｍ．１．，Ｊａｎ．，１９８９．

图１Ｉｒｌｓ数据的三维分布图

［５］ＷａｎｇＺＱ，ＳｎｅｎＱ，“ｕＳＣ．ＴｈｅＩｎｔｅｌｌｅｃｔｕａｌｉｚｅｄｄｉｒｅｃｔｉｏｎｏｆ

ｐａｔｔｅｒｎ

ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩＯｃＰＯＬ

９０，１９９０．

中华测控网

ｃｈｉｎａｍｃａ．ｃｏｍ

万方数据

本文来源：https://www.bwwdw.com/article/3sdj.html