红外与可见光图像配准

本科毕业设计论文

本科毕业设计论文

题 目 红外与可见光图像配准

专业名称 自 动 化

学生姓名

指导教师

毕业时间 2014.06

本科毕业设计论文

本科毕业设计论文

毕业 任务书

设计 论文

一、题目

红外与可见光图像配准

二、研究主要内容

选题来源于科研项目。红外与可见光图像由于相关性小，缺乏一致性特征，

因此配准的难度较大。针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。配准算法中核心的部分在于特征的提取和特征的匹配两个部分。特征提取拟采用Harris角点或Susan角点检测算法，这两种算法稳定性好，也适合实时性场合需要。特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。最终实现一种自动、快速、较高性能的配准方法。

三、主要技术指标

1、开发工具采用OpenCV；

2、配准时间1秒左右，精度小于1个像素。

四、进度和要求

第1-2周：初步查阅与本次毕设有关的背景知识、论文以及书籍，并进行分析、

总结，理解所研究的问题。

第3-4周：学习掌握OpenCV、图像配准的相关知识。

第5-6周：实现Harris角点,ORB或者BRIEF法对图像特征进行提取。 第7-8周：确定特征匹配算法。

第9-10周：用OpenCV实现算法的程序。 第11-12周：用OpenCV实现算法的程序。 第13-14周：程序测试。

第15-16周：撰写毕业设计论文，准备论文答辩。

五、主要参考书及参考资料

[1] 田伟刚。基于点特征的多源遥感图像配准技术。西北工业大学硕士学位论

文，2008年

本科毕业设计论文

[2] 苑津莎，赵振兵，高强等。红外与可见光图像配准研究现状与展望。激光与

红外，2009，39(7)：693-699

[3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedings

of the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151

[4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level image

processing．Journal of Computer Vision，1997，23：pp45~78

[5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．Pattern

Recognition，1980，12：pp269~275 [6] D. P. Huttenlocher，G. A. Klanderman， W. J. Rucklidge．Comparing images using

the Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863 [7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distance

measures． Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem， Israel，1994：pp566~568

[8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robust

Hausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429

[9] 周成平，蒋煜，李玲玲等。基于改进角点特征的多传感器图像配准。华中科

技大学学报，2005，33(11)：pp1~4

学生学号 __________ 学生姓名

指导教师 __________ 系 主 任

本科毕业设计论文

本科毕业设计

外文翻译

专业名称 自 动 化

学生学号 2010302197

学生姓名 郑 平

指导教师 李 晖 晖

完成时间 2014.05.25

本科毕业设计论文

本科毕业设计论文 本科毕业设计英文翻译

指导教师评阅意见

学生姓名：郑平 班级：09011006 得分： 请指导教师用红笔在译文中直接进行批改，并就以下几方面填写评阅意见，给出综合得分（满分按100分计）。 1、专业术语、词汇翻译的准确性； 2、翻译材料是否与原文的内容一致； 3、翻译材料字数是否符合要求； 4、语句是否通顺，是否符合中文表达习惯。 中文译文： 在高分辨率遥感图像自动目标检测使用基于轮廓的空间模型 Yu Li, Xian Sun, Hongqi Wang, Hao Sun, and Xiangjuan Li 摘要—在这篇文章中，我们提出了一种基于轮廓的空间模型，可以准确地检测出地理空间目标的高分辨率遥感图像。为了检测结构复杂的地理空间对象，每个图像被划分成使用多个分割的第一件作为目标候选区域。然后，自动识别目标种子区域是通过计算与使用动态编程的目标模板的轮廓信息的相似度来实现。最后，基于轮廓的相似性进一步更新，并结合空间关系找出缺少的部分。以这种方式，更精确的目标检测结果可以实现的。精度，鲁棒性，所提出的方法的有效性通过了实验结果进行了论证。 关键词：几何信息，图像分割，空间关系建模，目标检测。 一 介绍 目标检测是在高分辨率遥感图像分析中最具挑战性的任务之一。随着遥感成像技术的发展,高空间分辨率可以为目标检测提供丰富的空间和上下文信息[1]。使用这些信息为检测准确地理空间目标和复杂的结构提供了机会，如飞机。 虽然近年来目标检测和分割等领域得到了广泛的研究，许多作者分别考虑这两个任务是常见的。目标检测已被使用来实现，例如，星座模型[2]和变形形状模型[3]。然而，通过这些方法在目标检测中结果不够精确。 一些研究目标检测与分割相结合的调查研究已经实现，如视觉类过滤器[4]和隐式形状模型[5]。由于缺乏空间和结构信息，有些方法只能得到有限的成功的应用程序数据。此外，很难找到一个很好的分区方法，该方法可以很好地用于在复杂场景中的所有物体，如高分辨率遥感图像。 多重分割收到显著的注意，因为在一个图像中的目标中一些分割的一些地区几乎是正确的。有意义和有趣的物体使用多个分割提取[6][7] 。现在的问题是

1

本科毕业设计论文

如何从图像段的池中挑选出有意义的区域。阿克恰伊和索伊[6]和Sun等[7]提出的方法是基于使用的概率潜在语义分析模型的外观信息[6]和潜在狄利克雷分配模型[7]，其中一个目标被表示为更小的视觉刺激的集合。这些方法由于强大的本地图像描述符可以达到令人印象深刻的结果。然而，本地的外表并不是物体检测的唯一通道。然而，当地的外表并不是物体检测的唯一通道。实际上，该形状提供了对象的某些类不是本机的外观的详细信息，因为在极端的光照条件下形状是不变的。最近，基于形状的方法日益受到重视。提出了先进的目标检测的结果优于以外观为基础的方法[8]-[10]。捕获的目标的形状信息的模板在基于形状的方法被经常使用的[11][12]。然而,所有这些方法隐式需要稳定和连接边缘在图像底层表示,这通常打破,淹没在大量的杂物在遥感图像中。 这篇文章提出了一种新的方法，它可以检测目前在高分辨率遥感影像的地理空间目标和目标边界的精确描述。贡献有三个方面。首先，空间（CBS）模型提出了分割，并同时检测目标实例的轮廓。第二，线段的轮廓，而不是提取的边缘，而是结合相似度计算用于识别该有意义的目标区域。这是分割后自然和简单的方式，可避免杂乱和提供良好的边缘提取帮助。第三，在我们的模型中，空间关系的函数用来代表不同的图像块，可以帮助实现准确的检测结果。 二 种子区域识别 在本节中对目标种子区域识别进行描述说明。该问题可以分解为三个阶段。首先，多个分割是用来从给定图像中提取候选区域。其结果是一组图像块。在此之后，使用形状描述符得到每片的轮廓信息。最后，每一个图像的轮廓与目标模板的相似性是通过动态规划计算和类似件被拾取作为目标种子的区域。模板是根据目标的形状信息生成的。这些阶段被示于图1，以下各节描述了该算法的细节。 图1 我们的目标检测算法的方法的概述：一个单一的二进制掩码作为目标模板给出。 A.多个分段算法 第一步的目的是获得图像的足够的候选区域，这获得正确的目标种子区域的机会很高。因为不是所有的分割预计是正确的，所以分割算法的选择不是关键的。规范化削减框架[13]用于产生候选区域，因为它的目的是找到具有机会成为目标的大段全局分割以产生多个分割，我们改变分割算法的一个关键参数，段的数目。根据图像的大小，我们执行的分割算法包含参数组 ci:ci?1?ci?2,?W?H?ci??W?H (1) 其中W和H是图像的宽度和高度，┌┐是顶函数上的功能。?和?是该段的系数（???是指单一分割和???表示的多个分割）。图2显示了一组产生分割一个例子形象。

2

???? 本科毕业设计论文

,??0.05多个细分采样，所选择的图像块用不同颜色显示。 图2 图像及其??0.015 B.分部信息说明 从分割得到的区域都使用的形状描述代表他们的轮廓信息。形状描述符在翻译、规模、旋转,和轻微的形状变化[14]中将健壮且具有不变性特性。形状上下文（SC）的描述符是一个全面的选择。SC的想法最早由Belongie等[15]提出。它描述了具有里程碑意义的在边缘点周围的点的相对空间分布。通过从轮廓进行采样的一定边缘点序列{pi,i?1、2??n}给定一定片段P，在pi处，SC被定义为一个直方图H1的相对坐标的n?1个点。直方图是统一于空间log?polar2 hi(k)?#{pj:j?i,pj?pi?bin(k),1?k?K} (2) 其中＃表示集合的基数，bin(k)是第k个bin，K?S?T是bin的数量，而S和T分别表示距离和方向的数量。它需要O(n2)时间去计算直方图N个采样点。图 3显示了一些SC。

3

本科毕业设计论文

图3 例如以S?5,T?12的SC。最上面一行显示三个对象具有一个显着的一点红点。最后一行显示的SC。请注意，计算了三个形状相似的位置点在SC是相似的。 C.分类选择 形成对于每个描述符段轮廓后，我们的目标是搜索类似的片段作为目标种子区域。相似度计算是由轮廓匹配得到的，这是寻找一组两个轮廓之间的对应关系。 Belongie等人所用的框架组合SC和薄板样条[15]，并表明它对于形状匹配的任务是非常有效的。 Thayananthan等人[16]提出了一个SC匹配包括形状连续性约束的高效动态规划方案。我们的方法包括通过假定轮廓点是有序的，并使用动态编程在轮廓采样点相匹配的SC类似的约束。 设p和q是在两个不同的轮廓上的两个点，以及它们的SCs分别对应Hp与Hq。两个点的相似度定义为他们描述符之间的距离。两个直方图之间的距离用[15]中?2统计量定义 K[h(k)?h(k)]21q dist(p,q)??2(hp,hq)??p (3) 2k?1hp(k)?hq(k)其中K是SC中bin的数目。Hp(K)和Hq(K)分别是归一化的形状描述符的点p和q。 图4 区域对的空间关系 (a) 不邻接 (b) 接壤 （c）相交 （d）包围

4

本科毕业设计论文

给定两个轮廓P和Q,例如 P?{pi,i?1,??,Np}和Q?{qj,j?1,??,Nq}它们之间的匹配成本矩阵被表示为 ?dist(p1,q1)dist(p1,q2)?dist(p1,qNq)??dist(p,q)dist(p,q)?dist(p,q)?21222Nq? Dist(P,Q)?? (4) ????????dist(p,q)dist(p,q)?dist(p,q)??Np1Np2NpNq?? 匹配的成本可以被用来测量[17]被用于该匹配的段P和Q。模板动态规划之间的相似性，以及动态规划表等于匹配成本矩阵区（P，Q）。动态规划程序运行在O(n3)时间。在实践中，我们每个轮廓在使用100点。该段选择需要大约0.3秒的标准个人电脑的英特尔酷睿i5，在3.10 GHz的2 GB的RAM运行。 三 数值模拟分析空间关系 在图像进行分割后，并在目标区域的种子确定后，在我们的方法中的下一步骤是空间关系的建模。区域对的空间关系可以被定义为上下文类[18]。根据他们的相对位置，对应类会员是用?c和c∈{Dis,Bor, Int, Sur}分离,接壤,交叉,分别和包围。 由索伊等人的作品启发。在视觉领域[19]语法，对区域的空间关系被定义为关系类，和?c表示的程度的值 区域对经典。这些关系示于图4图像中的所有区域之间的空间关系可以由区域关系矩阵来表示。一对地区，我们首先计算以下: 1） 每个区域?i和?j领域 2） 两个地区之间的公共区域?ij计算为共享像素的两个地区之间的数字 3） 常见的面积与最小面积比?ij??ij/min(1,?,n?,n是区域的?i,?j).i,j??图像中的数量。 对空间关系中，面积比?ij是用在下面梯形隶属函数： 1） 不邻接 ?1if?ij?0??Dis(?ij)??0otherwise (5) ??2） 接壤 1if0??ij?0.04??51?50?Bor(?ij)????ij?if0.04??ij?1 (6) 49?490otherwise??3） 相交 1?50???9ij9if0.02??ij?0.20? (7) ??1if0.20??ij?0.80?0if0.80??ij?1???Int

5

本科毕业设计论文

4) 包围 ?Sur?10?ijif0.80??ij?0.90???1if0.90??ij?1 (8) ?0otherwise? 每个区域对可以分配某种程度的利用这些空间关系函数的空间关系。该功能和特定实例示于图5。 图5 （a）隶属函数对空间关系 (b) 示例在飞机图像空间关系 四 目标检测 给定查询图像，分割是建立，并且目标候选区域，如第二节-A中所述获得。然后，目标种子区域被确定与目标的参考模型相匹配的候选区域。匹配算法记录在第二节-C。 因为有缺乏空间上下文信息利用和背景干扰,种子区域块通常不是整体目标和对象的某些部分，表示提取的目标缺失的部分是在第三部分图像空间关系的描述。提取算法所示图1中的虚线框。 在漏件的提取过程中，我们通过一个标准函数选择缺少的部分 ???s?? （9） 其中?是根据空间关系的重量，s是形状相似，而?表示阈值。准则函数λ的值与零进行比较。正值表示该块是目标缺少的一部分。该阈值被初始化为种子区域的相似性，并如下文描述的过程中进行调整。 假定S表示目标区域的种子和R表示的一组图像块。在接下来的两个步骤之间的组合方案交替。 1） 搜索步骤：修复阈值?，和搜索图像块按照标准函数R。对于每一个图像块，计算准则函数，其响应值。提取图像rtaeget，其反应是积极的。这个程序可以有效地利用动态规划来实现。

6

本科毕业设计论文

2） 更新步骤：修正属于该对象的图像块，它们组合在一起形成新的种子区域S=S∪rtarget和R=R?rtarget，并更新阈值。当在搜索步骤得到不缺少的部分算法结束。这个目标块选择过程可以被证明收敛到局部最大轮廓的相似性. 五 结果及评价 由于缺乏对高分辨率遥感影像的目标检测标准数据集，我们评估QuickBird卫星影像的飞机探测所提出的方法。有120张图片约200×200像素到600×500像素的大小为60厘米/像素的分辨率。这些图像包含既具有良好的对比度和杂乱的图像的图像，以及部分遮挡目标图像。我们手动标记出现在所有测试图像作为评价地面实况的地理空间目标。 为了定量的评价，让面积（区域）是一个区域的面积;然后，检测被标记为真阳性（TP），如果区域（目标）同意标准的面积（地面实况） Area(ground_truth?target)?0.6 (10) Area(ground_truth?target)每幅图像的精度（FPPI），用于检测正面图线分别示于图9和图10，其中精度= TP /（TP + FP），这是真阳性的所检测的元素的总数量除以数和FPPI= FP / NP，这是误报由测试图像的总数量除以数。 A.轮廓匹配 我们评估采用该方法对飞机的轮廓匹配的性能。图6表示出了在飞机的轮廓实例图像的一些匹配的结果。对于不同类型的飞行器的轮廓，该轮廓结果有较大的差异，以及匹配变得更具挑战性。所提出的方法还提供了有希望的结果（参照图6的（b）的例子）。 图6 飞机的轮廓匹配 （a）相似轮廓的匹配 (b) 不同的轮廓之间的匹配。注意的是，翼型件是否正确匹配。只有四分之一的配对都显示为例证 B.目标检测 图7表示出了如何检测性能可以通过添加空间关系得到改善。我们观察到，我们的方法可以达到很好的性能，甚至在某些困难的情况下，如在目标和阴影效果的外观的可变性。缺少的部件，如机翼和尾部可以使用CBS的模型来获得。 图8显示了一些目标检测和分割效果。据观察，我们的方法可以与旋转的目标，通过复杂的背景包围的目标，部分闭塞的目标，并且存在于图像多目标处理。

7

本科毕业设计论文

图7 检测结果 （a）飞机的样本图像 (b) 没有空间环境探测结果 (c) 检测结果与空间情境模型

8

本科毕业设计论文

图8 我们的飞机准确检测算法的结果，在第一和第三行包括一些示例图像。在第二和第四行是所检测的结果 C.定量评价 为了评估CBS模型的可扩展性，当多个分割的参数有所不同，我们比较了该方法的检测性能，当α和β的值会有所不同。段系数的值是唯一的变量。结果归纳在表I中如可以看到的那样，SC显著优于矩不变量[20]。比较清楚地显示多个分割的优势。 该检测试验是为了凭经验确定轮廓的采样数的效果也重复进行不同的设置。类似于前面的实验中，轮廓的采样数是唯一的变量。同时，在原则上，密集的取样应给予更高的准确度，动态规划的计算成本与轮廓的采样数的平方成正比，因此更精细的采样过于缓慢。 我们评价性能时轮廓的采样数设定为50，100，150，和200，并将结果显示在图9中。

9

本科毕业设计论文

图9 检测不同数量的采样轮廓点时性能 一百点已被证明是足够准确地代表了所有测试的轮廓，而较小的数目来执行显著恶化。在我们的实验中，轮廓的采样数设定为100对检测性能和计算成本之间进行权衡。 为了说明目标检测空间关系对目标检测的影响，我们还在有和不具有空间环境时测试了我们的方法。其结果示于图10，表明该检测精度可以提高使用有和不具有空间环境。

10

本科毕业设计论文

图10 使用和不使用的空间环境检测性能 六 总结 在这篇文章中，哥伦比亚广播公司（CBS）的模式已经被提出来解决检测目前在地理空间目标中高分辨率遥感图像准确性和自动性的问题。多重分割被用来产生候选目标区域。根据他们的相似的外形，种子区域被确定。为了获得目标实例的缺失部分，空间关系被利用进来。我们用动态规划效率来计算形状的相似性，因为它利用轮廓点之间的订购信息。飞机实验为例演示目标的精度，鲁棒性和所提出的方法的有效性。 该方法的主要限制是它不能处理用极端的视点改变（尽管它有一定的鲁棒性）。这对于基于形状的识别方法是共同的困境，并可以通过对不同的视点目标模型的集合建模的目标类克服。CBS的模式是一个捕捉目标的全球性特征的全球性的形状模型。因此，所提出的方法可以用相对固定的形状对目标的良好表现。一种同时考虑全局和局部形状特征改进的形状模型应该是我们今后的工作。 参考 [1] D. Tuia, F. Pacifici, M. Kanevski, and W. J. Emery, “Classification of very high spatial resolution imagery using mathematical morphology and support vector machines,” IEEE Geosci. Remote Sens.,vol. 47, no. 11, pp. 3866–3879, Nov. 2009. [2] R. Fergus, P. Perona, and A. Zisserman, “Object class recognition by nsupervised scale-invariant learning,” in Proc. CVPR, Jun. 2003, vol. 2, pp. II-164–II-271.

11

本科毕业设计论文

[3] A. C. Berg, T. L. Berg, and J. Malik, “Shape matching and object recognition using low distortion correspondences,” in Proc. CVPR, Jun. 2005, vol. 1, pp. 26–33. [4] R. Fergus, P. Perona, and A. Zisserman, “A visual category filter for google images,” in Proc. ECCV, 2004, vol. 3021, pp. 242–256. [5] B. Leibe, A. Leonardis, and B. Schiele, “Combined object categorization and segmentation with an implicit shape model,” in Proc. ECCV, 2004, pp. 17–32. [6] H. Akcay and S. Aksoy, “Automatic detection of geospatial objects using multiple segmentations,” IEEE Geosci. Remote Sens., vol. 46, no. 7, pp. 2097–2111, Jul. 2008. [7] X. Sun, H. Wang, and K. Fu, “Automatic detection of geospatial objects using taxonomic semantics,” IEEE Geosci. Remote Sens. Lett., vol. 7, no. 1, pp. 23–27, Jan. 2010. [8] V. Ferrari, L. Fevier, F. Jurie, and C. Schmid, “Groups of adjacent contour segments for object detection,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 30, no. 1, pp. 36–51, Jan. 2008. [9] J. Shotton, A. Blake, and R. Cipolla, “Multiscale categorical object recognition using contour fragments,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 30, no. 7, pp. 1270–1281, Jul. 2008. [10] A. Opelt, A. Pinz, and A. Zisserman, “A boundary-fragment-model for object detection,” in Proc. ECCV, 2006, vol. 2, pp. 575–588. [11] D. M. Gavrila, “A Bayesian, exemplar-based approach to hierarchical shape matching,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 8, pp. 1408–1421, Aug. 2007. [12] X. Bai, Q. Li, L. J. Latecki,W. Liu, and Z. Tu, “Shape band: A deformable object detection approach,” in Proc. CVPR, 2009, pp. 1335–1342. [13] J. Shi and J. Malik, “Normalized cuts and image segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, no. 8, pp. 888–905, Aug. 2000. [14] M. Yang, K. Kpalma, and J. Ronsin, “A survey of shape feature extraction techniques,” Pattern Recognit., pp. 43–90, Nov. 2008. [15] S. Belongie, J. Malik, and J. Puzicha, “Shape matching and object recognition using shape contexts,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 24, no. 4, pp. 509–522, Apr. 2002. [16] A. Thayananthan, B. Stenger, P. H. S. Torr, and R. Cipolla, “Shape context and chamfer matching in cluttered scenes,” in Proc. CVPR, 2003, vol. 1, pp. I-127–I-133. [17] T. H. Cormen, C. E. Leiserson, R. L. Rivest, and C. Stein, Introduction to Algorithms, 2nd ed. Cambridge, MA: MIT Press, 2001. [18] S. Santini, Exploratory Image Databases: Content-Based Retrieval. New York: Academic Press, 2001. [19] S. Aksoy, K. Koperski, C. Tusk, G. Marchisio, and J. C. Tilton,“Learning Bayesian classifiers for scene classification with a visual grammar,” IEEE Geosci. Remote Sens., vol. 43, no. 3, pp. 581–589, Mar. 2005. [20] M. K. Hu, “Visual pattern recognition by moment invariants,” IEEE Trans. Inf.

12

本科毕业设计论文

Theory, vol. IT-8, no. 2, pp. 179–187, Feb. 1962. 评阅意见： 指导教师（签名）： 年 月 日

13

本科毕业设计论文

本科毕业设计论文

西北工业大学本科毕业设计（论文）开题报告

专业： 自动化 班级：09011006 学号 2010302197 姓名 郑平 指导教师 李晖晖 报 告 题 目 题目来源（划√） 论文类型（划√） 报 告 日 期 红外与可见光图像配准 科研□ 生产□ 实验室□ 专题研究□ 软件开发类 报告地点 企业联合□ 其 他 □ 工程设计类□ 实验研究类□ 2014年 03月 08日 一 选题目的与背景 随着计算机技术和通信技术的飞速发展，以及信息技术和计算机技术在生活、军工等各个方面的广泛使用，我们越来越离不开计算机的相关技术，控制技术也是越来越得到了广泛认可和应用。如今，在航空方面，计算机视觉技术也得到了广泛使用。如今，在民航方面，计算机在飞行安全方面起到了至关重要的作用。红外与可见光图像配准是常见的多模态图像配准，它广泛应用于军事、遥感等领域，有必要对其进行更加深入的研究。国外从20世纪60年代便是开始进行了研究，而国内却是从20世纪90年代才开始涉足这个领域。红外与可见光图像配准是配准中比较常见的，由于红外反映景物的辐射信息，而可见光反映的是景物的反射信息，二者输出图像具有不同灰度特征，这些特征互为补充，可以融合在一起进行目标识别。 二 主要研究内容和方案 （一）主要研究内容 选题来源于科研项目。红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。配准算法中核心的部分在于特征的提取和特征的匹配两个部分。特征提取拟采用Harris角点或Susan角点检测算法，这两种算法稳定性好，也适合实时性场合需要（同时也可以采用ORB或者BRIEF法）。特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。最终实现一种自动、快速、较高性能的配准方法。 （二）研究方案 （1）通过对图像配准的了解和学习，初步了解红外与可见光图像配准的常用方法。 （2）通过对ORB等特征提取方法的学习，获取可行且运行效率较高的算法对图像进行特征提取。 （3）根据现有的一些理论方法，选择适合我们的一些方法，构成我们这个题目的解决方案。 （4）利用OpenCV进行程序的编写，实现红外与可见光图像配准。 I

本科毕业设计论文

三 预期达到的目标 能够将红外与可见光图像配准在机场跑道（实际采用我们实验室自己拍摄的一组视频进行处理）的应用，希望能够使得配准时间在1秒左右，精度能小于一个像素。 四 参考文献 [1] 田伟刚。基于点特征的多源遥感图像配准技术。西北工业大学硕士学位论文，2008年 [2] 苑津莎，赵振兵，高强等。红外与可见光图像配准研究现状与展望。激光与红外，2009，39(7)：693-699 [3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedings of the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151 [4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level image processing．Journal of Computer Vision，1997，23：pp45~78 [5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．Pattern Recognition，1980，12：pp269~275 [6] D. P. Huttenlocher，G. A. Klanderman， W. J. Rucklidge．Comparing images using the Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863 [7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distance measures． Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem， Israel，1994：pp566~568 [8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robust Hausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429 [9] 周成平，蒋煜，李玲玲等。基于改进角点特征的多传感器图像配准。华中科技大学学报，2005，33(11)：pp1~4 [10] BRIEF: Binary Robust Independent Elementary Features. Michael Calonder, Vincent Lepetit, and Pascal Fua 指导教师意见： 签名： 年 月 日 II

本科毕业设计论文

开题评议小组成员： 开题评议小组意见：（包括对论文的选题、难度、进度、工作量、论文形式意见）： 1. 论文选题: □ 有理论意义；□ 有实用价值；□ 有理论意义与实用价值； □ 意义不大。 2. 论文的难度: □ 偏高；□ 适当；□ 偏低。 3. 论文的工作量: □ 偏大；□ 适当；□ 偏小。 4. 进度: □ 可行；□ 不可行； 5. 学生开题报告中反映出的综合能力和表达能力: □ 好； □ 较好；一般；□ 较差。 6. 论文形式意见：□ 可行；□ 不可行； 7. 对论文选题报告的总体评价: □ 好；□ 较好；□ 一般；□ 较差。 （在相应的方块内作记号“√”） 组长签名： 是否同意论文选题报告：□ 同意；□ 需重做 （在相应的方块内作记号“√”） 评议结论 评议小组组长签名： 年 月 日 教学副院长： 年 月 日 学院意见

备注：本科生毕业设计论文开题报告要求

1. 本科生选题报告内容应包括：选题目的与背景、主要研究内容和方案、预期达到的目标。 2. 本科开题报告由各专业负责安排，公开进行；开题小组人员3人以上。

3. 学生在规定的时间内，写出选题报告初稿，经指导教师审阅同意后，由各专业安排开题报告时间；开题学生自述5分钟，提问5-10分钟。开题报告未通过者，需重新开题。 4. 开题报告必须按期完成；如有问题应及时向所在专业或导师提出。 5. 开题报告统一用A4纸、正反两面打印。

III

本科毕业设计论文

本科毕业设计论文

摘 要

在数字图像处理领域，同源图像之间的配准技术已经得到了非常完善的发展，而作为非同源图像的红外与可将光图像的配准技术还在一个高速发展的阶段。在日常生活中，红外图像也开始得到越来越多的应用。图像配准包括一下几个重要部分：特征点寻找、特征点匹配、图像配准。

在现在的图像配准方法中，针对同源图像特征的提取方法具有速度快，配准精度高，算法稳定等特点，也是大家常用的方法。本文将针对红外与可见光图像这一类非同源图像的配准问题进行方法研究，并在此基础上完成红外与可见光图像的配准工作。

本文的主要工作有：

1、较为详细地学习了图像配准中需要的图像知识，并在OpenCV编程平台上，采用直方图均衡化和规定化以及高斯滤波等方法对原始图像进行处理，得到了细节更加清晰的图像。

2、对图像配准的基本理论及国内外现有的一般方法进行了深入学习研究，总结对比其各自的特点，最后选择并实现基于图像特征匹配的配准方法。 3、深入学习和研究了SIFT、SURF、ORB、BRIEF特征提取方法原理，并且通过OpenCV实现这些算法代码，总结分析各自的特点。

4、对基于点特征提取的ORB图像方法进行了深入学习，并采用简单的仿射变换来实现两幅图像位置关系的确定和配准。在OpenCV的环境下编程实现相关的处理，利用红外与可见光图像实现对方法效果的研究。

仿真结果表明，本文采用和实现的基于图像特征的配准方法较好的找到了特征点，并实现了图像配准。

关键词：图像配准，SIFT特征，SURF特征，ORB特征，红外与可将光图像配准。

本科毕业设计论文

II

本科毕业设计论文

ABSTRACT

In the field of digital image processing,homologous image registration techniques have been very well developed,but the non-homologous image between infrared and optical registration techniques ate still in a high-speed development stage. In daily life,infrared image began to get more applications.Image registration includes several important parts including a feature point search,feature point matching,image registration.

In the present method of image registration,image feature extraction methods for homologous have the characteristics such as:a high speed, high registration accuracy and the algorithm stability.They are the method we used.This paper will be studied for the registration problem between infrared and visible images and complete infrared and visible image registration work on this basis.

The main work of this paper:

1、A more detailed study of knowledge which is needed by the image registration,and use histogram equalization and Gaussian filtering method based on original image on the OpenCV programming platform to get a clearer picture withing more details.

2、We learn the basic theory and existing method for image registration at home and abord in depth and summarize the characteristics of their respective contrast.Then select a method and finish it.

3、In-depth study of the SIFT,SURF,ORB,BRIEF,and implement these algorithms code via OpenCV.Finally summarize their characteristic.

4、We learn the ORB deeply and achieve the identification and registration of the positional relationship between two images by simple affine transformation.And we finish the processing in OpenCV programming environment to research the effect of the method by using infrared and visible images.

The simulation results show that the use of feature-based image registration method to achieve finding the feature points and the image registration is well.

KEYWORDS:image registration,SIFT features,SURF features,ORB features,and the image registration of infrared and visible images.

III

本科毕业设计论文

IV

本科毕业设计论文

目录

第一章 绪论........................................................................................................................................ 1

1.1课题的目的和意义 ............................................. 1 1.2红外与可见光图像配准技术研究现状 ............................. 1 1.3课题研究内容 ................................................. 3 1.4 本文工作及章节安排........................................... 3 第二章 图像配准概述 ............................................... 5

2.1 图像配准定义................................................. 5 2.2 图像的变换类型............................................... 5 2.3 图像配准应用与特点........................................... 8 2.4 图像配准方法................................................. 9 2.5 本章小结.................................................... 11 第三章 图像配准的特征提取方法 .................................... 12

3.1 SIFT特征提取算法 ....................................................................................... 12 3.2 BRIEF特征提取算法 .......................................... 16 3.3 ORB特征提取 ............................................... 20 3.4 本章小结.................................................... 21 第四章 基于广义距离以及最近邻的图像配准算法 ...................... 22

4.1 引言........................................................ 22 4.2改进ORB算法 ............................................... 22 4.3 最近邻算法.................................................. 26 4.4本章小结 .................................................... 27 第五章 配准实验 .................................................. 28

5.1 尝试实验.................................................... 28 5.2 本章总结.................................................... 35 第六章 总结与展望 ................................................ 36

V

本科毕业设计论文

6.1 本文工作总结................................................ 36 6.2 展望........................................................ 36 参考文献 ......................................................... 37 致 谢 ............................................................ 39 毕业设计小结 ..................................................... 40

VI

本科毕业设计论文

第一章 绪论

1.1课题的目的和意义

随着计算机技术和通信技术的飞速发展，以及信息技术和计算机技术在生活、军工等各个方面的广泛使用[1]，我们越来越离不开计算机的相关技术，控制技术也是越来越得到了广泛认可和应用。如今，在航空方面，计算机视觉技术也得到了广泛使用。如今，在民航方面，计算机在飞行安全方面起到了至关重要的作用。红外与可见光图像配准是常见的多模态图像配准，它广泛应用于军事、遥感等领域，有必要对其进行更加深入的研究。国外从20世纪60年代便是开始进行了研究，而国内却是从20世纪90年代才开始涉足这个领域。红外与可见光图像配准是配准中比较常见的，由于红外反映景物的辐射信息，而可见光反映的是景物的反射信息，二者输出图像具有不同灰度特征，这些特征互为补充，可以融合在一起进行目标识别，同时，它们由于各自包含了不同的信息，融合在一起后可以比单一的图像获得更多的信息，也能发现更多可能隐藏的信息。

图像配准[2]的基本问题是提出一种图像转换方法，用以校正图像的坐标和形变。比如，对同一场景，不同时在不同视点拍摄的图像，或多或少会存在平移、旋转的情况，它们是处于不同的坐标系内的，需要校正过来。而造成图像形变的原因多种多样，例如对于我们这里的红外与可见光图像而言，传感器噪声、由传感器视点变化或平台不稳定造成的透视变化、被拍摄物体的移动、变形或生长等变化，以及阴影和云层遮盖都使图像产生不同形式的形变。正是图像形变的原因和形式不同，决定了必须要有不同的图像配准技术与之对应。

正是由于上面的原因，我们对于红外与可见光图像配准的研究就十分有必要了。

1.2红外与可见光图像配准技术研究现状[3]

图像配准是个极富有挑战性的研究领域，就是一句相似性度量决定图像间的变换参数，使得两幅有着各种形变等差异的两幅图像变换到同一个坐标系下，在像素层次达到最佳匹配的过程。图像配准在我们日常生活中已经得到了广泛应用。不仅仅在军事、遥感等领域得到了广泛的使用，在计算机视觉，医学上也得

1

本科毕业设计论文

到了应用和发展。国外从20世纪60年代便是进行了研究，国内却是从90年代初才开始涉足。虽然单模态的问题已经基本解决，但是多模态的问题还是有着很远的路需要走。

多模态图像由于来源于不同的成像设备，所以能提供比单模态图像更加丰富和全面的信息。而红外月可见光图像配准是常见的多模态图像配准。红外反映了辐射信息，可见光反映了反射信息，它们之间具有不同的灰度特征，但是却互为补充。红外与可见光图像配准可以用于实现在背景中定位高温物体的功能，但是，目前大多数用于实现图像配准的方法在红外与可见光图像的配准中效果都不好，任需要我们进行深入的研究。

由于同一场景拍摄的图像是真实的三维世界在当时的时刻向成像平面的投影，而图像和图像之间有着较大的相关性和信息冗余，所以无论图像发生了何种变化，或者是由何种模态成像的，我们总可以运用图像中不变的部分、共性的部分去完成配准，然后再去处理变换的部分。典型的图像配准方法的基本不走包括：特征检测、特征匹配、变换模型参数估计以及图像重采样与变换。目前，国内外对于图像配准的研究已经产生了不少的图像配准的方法，各有各的特点和应用的领域，但是可以大概分为两大类：基于图像区域的方法和基于图像特征的方法。

基于图像区域的配准方法：

此类方法常用图像的某一区域或者整幅图像去估计图像之间的几何变换参数，常见的有相关类方法、相位相关法、概率型测度法等。常见的概率型测度方法有图像联合直方图、图像联合熵、互信息法以及归一化互信息法等。而且中基于香农信息论的互信息法在多模态图像配准领域得到了广泛的关注和研究。因为它不需要对多模态图像灰度间的关系作假设，也不需分割和预处理，但是却忽略了图像的空间信息和结果信息，且计算时间长，对噪声鲁棒性不强。

基于图像特征的配准方法：

上面的基于图像区域的配准方法在多模态图像配准中常常因为多模态图像的灰度特征往往不一致而很难运用。而基于图像特征的配准方法中对比例、旋转、光照等保持不变的特征，利用了图像的高层信息，因为适合多模态图像的配准分析。1988年，Harris[4]对Moravec[5]算法进行了改进，提出了至今仍然被广泛使用的Harris角点检测子，它是基于由二阶矩阵特征值，然而Harris角点不是尺度不变的。之后，人们在此基础上又进行了研究，得到了更具重复性的鲁棒和尺度不变特征检测子。到目前为止，已经有了大量不同类型的特征描述子被提出，例如，矩不变量、复杂滤波器等。2004年，Lowe总结了现有的基于不变量急速的检测方法，并正式提出了SIFT[6]（scale invariant feature transform）算法，此算法通过对图像进行不同程度的模糊与缩放，在不同比例的图像中提取特征，这种方法对于旋转、缩放、视角改变以及噪声干扰军具有良好的稳定性。在SIFT的基础上，

2

本科毕业设计论文

Bay等人在2006年5月提出了SURF[7]（speeded up robust features）算法，它的性能超过了SIFT并且能够有更快的速度。SURF的计算速度可以比SIFT快3倍。

其后的一段时间内，又出现了Brief[8]和ORB[9]算法。他们的速度更快，识别率更高。

国外对红外与可见光图像配准的研究主要开始于20世纪90年代初，而国内关于红外与可见光图像配准的研究就相对于国外要晚一些，大部分工作都是2000年以后发表的，且研究深度还远远不够。由于红外与可见光各自的特性，到目前为止，有效的方法还比较少，大部分都是针对特定应用而独立研究的一些方法。所以，对于红外与可见光图像配准的还需要我们的继续深入研究。

1.3课题研究内容

选题来源于科研项目。红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。配准算法中核心的部分在于特征的提取和特征的匹配两个部分。特征提取拟采用SURF或者SIFT检测算法，这两种算法稳定性好，也适合实时性场合需要（同时也可以采用ORB或者BRIEF法）。特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。最终实现一种自动、快速、较高性能的配准方法。

本文主要内容如下：

1、较为详细地学习了图像配准中需要的图像知识，并在OpenCV编程平台上，采用直方图均衡化和规定化以及高斯滤波等方法对原始图像进行处理，得到了细节更加清晰的图像。

2、对图像配准的基本理论及国内外现有的一般方法进行了深入学习研究，3、深入学习和研究了ORB、BRIEF特征提取方法原理，并且通过OpenCV实4、对基于点特征提取的ORB图像方法进行了深入学习，并采用简单的仿射变总结对比其各自的特点，最后采用并实现基于图像特征匹配的配准方法。 现了SIFT，SURF，ORB，BRIEF算法代码，总结分析各自的特点。

换来实现两幅图像位置关系的确定和配准。在OpenCV的环境下编程实现相关的处理，利用红外与可见光图像实现对方法效果的研究。

1.4 本文工作及章节安排

本文主要研究了基于特征的图像配准及拼接方法。章节安排如下： 第一章，绪论。主要介绍了图像特征提取与配准技术的应用前景和国内外的

3

本科毕业设计论文

研究现状，并对当前基本的配准方法进行了比较分析，简要叙述了本文的工作，给出了文章组织结构。

第二章，图像配准概述。详细介绍了图像配准的概念以及图像配准中常用到的几种方法即模型（例如仿射变换），对于如何去获取特征点我们也做了方法的介绍，当然对于这些方法的特点也是少不了的。

第三章，图像配准的相关方法。给出了图像配准中特征提取的三种方法，分别是SIFT检测算法、BRIEF检测算法、ORB检测算法。比较详细的介绍了SIFT算法和BRIEF算法，对于他们各自的特点都有所提及。

第四章，基于ORB的特征提取的配准算法。主要是对于原始的ORB算法结合广义距离进行改进，通过广义距离对特征点之间的距离进行测量，以此为基准来寻找匹配点。最后，通过仿真来实现对于该算法的检验。

第五章，总结和展望。总结本文所做的工作，分析存在的问题和不足，对以后需要改进的方面提出展望。

4

本科毕业设计论文

第二章 图像配准[2]概述

2.1 图像配准定义

图像配准是指对同一目标在不同条件下获得的两幅（或者两幅以上）图像进

行匹配的图像处理过程，是图像处理中的一个基本问题。

假设两幅待配准图像I1和I2，其中I1为参考图像，I2为待配准图像。图像配准的问题可以定义为这两幅图像像素坐标和灰度值上的双重映射。I1(x,y)和

I2(x,y)分别表示两幅图像相应位置(x,y)上的灰度值，那么两幅图像间在数学上

的变换关系如下：

I2(x,y)?g(I1f(x,y))

(2-1)

其中，函数f表示一个二维空间的坐标变换，函数g表示一个灰度变换。

图像配准就是寻找最优的空间和灰度变换，通常灰度变换在图像预处理阶段就得到了校正，所以通常解决图像配准的关键问题就是寻找最佳的空间或几何变换，这一变换常常被表示为两个参数变量的单值函数fx，fy：

I2(x,y)?I1(fx(x,y),fy(x,y))

2.2 图像的变换类型

(2-2)

在图像配准技术中，其最根本的问题就是找出适当的图像变换或映射类型用

来将两幅图像进行正确的匹配。每幅图像中都会出现很多种变形，图像配准技术必须选择适合的变换类型消除图像间的变形。主要的变换类型有刚体变换（Rigid body transformation）、仿射变换（Affine transformation）、投影变换（Projective transformation）、非线性变换（Nonlinear transformation）和透视变换（Perspective transformation）。表 2-1 表示了前四种图像变换模型所满足的条件。

5

本科毕业设计论文

表2-1 图像的变换模型（其中●代表满足条件）

刚体变换 仿射变换 投影变换 非线性变换 反转 ● ● ● ● 旋转 ● ● ● ● 平移 ● ● ● ● 缩放 ● ● ● 投影 ● ● 扭曲 ●

2.2.1 刚体变换

如果第一幅图像中任意两点之间的距离变换到第二幅图像后仍保持不变，那 么这种变换称为刚体变换。刚体变换是平移、旋转与反转（镜像）的组合。在二 维空间里，点(x,y)经刚体变换到点(x?,y?)的变换公式为：

?x'??cosθ?sinθ??x??tx??y'???sinθ?cosθ??y???t? ???????y? (2-3)

?tx??t?其中θ为旋转角度，?y?为平移量。图 2-1 是对源图像进行了刚体变换：

A.源图像

B.经刚体变换后的图像

图2-1 刚体变换

2.2.2 仿射变换

如果经过变换后第一幅图像上的直线映射到第二幅图像上仍为直线，并保持平行关系，那么这种变换称为仿射变换。仿射变换是平移、旋转、反转（镜像）和缩放的组合。仿射变换可以分解为线性（矩阵）变换和平移变换。在二维空间里，点(x,y)经仿射变换到点(x?,y?)的变换公式为：

?x'??cosθ?sinθ??x??tx??y'??σ?sinθ?cosθ??y???t? ???????y?

6

(2-4)

本科毕业设计论文

?tx??t?其中θ为旋转角度，?y?为平移量,σ为缩放尺度。一般的二维仿射变换公式下：

?x'??a11?y'???a???21?a11?a其中?21a12??x??tx???? ???a22??y??ty? (2-5)

a12?a22??为实数矩阵。图2-2是对源图像进行了仿射变换：

A.源图像

B.经仿射变换后的图像

图2-2 仿射变换

2.2.3 投影变换

如果经过变换后第一幅图像上的直线映射到第二幅图像上仍为直线，但基本不保持平行关系，那么这种变换称为投影变换。投影变换可以用高维空间上的线性（矩阵）变换来表示，在高维空间里，点(x,y)经投影变换到点(x?,y?)的变换公式为：

x'?a11x1?a12y1?a13

a31?a32y1?a33 (2-6)

y'?a21x1?a22y1?a23

a31?a32y1?a33 (2-7)

7

本科毕业设计论文

2.2.4 非线性变换

如果经过变换后第一幅图像上的直线映射到第二幅图像上不再是直线，那么这种变换称为非线性变换。在二维空间里，点(x,y)经仿射变换到点(x?,y?)的变换公式为：

(x',y')?F(x,y)

(2-8)

其中F表示为任意一种把第一幅图像映射到第二幅图像上的函数形式。多项式变换是一种典型的非线性变换，在二维空间里，多项式函数可以写成如下形式：

x'?a00?a10x?a01y?a20x2?a11xy?a02y2?? y'?b00?b10x?b01y?b20x2?b11xy?b02y2??

2.2.5 透视变换

(2-9) (2-10)

透视变换是三维空间到二维空间的映射。假设(x,y,z)为三维场景内的一点，映射到二维平面内所对应的点(Xi,Yi)表示如下：

xi??fx z?f?fy z?f (2-11)

yi? (2-12)

2.3 图像配准应用与特点

根据 Brown[10]的总结，图像配准在应用上粗略的可以分为四类：多模态配准，模板配准，观察点配准，时间序列配准。

2.3.1 多模态配准（不同传感器所获取的图像之间的配准）

问题分类：由不同传感方式获取同一场景所得图像之间的配准。 典型应用：多传感器图像间的信息融合。

方法特点：通常需要建立传感器模型和变换模型；由于灰度属性或对比度可能有较大的差异，有时需要灰度的预配准；利用物体形状和一些手工设定的基准标志可以简化问题。

2.3.2 模板配准（场景到模型的配准）

问题分类：在图像中寻找具有指定模板结构的匹配问题。

典型应用：在图像中识别和定位模板样式，例如：物体、目标、地标等。 方法特征：基于模板；预先选定特征；已知物体的属性；高等级特征匹配。 2.3.3 观察点配准（从不同观察点获取的图像之间的配准）

8

本科毕业设计论文

问题分类：对从不同观察点获得的同一场景的图像之间进行配准。 典型应用：三维深度或形状重建。

方法特征：变形多为透视变换；经常应用视觉几何和表面属性等假设条件；典型的方案是特征相关；必须考虑阻挡问题。

2.3.4 时间序列配准（不同时间获取的图像之间的配准）

问题分类：对同一场景在不同时间或不同条件下获得的图像间的配准。 典型应用：检测和监视变化或增长。

方法特点：需要容忍图像中部分内容的差异和形变对配准造成的影响；有时需要建立传感噪声和视点变换的模型。 2.4 图像配准方法

图像配准的方法有很多种，在红外与可见光图像配准方法中，各种方法都面向一定范围的应用领域，具有其各自的特点。不同的图像配准方法同样也总是对应于某种适用的图像变换模型。总的来说，图像配准方法大体可以分为三类

[11][12]

：基于灰度、基于变换域和基于特征的图像配准方法。基于灰度的图像配

准方法[13]是利用图像本身所具有的灰度统计信息来度量图像相似程度的，实现简单，但应用范围狭窄，运算量巨大；基于变换域的图像配准方法主要是傅氏变换法，这一方法受限于傅里叶变换的不变性，只适用于在傅里叶变换中有相应定义形式（如旋转、平移等）的图像；基于特征的图像配准方法是图像配准中最常见的方法，它依赖于图像的点、线段、区域等特征，适用范围广泛。 2.4.1 基于图像特征的配准方法

基于特征的图像配准方法是图像配准中最常见的方法，首先要对待配准图像进行特征提取，然后在两幅图像对应的特征集中利用特征匹配算法将存在匹配关系的特征选择出来，实现两幅图像特征之间的匹配，最后通过特征的匹配关系建立两幅图像之间的配准映射变换。通常我们将图像的特征区分为点特征，线特征和面特征。点特征通常指物体的顶点、拐点、角点、中心、重心等；线特征指物体的边缘特征，如物体的轮廓，形状等；面特征常常是由闭合的线特征组成的。 用基于特征的图像配准方法来配准图像一般分为三个步骤：

（1）特征提取：根据图像的性质提取出该图像适用于图像配准的几何或灰度特征。

（2）特征匹配：根据特征匹配的准则，寻找两幅待配准图像之间对应的特征，然后排除没有对应的特征。

（3）图像转换：根据求出的图像转换参数，将其带入符合图像形变性质的图像转换式中以最终配准两幅图像。

9

本科毕业设计论文

基于特征的图像配准方法由于提取了图像的显著特征，大大压缩了图像信息的数据量，并且同时保持了图像的位移、旋转、比例等方面的特征，所以在图像配准时计算量小，速度也比较快。当两幅图像之间的线性位置关系不明确时，应使用基于特征的图像配准方法。 2.4.1.1基于点特征的图像配准

点特征是图像配准中常用到的图像特征。特征点的来源有三个方面：边缘提取上的特征点（线交叉点、拐角点、不连续点、轮廓上的曲率最大点等），区域分割上的特征点（一般是指封闭曲线或区域的质心），直接来源于灰度的特征点。点特征反映了图像的本质特征，同时也易于表示和操作。基本步骤是先提取特征点，在特征点提取之后进行特征匹配（就是对一幅图像中的每一个特征点找到另一幅图像中相对应的特征点，或者是寻找两幅图像中特征点集的对应关系）。点配准的算法有很多种，对于大多情况，图像之间只存在简单的仿射变换，这时就可以采用相关来准确的找到配准关系。解决点匹配问题的方法有松弛法、Hausdorff距离法等，这些方法都对检测到的角点有着必要的、苛刻的要求，它要求变换关系简单、角点数目相同等，这就对基于角点的配准方法产生了局限性。 随着小波理论的提出和不断深入的研究，小波变换被广泛的应用许多实际领域当中。在图像配准领域也出现了用小波变换的性质来处理控制点的提取以及同名控制点匹配的技术等。

2.4.1.2基于边缘特征和区域特征的图像配准

随着近几十年来图像分割、边缘检测等技术的发展，基于边缘、轮廓和区域的图像配准方法逐渐成为图像配准领域研究的热点，图像分割和边缘检测是这类方法的基础。图像的边缘包含着图像的大部分信息，它也是一幅图像中最基本的和比较固定的特征，可以较好的剔除一些畸变的影响，而且边缘检测计算快捷，成为特征空间一个较好的选择。有很多方法可以用来提取图像边缘，比如梯度算子、Canny边缘提取算子、拉普拉斯--高斯算子(LOG)、Hough变换等。但是在实际图像当中，理想的边缘通常是不存在的，尽管提取边缘的方法很多，而且各具特色，但没有任何一种方法能对所有种类的图像都能提取出比较理想的边缘，大多数边缘提取的方法都是依赖于图像本身的。

如果能够将图像较好的进行区域分割，就可以采用基于区域统计特征的图像配准方法。图像分割直接将图像二值化，这样就剔除了第二类成像畸变所带来的影响，灵活的选择相似性度量可以消除第三类成像畸变带来的影响。矩不变量就是一种常用的区域统计特征，它对图像的旋转、平移、缩放具有不变性，采用欧式距离作为相似性度量，配准只是使两幅图像的矩不变量相似性达到最大。如果区域的形状类似椭圆，则区域的质心和主轴可以用来粗配准，它们的计算较为简单，而且具有几何位置意义。区域特征配准算法也有它自身的缺点，就是区域提

10

本科毕业设计论文

取不易达到一致性。

2.4.1.3基于高层模型的图像配准

前面所介绍的点特征、边缘特征、区域特征所建立的都是图像的中层描述，当能够获得足够多的信息时，就可以在中层特征提取的基础上建立图像的高层模型描述，例如图、树、文法描述等，它能够体现出图像的本质结构和特征，消除各类畸变所带来的影响，但是高层模型很难建立。

计算速度快、精度高、适应性强的配准算法一直是图像配准问题所研究的核心。基于灰度的图像配准算法研究已较为成熟；基于特征的图像配准算法是当前研究的热点，其中基于点特征、边缘特征、区域特征的配准算法研究的比较多；基于图、树、句法等高层模型的配准算法还不多见，而现有的一些算法也都存在着各种的局限性，对自然景象类型和成像畸变图像的适应性并不是很高。现在的图像配准方法大多是将多个算法融合或是集成，这样就可以克服单个算法的一些局限性，提高了配准算法的适用性。 2.5 本章小结

本章主要对图像配准进行了综合性的阐述。先对图像配准的理论性知识进行了详细的介绍，紧接着又介绍了图像配准在应用上的分类，最后重点研究了图像配准的常用方法。在基于灰度的图像配准方法中研究了交叉相关法、序贯相似性检测算法和互信息法，这类算法实现简单，但耗时长、计算量大，并且对图像畸变的适应能力较弱；在基于变换域的图像配准方法中研究了傅立叶变换法，傅立叶变换法有成熟的快速算法，并易于硬件实现，具有一定程度抵抗噪声的鲁棒性；在基于特征的图像配准方法中研究了基于特征点、基于边缘特征、基于区域特征和基于高层模型的配准方法，这类算法的计算量小、速度较快、精度较高，是当前研究的热点。

通过对各种图像配准方法的研究可以看出，对不同类型的待配准图像，所要采用的配准方法也是不同的，就是说图像配准的方法是依赖于输入图像本身信息的。但各种图像配准方法之间又存在某些相关的地方，是否能够找到一种适用于各种类型图像的配准方法，是目前图像处理领域研究的一个重要问题。对于不同的图像配准方法，其特点也各不相同，但对应用于实际工程中的算法来说，有效性、准确性、实时性和鲁棒性，都会影响到整个系统的处理能力。因此，目前对图像配准方法的研究重点主要有两个方面：一是寻找能够适用于大多数类型图像的配准算法，二是尽可能的提高图像配准算法的速度、精度及稳定性。本文将侧重对于红外与可见光图像这类多源图像之间的配准。

11

本科毕业设计论文

第三章 图像配准的特征提取方法

3.1 SIFT[6]特征提取算法

对图像变化保持稳定的特征描述符称为不变量，比如对图像的旋转保持稳定的不变量称为旋转不变量(Rotation Invariant)，对尺度缩放保持稳定的不变量则称为尺度不变量(Scale Invariant)。文献[14]提出的 SIFT 特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 SIFT 算法的实质是检测图像的局部特征－SIFT 特征点，然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量—SIFT 描述子，从而把图像匹配问题转化为SIFT描述子的匹配问题。 3.1.1 SIFT算法过程和特点 SIFT算法的特点有：

a)SIFT特征是图像的局部特征，对其旋转、尺度缩放、亮度变化保持不变性，对视觉变化、放射变化、噪声也保持一定程度的稳定性。独特性好，信息量丰富，适用于在海量特征数据中进行快速、准确的图像匹配。

b)多量性，即使少数的几个物体，也可以产生大量的SIFT特征向量。 c)高速性，经简化的SIFT匹配算法可以达到实时性的要求。 d)可扩展性，可以很方便的与其他形式的特征向量进行联合。 产生SIFT图像特征的主要计算步骤：

a）尺度空间[15]检测极值点：计算的第一阶段是搜索所有的尺度和图像位置，使用高斯差分公式可以有效的检测出潜在的特征点，这些特征点对于尺度缩放的旋转变换具有不变性；

b）关键点的定位：对于每个点，确定他们的位置和尺度；

c）确定关键点的方向：为每个关键点分配一个方向，以后所有对图像的数据操作都被转换为对特征点方向、尺度和位置的操作，从而保证变化的不变性；

d）生成特征点描述子：通过对关键点当前尺度周围区域的梯度统计，生成特征点描述子。

3.1.2 关键点（特征点）检测 3.1.2.1 高斯差分图像DOG生成

SIFT 特征是一种点特征，它是连续三幅高斯差分图像中的极点。高斯差分

12

本科毕业设计论文

图像中的极点是灰度值比它周围像素点都大或者都小的像素点，是在图像进行高斯模糊后变化最剧烈的像素点，因此具有很好的稳定性。也就是说 SIFT 特征点是从极点中选取出来的，满足一定条件的点。

SIFT 方法第一步就是找出尺度空间中的极值，那么我们首先必须来构建图像的尺度空间函数。尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多尺度特征。Koendetink在文献[16]中证明高斯卷积核是实现尺度变换的唯一变换核，而Lindeberg[17]等人则进一步证明高斯核是唯一的线性核。在一些合理的假设条件下，高斯卷积核是实现尺度变换的唯一线性核。 二维高斯函数定义如下：

G(x,y,σ)?1?(x2?y2)/2σ2e 22πσ (3-1)

σ代表了高斯正态分布的方差。

一幅二维图像I(x,y)，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：

)?,G(x,σy）,*I(x ,y L(x,σy (3-2)

式(3-2)中，?代表卷积，(x,y)是空间坐标，?称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L代表了图像的尺度空间。

为了有效的在尺度空间检测到稳定的关键点，我们进一步使用高斯函数之差对图像进行卷积操作，得到高斯差分函数DOG：

D(x,y,σ)?(G(x,y,kσ(?G(x,y,σ(x,I(x,y)?L(x,y,kσ)?L(x,y,σ)

(3-3)

σ)能通过尺度相差一个常数因子 k 的两幅相邻高斯卷 式(3-3)表明：D(x,y,积图像获得。DOG 算子计算简单，是尺度归一化的 LoG 算子的近似。1994 年 Lindeberg 研究发现高斯差分函数 DOG 与尺度标准化的高斯拉普拉斯函数

?2?2G非常近似。其中D(x,y,σ）与σ2?2G的关系可以通过下面的热传导方程到： ?G?σ?2G (3-4) ?σ?G从(3-4)式中，我们可以知道，?2G可以通过有限差分逼近计算得到，此时我

?σ们使用邻近尺度在k?和σ的差分：

?GG(x,y,kσ)?G(x,y,σ)σ?2G?? (3-5)

?σkσ?σ所以

G(x,y,kσ)?G(x,y,σ)?(k?1)σ2?2G (3-6)

这表明了当高斯差分函数通过一个常量因子进行尺度差分时，它已经包含了

13

本科毕业设计论文

尺度不变的拉普拉斯函数需要的尺度标准化参数?。方程中的因子(k-1)在所有的尺度下都是常量，并且不影响极值的检测定位。逼近误差随着 k 减小到 1 而逼近至 0，但是在实际中，这种逼近对极值检测和定位的稳定性几乎没有影响即使在较大的尺度差分情况下，如 k?2。

2002 年 Mikolajczyk 通过实验发现相对于其他的特征提取函数，比如梯度函数、Hessian、Harris 角检测算子等，通过求σ2?2G的最大和最小值能得到最稳定的图像特征点，所以用高斯差分函数 DOG 即 D(x,y,σ)上的峰值点来确定特征点也可以得到最稳定的图像特征点。

Lowe2004[18]文章中提出了一种有效的构建高斯差分函数 D(x,y,σ)（图像金字塔）的方法，主要原理为：将输入图像通过不同尺度(σ)的高斯核函数连续滤波和下采(Sub-Sampled)，形成高斯金字塔图像，然后再对相邻尺度的两个高斯图像相减得 DoG(Difference-of-Gaussians)金字塔多尺度空间表示。其详细介绍可以参见这篇文章，在此不再赘述。 3.1.2.2 DOG 图像极值

为了得到高斯差分图像中的极值点，样本像素点需要和它相邻的8个像素点进行比较，同时还要和金字塔分层图像中上下相邻图像层中的各9个像素点进行比较，共需要与26个像素进行比较。如图3-1所示。

图3-1中的叉点做为待比较的样本点，它与同层中相邻的8个像素点进行比较，并和上下两层各9个点进行比较，如果样本点是这些点中的灰度极值点（极大值或极小值），则把这个点当作候选特征点提取出来，否则按此规则继续比较其他的像素点。注意这时提取出的特征点只是确定了特征点的位置，至于特征点方向的确定后面还要详细介绍。这个步骤看起来有非常大的计算量，实际上计算量是很低的，因为经过前面预处理、采样滤波等步骤，大部分样本点都被预先过滤掉了。

2

图 3-1 DoG 尺度空间局部极值检测

14

本科毕业设计论文

3.1.3 为每个关键点指定方向参数

(1) 关键点邻域梯度的模值和方向，公式如下：

2m(x,y)?L1?L22θ(x,y)?arctan(L2/L1)L1?L(x?1,y,σ)?L(x?1,y,?)L2?L(x,y?1,?)?L(x,y?1,?) (3-7)

m(x,y)为模值，θ(x,y)为方向。其中L所用的尺度为每个关键点各自所在的尺度。

(2) 为关键点指定方向

使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。主方向是指关键点邻域内各点梯度方向的直方图中最大值所对应的方向。具体的求解方法是在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共 36个柱。直方图的峰值则代表了关键点处邻域梯度的主方向。取出在峰值80%之上的其他方向，将这个方向认为是关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性，从而克服噪声影响。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、 方向。

3.1.4 构造SIFT特征描述子

特征描述子的建立是基于这样的事实：人眼对的梯度变化的方向敏感，而对梯度变化的位置不敏感。描述子用特征在尺度图像上的邻域内的梯度方向直方图来反映。

图3-2 由关键点邻域梯度信息生成SIFT特征描述子

15

本科毕业设计论文

实际应用时首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来如图3-2左边所示以关键点为中心取16×16的邻域，再将此邻域均匀地分为4×4 个子区域(每个子区域大小为4像素×4像素)，对4×4每个子区域按高斯加权的方式进行梯度方向直方图的统计（直方图均匀分为8个方向）。采用高斯权系数一方面可以减少光照突然变化对统计结果的影响，另一方面还可以突出那些距离关键点较近的点的作用，减少配准误差的影响。

然后，对4×4个子区域的8方向梯度直方图根据位置依次排序，绘制每个梯度方向的累加值，这样就构成了一个4×4×8=128维的向量SIFT特征向量，如图 3-2右边所示该向量就是SIFT描述子[15]。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取可见光图像中的某个关键点，并找出其与图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

3.2 BRIEF[8]特征提取算法

3.2.1 BRIEF算法流程

(1) 给定一副图

(2) 对图像做平滑处理。平滑处理，也就是高斯滤波，也就是blur operation，降低图像噪声。平滑处理在BRIEF中很重要。

(3) 在图像上，选择一个局部块区patch，用p表示，它的大小是SxS像素，在p上面提取BREIF特征。

(4)定义定义? 测试，一个?测试就是如下的公式：

?1ifp(x)?p(y) ?（p;x,y):??0otherwise? (3-8)

x,y是p内的两个像素位置，当然了，实际上x是形如[u, v]的二维坐标，p(x)和

p(y)是像素位置x和y的亮度。?测试的含义简单明了。

一个BRIEF特征，就是若干个?测试组成的字节（bit）串。构造特定的[x,y]对，做?测试，再按照公式(3-9)，就得到了BRIEF特征。

(5) fnd(p):??2i?1?(p;xi,yi)

1?i?nd (3-9)

从这个公式，我们可以看出，构造一个512个bit的BRIEF，就需要512对[x,y]，

16

本科毕业设计论文

且需要注意，它们是有序的，每次计算位置都相同，否则影响最终结果。也就说说，一旦选定了512对[x,y]，那么，无论是提取特征，还是匹配特征，都要按照这512对进行计算。512/8=64就是存储BRIEF所需的字节数，论文将512个bit的BRIEF又称作BRIEF-64。

BRIEF特征就是这么简单，如此一来，构造BRIEF特征只有两个关键步骤：1）如何对图像对平滑处理；2）如果选择[x,y]对。 3.2.2 平滑核

通过重建，公式(3-8)只需要单个像素的信息，因此对于噪声十分敏感。通过对局部图像区块进行预平滑处理，这种噪声敏感可以得到降低，因此增强了这种描述子的稳定性和可重复性。同样的原因，当一幅图像在寻找边缘时也需要进行平滑以便于得到一个比较与众不同的特点。这个比喻同样在一下情况适用，那就是我们在强度差测试时可以看做是评价一个补丁中衍生的迹象。

图3-3说明了在0到3改变平滑核时高斯平滑识别率的变化情况。越是困难的匹配，高斯核对于得到一个良好的结果就变得更加的重要。此外，该识别率保持相对恒定在1到3的范围内，并且在实践中，我们采用2。在相应的离散的内核窗口中，我们发现9*9的像素大小是必须的，也是有效的。

图3-3 每10个柱形图都代表着不同的高斯核时的分辨率。特别是对于难匹配的图像（右

边的分组），平滑是必需的。

3.2.3 二进制测试的空间布局

通常情况下，一个Nd字节长的向量对于在一个S*S大小的局部图像区域块为公式1选择Nd测试(Xi,Yi)提供了很多的选项。我们在图3-4中通过对五个几

17

本科毕业设计论文

何图像进行试验。假定原始图像块的坐标系在图像块的中心，那么，他们可以被如下面一样描述。 ssⅠ）(X,Y)~i.i.d.Uniform(?,)：(X,Y)的位置均匀分布在图像块和测试块中，22同时，可以接近图像边缘。 1Ⅱ）(X,Y)~i.i.d.Gaussian(0,S2)：该测试是从各向同性高斯分布进行采样。25S51通过实验，我们发现在考虑到分辨率时????2?S2可以得到最好的结2225果。

图3-4 选择测试位置的不同方法。除了最后一幅图，其余的全部是随即采样的。在每个图

像中都进行了128次测试。

1212S),Y~i.i.d.Gaussian(xi,S)：采样包括两步。第25100一个采样位置Xi是从围绕原点为中心的高斯采样，而第二个位置是从另外一个

Ⅲ）X~i.i.d.Gaussian(0,以Xi为中心的高斯采样中得到的。这就迫使测试更加的本地化。而在图像块外

S512的测试责备逼近在图像块边缘。我们再一次通过实验发现????2?S42100在第二个高斯采样中表现得最好。

Ⅳ)(Xi,Yi)是随机的从一个极粗格栅引入空间量子化的离散位置中采样得到的。

18

本科毕业设计论文

Ⅴ)?i:xi?(0,0)T和Yi可以接受所有包含Nd点的粗极坐标网格中的可能值。 对于这当中的每个集合图形，我们都去计算了其中的识别率，同时在图3-5中表示出来。十分明显的，对称和常规的G5策略在所有的随即设计G1到G4相比中失去了优势，虽然G2和其他三个方法相比有点小小的优势。因为这个原因，我们通过更多的实验发现这是我们将使用的一个策略。

图3-5 在上面所介绍的五种不同方法的识别率

3.2.4 距离分布

在这里，我们来仔细看看这种描述符之间的汉明距离分布。在BRIEF发布者的文章中，作者提取了华尔街序列中得的4000个匹配点。对于每组图片，图3-6都显示了在对应点（蓝色）之间的汉明距离和非对应点（红色）之间汉明距离的规定化直方图或者分布。其中，最大的可能的汉明距离是32*8=256字节，在意料之外的是，对于非对应点之间的距离分布是近似高斯分布或者围绕在128周围。正如可以想象到的是，蓝色曲线围绕在较小的值，这个较小值随着图像对的基线增加，因此，匹配是一件十分困难的任务。以为建立匹配分类可以被理解为点对匹配与否，一个依靠汉明距离的匹配器在他们的分布是最分布时是最好的。

19

本科毕业设计论文

图3-6 在华尔街的五幅图像中，对于对应点（蓝色线）和非对应点（红色线）的海明距离分布。他们在第一幅图像中分布最集中，在这里，他得基线很小，也得到了较高的识别率。

3.3 ORB[9]特征提取

3.3.1 ORB算法

首先，我们不得不说的是，ORB算法其实就是在FAST算法加上BRIEF算法的基础上得到的，因此，我们在这里只需要了解到ORB算法的实现步骤即可。 ORB算法分为两大步： 第一步：FAST算法

1.给定一幅图，先用oFAST算法，检测关键点的位置。所谓oFAST，就是orientation的FAST，增加了计算关键点的角点方向。 2.对这个图，用FAST算法，找出关键点的位置。

3.对于关键点，用Harris角点检测，选取前N个最好的点。

4.如果处理的图像是多尺度图像，我们需要对原来的图像作金字塔，然后对每个图都进行步骤2和3的处理。

20

本文来源：https://www.bwwdw.com/article/cs4w.html