图像拼接方法及其应用研究

内蒙古科技大学

本科生毕业设计说明书（毕业论文）

题 目：图像拼接方法及其应用研究 学生姓名：杨洪升 学 号：1167118201 专 业：电子信息工程 班 级：电信二班 指导教师：史明泉

内蒙古科技大学毕业设计说明书（毕业论文）

图像拼接方法及其应用研究

摘 要

图像拼接技术顾名思义就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，在遥感技术领域、虚拟现实领域、医学图像处理领域等都有广泛的应用。

本文首先分析了目前主流科研图像配准和图像融合的算法，重点研究了SIFT算法和Harris算子，RANSAC算法的图像拼接，并对其中的一些问题做出了改进和个人的分析。

在本文中对于图像的隐试信息，采取了多尺度表示的图像方法解决，在对于图像的各种操作时都是考虑这些基本问题，其中尺度不变的特征用来图像匹配和物体的识别，本文中对sift算法在图像拼接中的问题做了详细的概述。

基于特征点的图像拼接中，在提取特征点和检测中做了一些详细的研究，在图像的特点上，本文中提出了一种基于Harris算法结合鲁棒性较高RANSAC算法提纯匹配点，其主要的思想在于去除经典Harris算法中出现的特征点聚集，这样大大减少了RANSAC算法进行图像配准的运算时间。

关键词：图像拼接；图像配准；特征提取；图像融合

I

内蒙古科技大学毕业设计说明书（毕业论文）

Research on the application of image mosaic method

Abstract

Image stitching technology is as the name suggests the number of images into overlapping part of a large seamless high resolution image technology, In the field of remote sensing technology, the field of virtual reality, the field of medical image processing and is widely used in.

This paper analysis of the current mainstream algorithms and image fusion, focuses on the SIFT algorithm and Harris algorithm, RANSAC algorithm for image stitching.

In this paper for the image of implicit information, solve the image method adopted a multiple solutions representation for various operations, in the image are considered these basic questions, including the scale invariant features for image matching and object recognition, in this paper, the image matching problem of SIFT algorithm to do a detailed overview.

Based on the feature points of the image stitching. This to do some detailed research on the feature extraction and detection, image features, this paper proposes a Harris algorithm based on RANSAC algorithm with high robustness, which greatly reduced the RANSAC algorithm for image registration computing time.

Keywords: image mosaic, image registration, feature extraction, image fusion.

II

内蒙古科技大学毕业设计说明书（毕业论文）

目 录

摘要……...……………………………………………………………………………………...I ABSTRACT……………………………………………………………………………………II 第一章 绪论 ............................................................................................................................ 1

1.1图像拼接的研究背景 .................................................................................................. 1 1.2图像拼接的研究意义 .................................................................................................. 2 1.3图像拼接应用领域和研究现状................................................................................... 2

1.3.1应用领域 ........................................................................................................... 3 1.3.2 研究现状 .......................................................................................................... 4 1.4图像拼接的特点 .......................................................................................................... 6 1.5 本文章节的安排 ......................................................................................................... 6 第二章 图像拼接关键技术的研究介绍................................................................................... 8

2.1 图橡拼接技术的基本流程介绍.................................................................................. 8 2.2 图像拼接的信息采集和处理 ..................................................................................... 9 2.3 图像拼接的配准 ....................................................................................................... 10

2.3.1 图像配准的原理 ............................................................................................ 10 2.3.2图像配准的方法 ............................................................................................. 11 2.4 图像的融合与合成 ................................................................................................... 15 第三章 基于SIFT图像拼接算法 .......................................................................................... 18

3.1 SIFT算法的基本原理 .............................................................................................. 18

3.1.1 多尺度空间理论 ............................................................................................ 18 3.1.2 检测极值点 .................................................................................................... 19 3.1.3 稳定关键点 .................................................................................................... 21 3.1.4 局部特性描述 ................................................................................................. 22 3.1.5 拼接融合 ........................................................................................................ 22 3.2 改进算法分析实例 ................................................................................................... 23 第四章 基于Harris算法的图像拼接研究........................................................................... 26

4.1 角点提取算子 ........................................................................................................... 26 4.2 Harris角点检测原理 .............................................................................................. 26

4.2.1 柱面投影生成 ................................................................................................ 27

III

内蒙古科技大学毕业设计说明书（毕业论文）

4.2.2 Harris角点提取 ......................................................................................... 27 4.3 RANSAC算法的原理 .................................................................................................. 29 4.4 拼接算法的实例分析 ............................................................................................... 30 4.5本文两种拼接算法的对比 ........................................................................................ 33 第五章 总结与展望 ................................................................................................................ 34

5.1 本文总结 ................................................................................................................... 34 5.2 工作展望 ................................................................................................................... 34 致谢 .......................................................................................................................................... 36 参考文献 .................................................................................................................................. 36 附录 .......................................................................................................................................... 39

I V

内蒙古科技大学毕业设计说明书（毕业论文）

第一章 绪论

图像拼接应用广泛的数字图像处理的技术。根据不同特征点的之间的相互匹配，就可以将很多张小视角的数字图像拼接成为一张大视角的图像，拼接之后与原始图像很接近，失真较小。开始源于人们的摄影技术，如果相机的视野远小于人们的视野的时候，我们首先想到的是将多个不同的地点的图像拼接成一幅全景图。由于科学技术的脚步不断前进，拼接技术在数字图像处理、卫星图像处理、医学图像处理等领域都有广泛的使用。在上个世纪80年代图像拼接技术开始应用于航天技术和宇航照片的处理之上。

1.1 图像拼接的研究背景

图像拼接在科学技术的各个行业中都有着至关重要的角色，从1965年往后，电子技术和计算机技术的快速发展，图像处理技术也进入了一个高速发展的时期，现在广泛应用于医学，军事，航天技术等各个领域。在日常生活中，摄影技术的发展使得我们不满足于图像大小，在争取全景图的同时，往往限制于图像分辨率的问题，种种的情况使得图像的大小和图像分辨率之间存在冲突。当今医学界，图像处理更是无处不在，在CT等医学技术到细胞图形学等，医学对于图像的品质和一些处理手段要求是雨来越高，这其中也在医学中促进的图像处理的发展。现代的医学成像系统中的应用也为医生的诊断提供了医疗诊断依据。在一些患者的诊断中，由于图像的距离和角度上发生变化，所以就需要对图像进行配准，用图像拼接技术使得他们的信息综合在一起，这就为医学上的诊断和生理结构和功能提供了更多的信息。在一些外科医学领域中视网膜的激光手术一直是一个医学难题，一些科学家就提出来利用图像拼接的技术来解决这个难题，他们利用相机的镜头运动和平移没有变化，并且将视网膜看经验主义的研究方法做一个二维的曲面，通过变化矩阵间的变换将视网膜的图像拼接成一个完整的全景图，这个在医学方面做出了巨大的贡献。

在环境质量检测中也广泛的用到图像拼接技术，通过卫星或者是航空拍到的某一个场景的图片来实现对这一场景的整体检测，比如河流、耕地或者是虫害等一些情况进行整体的检测和实时的监控。在当今的军事作战模式下地理位置和地形特征在战局中起到至关重要的地位，当然这其中涉及到一种红外线的图像拼接技术，根据热成像的基本原理，物体自然发射出来的红外射线他是可以转变成可以看得见的热图像，也不会受硝烟、

1

内蒙古科技大学毕业设计说明书（毕业论文）

大雾、雪的影像，也有良好的识别伪装能力。

另外信息多媒体技术的高速发展，多媒体技术也慢慢的网络化了，比如说视频的点播，网上的购物和一些多媒体的访问，多媒体资源慢慢的引起了人们的极大关注。但这些数据中包含了很多的杂乱信息，当然其中也包括一些静止的场景。为了去除这些数据的杂乱信息，便于多媒体的传输。也涉及到了图像拼接技术，上述技术的应用能够让图像处理更快的步入到商业化和实用化，也为我们的生活带了诸多方便。

1.2 图像拼接的研究意义

近些年来随着高新科技的告诉发展和一些相机和摄像产品的普及，更多的涉及到图像处理这项技术了，在早期，用相机来拓宽视野经常需要调整相机的焦距来获得相对完整的图像，但伴随着问题是产生的图像的分辨率会比较低，当然是用一些高档的相机也可以避免这个问题，但是往往这些设备比较昂贵，也不容易操作。在普通的家庭中不适合是用。当我们用到图像拼接技术的时候，这个问题就可以轻松的解决，消除我们的一些盲区，同时也能得到一幅大型的无缝高分辨率的问题。这些年来，图像拼接技术的告诉发展也改变我们对于传统的测量的认识，所应用的技术和成熟度也较以往有了直观的改变。图像处理的方法也是实现比较准确、快速将多个场景拼接在一起，让我们感受到真是的感觉。图像拼接是图像处理当中一个重要的研究分支，也是计算机图像学等领域的重点研究课题，其中还涉及到科学技术的多个方面，包括地质的勘探、视频的传输和检索以及数学的建模等都有广泛的应用。就目前来说，图像拼接的一个成功的应用案例就是虚拟现实技术，它是用计算机生成一幅三维的图像，可以使用户通过专门的设备技术在一个虚拟的环境中看到实物的整体概况，也可以进行相互的考察和控制，倒是随着这些技术的告诉发展，也滋生出更多的不足，这也在我们发现不足，改变不足中继续的创新与发展。总体来说吧，图像的拼接技术给我们带来的不止是科学上的进步，也是我们普通人在视觉上、听觉上以及触觉上带了不一样的感受，让我们在学你中体会到真是的一种感觉。

1.3 图像拼接应用领域和研究现状

关于图像的拼接国内外研究已经有很久的时间了，应用领域也是十分的广泛，可以

说是上至天文，下至地理都有图像处理的研究领域和应用领域。本文就当前的研究现状

2

内蒙古科技大学毕业设计说明书（毕业论文）

和应用领域做一个简短的介绍。 1.3.1 应用领域

就像1.2节中提到的那样，图像拼接的应用领域十分的广泛，几乎是科学的各个行业都要涉及到图像的处理，而图像的拼接的技术在计算机图形学以及虚拟技术等方面应用更为广泛，在研究中也占有比较大的比重。以下做一个详细的介绍。 1) 虚拟现实技术

虚拟现实技术通俗的说就是利用计算机技术自动生成具有三维的视觉、听觉和触觉环境，用户可以使用专门的设备和虚拟环境进行交互行为。在这个技术运用于全景图生成的时候，图像处理的技术也就发挥着重要作用，其中图像的拼接更是不可少的一个重要的部分。下图是描述生成全景虚拟图的过程

图1-1 虚拟全景图生成的过程

2) 医学图像的处理

在医学的领域，关于图像拼接的应用更是无处不在，随着高新科学技术的发展，一些高端的医疗设备出现在现实生活中，这也引发了医学图像的大发展。在CT和X光照，还有细胞的图像，都对这些图像的处理有很高的技术要求。这些技术也都是在处理医学问题上所解决的过程中产生的。比如一些外科手术，早在上世纪80年代Alican Charles和V.Stewart等就有关于利用图像的拼接技术对人的视网膜进行整体的构建。这也为医学界做出了巨大的贡献。另外看一下病变的几张图像和配准后的图像。

3

内蒙古科技大学毕业设计说明书（毕业论文）

图1-2人体大脑出病变的图像拼接

图(a)和图(b)是MRI图像，但是方位不同，图(c)是两张图像特征点的匹配，图(d)是两幅图像配准拼接以后的图像。

虽然来说图像拼接几乎应用于所有的技术领域，但是其技术的发展还不是很成熟，在一些医疗和诊断上还是有不小的进步。 3) 军事领域应用

图像拼接技术在军事上也有广泛的应用，在军事上获取某一个地域的动态信息是一件很重要的事情，这也关乎到战争的胜利，比如全景图可以原来描述这个地区的动态信息，也就是在同一个区域内对目标的运动和其运动的轨迹得到一个可靠的侦测。另外还有一些环境地域的复杂性，一些光电系统和来打侦测系统，目标存在一定的不确定性和多样性，要是只靠单一的传感器，也能是给出一部分的特征信息，所以这样就不能在军事上得到应用，随之而来的就是多传感器和多种技术同时处理也得到青睐，在获得多个对同一个事物的多种信息在军事上是很重要的一件事情。

这种技术在很多国家都有研究，例如一些欧洲国家和美国等发达国家都在研究一种适用于复杂环境下快速得到全天图像的多元信息，以备制定下一步的作战计划。 1.3.2 研究现状

数字图像处理这门技术已经在国内外研究很多年了，在图像拼接的领域更是研究的热门，其实在研究的目标中可以归纳为追求更高的分辨率和更为广阔的视野。这些年来借助计算机，在图像拼接研究方面也有了很大的突破。在图像拼接的原理上，许多研究成果已在国内外广泛应用。但是就目前的技术而言还是没有得到人们想象的那样快速的和高效的得到一个图形的拼接图像。在各国科研工作者的研究中，对于图像拼接的关键技术的研究是倍受青睐，图像的特征点提取和配准一直是拼接技术的关键所在，在二十世纪70年代的时候Milgram就曾经发表过这样的文章，他是通过照相机的拼接技术来叙述了资源卫星得到的比较高的分辨率的图像拼接，有人就提出了相位相关的原理，对图

4

内蒙古科技大学毕业设计说明书（毕业论文）

像进行傅里叶的变换，再进行配准和平移。然而在八十年代的时候，Harris提出的角点检测方法对相位相关的方法做了改进和创新，在对提取到的角点具有平移和选择不变形，他是使用自相关来确定信号二维变化的方位，采用一阶差分运算，提高的拼接的速度和效率。

早在本世纪出就有人在前人的基础上提出了自适应的模型。他是根据不同的技术模型来适应不同的相机，最后通过图像的分割和最后的投影和进行拼接。这里要着重了解一个理论，这个理论的提出人也是图像拼接的奠基人，也就早在上世纪九十年代的时候，由 Richard Szeliski根据全景图像的模型提出L-M算法，由于这个算法的高效性和可以处理多种变化图像拼接，也因为这也就成为图像拼接领域经典的算法，直到现在还在有人研究这个理论。

在图像的配准上面，特征法的配准也算是比较主流的方法，在具有突出性的图像中，稳定，均匀等特点和对特征点计算小，速度快的特点，也是现在特征点提取应用广泛的方法，最早在研究这个特征的图像拼接方法是上世纪90年代的BlaszkaT，Rachid Derche等人，他们是利用二维的高斯模糊过滤来获得一些看似低级的特征图像的模型，比如定点模型，这个理论的提出也使得很多科学工作者研究基于图像特征的图像拼接研究。后来有人就采用了多尺度小波变换的分析理论，对图像进行小波变换，然后计算出小波变换后的数值，然后在对应图片中的特征点。

在国内，关于图像研究起步还是比较晚的，但是研究的速度很快，可以说是站在巨人的肩膀上看远方。在九十年代中后期，关于图像拼接的技术在开始成为国内科学工作者研究的热门，20世纪出我们的研究真正的达到了世界水平，也是达到了顶峰，这其中也包括了王小睿等科学者提出来的半自动的图像配准方法，还有王祖勋等人就不同传感器和不同的分辨率提出的采用多级影像技术对图像进行拼接和配准。还有几年的国家重点实验室和中国科学院采用的模板匹配的方法来确定两张图像边缘的重叠区域，然后在得到拼接后的图像，这种方法后来运用到了医学上，就微血管的循环等医学影像研究做出了突出的贡献。这些年来，图像拼接的研究是越发的红火，各种算法的层层出现也给了科学工作者不少的启发，也在这方面取得了不小的成效。SIFT算法的引进、RANSACN算法的改进，进行匹配，都很好的减少了计算，也缩小的拼接时候带来的误差，提高了拼接的稳定性。尽管出现了各种的算法，其实在研究方向上还是区域的配准和特征的配准。在于这么多算法的应用，还是在于灵活。

5

内蒙古科技大学毕业设计说明书（毕业论文）

1.4 图像拼接的特点

图像的拼接涉及到多个图片的处理，需要对多种图片进行不同的处理和分析，这其中也带了各种不同的步骤和分析，所以这个问题对于图片的编码和压缩等技术都要有自己的处理方法，这随之而来的就是多样性和复杂性，还要有针对性。下面是拼接的三个技术特点。 1、复杂性

图片的采集还有拼接，中间会有很多的技术环节，从图片特征的提取，特征点的匹配，再到最后的融合拼接，这些都是关键性的技术，这些技术也就决定图像拼接过程中的复杂程度，况且还要涉及到各种的算法和一些处理的手段等，都会是图像拼接中一些复杂的程序。 2、针对性

在图片拼接等各个技术的处理中，常常会采用的不同的算法进行对图片的处理，各个采集到的图片信息也不是不尽的相同，也这就要涉及到各个图片的特点的不同，来采取不同的算法和处理手段。比如一些平面图像，彩色黑白色图像等等都会有不同的处理手段，更为复杂的可能涉及到二维的图像三维的图像三维拼接，像是柱面图像或者是球面图像等，都会有一些指定的算法进行处理。所以各个的条件不同处理的手段也会有不同，存在着一定的针对性。 3、多样性

关于图片的多样性，其实就是因为各种的差异性所带来的不同可避免的变化，这其中由于事物的繁多和环境的因素，我们在从相机德奥这个失误的会后会因为一些角度或是光照条件以及事物的运动平移等因素，在同一时间和同意地点所涉及的图片都会是不一样的，相同的是在采集的时候，技术的特点和对事物的采集时环境的特点都会是对处理对象的复杂程度和不可确定因素造成影响。因此在决定处理图像的时候，定会是考虑到图像的拼接技术的特点以及多样性都处理结果的影响。这也需要我们有不同的算法和处理的方法。

1.5 本文章节的安排

本文针对不同算法讨论数字拼接技术的几种算法，针对图像配准和拼接的意义、应用做了简介的概述和研究，对日常应用到的方法和处理的手段做了一个详细的介绍，在

6

内蒙古科技大学毕业设计说明书（毕业论文）

这个基础上，本文就SIFT和Harris和RANSAC算法的拼接技术提出了自己的观点和一些处理的手段。 论文的组织和结构 全文分为五章。

第一章：绪论，介绍了图像拼接的方法和特点，就国内外的研究方向以及研究的时代背景做了一个介绍。

第二章：图像拼接关键技术的研究介绍，主要工作是图像拼接的技术特点和具体的流程的介绍，就是拼接过程所涉及到的原理以及处理的流程和融合的方法以及原理。 第三章：基于SIFT图像拼接算法，研究的是SIFT算法的图像拼接，就此算法的图像配准做了一些改进，加快了处理的速度。

第四章：基于Harris和RANSAN算法的图像拼接，通过研究这两种算法的原理和理论，在这种基础上，通过两种算法的结合，是图像拼接的复杂度降低，同时运算量减少，效果更好。最后通过对比机上涉及到的算法进行比较说明各个算法的优劣。

第五章：总结和展望，本文所作的一些研究做一个总结和当前所存在的问题进行说明，对数字图像拼接技术的发展和研究提出了期盼。

7

内蒙古科技大学毕业设计说明书（毕业论文）

第二章 图像拼接关键技术的研究介绍

图像拼接整个流程可以包括这么几个步骤：图像的预处理、特征点的提取、图像的配准、模型的建立、图像的融合。其中核心的步骤也是热门的研究是特征点提取和图像的配准。最终的目的就是找出具有重叠或是相似的图像。

2.1 图像拼接技术的基本流程介绍

各种拼接的方法大体流程是相差无几的，图像的拼接流程包括：预处理、特征点提取、配准、融合。拼接的过程可以如图1-1所示：

图2-1图像拼接流程

1. 图像的预处理

图形的预处理就是对原始的图像进行处理，提高图片的质量，使其能达到图像配准的要求，不至于造成一些错误的匹配，致使原始的拼接图像几何变形，图像预处理的技术包括：原始图像的直立方图匹配，几何的矫正，平滑的过滤，噪声的处理等一些准备工作。

2. 图像的配准

图像的配准是图像拼接的核心技术，其原理就是找到原图与参考图像的特征点的位置，然后采用一定的算法在参考图像与配准的图像建立模型转换，确定两个图像的重叠 的部分。

3. 建立变换模型和统一坐标变换

根据参考图像和原始图像的对应关系，结合自己实验，得到一些经验找出相对应的位置建立数学模型，把原始的图像转换到参考图像的坐标系中。 4. 图像的融合

8

内蒙古科技大学毕业设计说明书（毕业论文）

当第三步确定了数学转换的参数后，我们根据两幅图像之间的转换关系，把重叠区域的信息拼接成一个完整的图像。这其中可能会存在一定的匹配误差或是因光度的问题的影响，我们还需要做的是根据光度的差异对拼接图像进行混和调整，减少重叠区域的失真。

2.2 图像拼接的信息采集和处理

图像拼接的前期就是对原始图像进行数字处理，其主要的工作是对原始图像的信息采集和图像的预处理，使图片的质量能达到最后拼接的要求，以免最后拼接出现几何畸形或是误匹配。对采集来的图像进行处理也是比较繁琐的，主要的流程有：图像的矫正、光度的处理、噪声的抑制等。

图像的矫正：图像的采集也间接的影响了最后拼接的质量，采集到的照片可能会因为失真或是变形，这样我们就要对采集到的照片进行相应的处理矫正，因此对前期进行基本的图片处理和矫正是十分的重要。图像的矫正和处理的基本思路是我们可以使用数学方法进行处理，首先根据原始图像的具体情况，我们可以建立相应的数学模型，在原始图像中找到需要处理的位置或是提取到的信息，然后根据这个信息可以相逆的去恢复原始的图像面貌，在具体的做法中，我们可以在恢复的过程中使用过滤器，从原始的图像中得到真实的估计值，根据误差的准则可以降低误差，在最大的程度上接近于原始图像。

图像的噪声处理：噪声的处理相对来说比较繁琐，而且噪声是不可能预测的一种随机信号，而这种信号的分析也往往是通过概率分析法来进行相应的分析处理，对于噪声的处理也是很重要的，它涉及到图像拼接的大部分过程。在图像的采集的过程中就应该重视这个问题，若是在采集图片时伴随的噪声很大的时候，这个结果必然会影响到最后输出的结果。当然我们可以根据噪声的来源，来确定处理的方法。噪声可以是外部噪声，也可以是内部噪声。但因为噪声是随机出现的，不可预测的，而且是随机分布的，关于噪声的处理问题我们可以采用滤波的办法进行处理，比如说中值滤波或是均值滤波都是就可以对噪声进行相应的处理的。

关于前期图像处理存在的问题还有很多，比如说图片的边缘的锐化，灰度图像的转变，估算图像的碎片等都是在处理图片时尽可能的还原原始的图像，这样做也可以为选择后来图像选择的处理的方法和采用的算法，这样可以确定配准的时候采用的合适的算

9

内蒙古科技大学毕业设计说明书（毕业论文）

法，以便提高后来的处理的速度和精度。

2.3 图像拼接的配准

关于图像配准的定义，通俗的来说就是对采取到了两张或者是多张图片进行在空间

上的匹配和重叠，这种叫做图像的配准。在正式的研究中，需要建立数学模型来帮助分析问题。假设我们采集到了两张不同角度的图片，设其为I1和I2，另外我们还要设两个表示灰度值的函数，设I1(x,y)和I2(x,y)。其中图片的配准关系我们这样来表示：

I2(x,y)?g(I1(h(x,y)))，在这个方程式当中，g是一个灰度值的变换或者也可以理解为

是幅度值变换得到的。其中的h我们定义为是几何的二维坐标的表达式，最后我们可以 计算出两个图像的位置坐标之间的关系，这样我们就可以得到他们带匹配的坐标的位置，求出了矩阵。对于图像配准的大概流程我们可以归结到如下流程图中：

图2-2 图像配准的流程

2.3.1 图像配准的原理

图像的配准在整个图像拼接中都是至关重要的，整体来说是图形配准就不但是就单个图像而言的，他是多幅图像进行相似性的比较和特征的提取。我们就拿两幅图像来说吧，我们以原始图像作为基准，配合参考图像我们称为参考图像。主要的原理做法是通过在原始图像上找到某一个点，作为目标点。然后用这个点在参考图上进行平移，移动一步就会对目标点和参考点进行比较，一直到找到了合适的匹配点。

当然这种寻找的方法可能是会造成一点的误差，其中涉及到的原因我们在前文中已经提到了。包括图片采集的误差，噪声的误差，平移的误差等，所以在这种情况下，我们就研究出来众多的算法，通过这些算法，我们可以达到匹配的精度和准确性。关于这

10

内蒙古科技大学毕业设计说明书（毕业论文）

些匹配的算法在前文中也有提到，在这里我们简单的介绍一下。大体上可以归纳为四种： 1. 匹配特征

匹配的特征是根据参考图像的空间特征组成的，匹配有很多样，其中点、频率、轮廓、边界等都是常用的结构。但是在匹配的特征点的选取上我们必须做到：匹配的特征点必须是原始图像和参考图像中都具有的特征；在两张图片中必须的包含许多特征点。选择这种和里的原始图像和参考图像能提高我们以后的拼接图像的质量，也有利于减少一些不确定的因素，包括噪声和误匹配等。 2. 相似成度

关于相似度的描述，我们可以这么说：就是原始图像和参考图像之间的匹配特征点的相似性，相似的程度我们可以用一个数学模型来表述，比如相关函数，距离函数。相似程度和特征匹配的具体要求都是差不多的，相似程度和匹配特征中，什么图片进行参与匹配和什么图片不可以参与，这些都可以用相似的程度来衡量。 3. 参考空间

在图片配准的原理上我们可以看出来，其实这个问题也是经典中的数学问题，就是找到最优的估值问题，这样来说参考的空间特征就变成了数据变换的空间，其中我们必须涉及到的是数学问题，也就是代数矩阵的理论，我们可以用矩阵的形式来描述一幅图片的数学变换，比如是平移，缩放，差分多项式等一些变换，其中不同的位置也会具有不相同数学模型。 4. 合理算法

合理的算法是决定着配准的准确性，关于这些算法也是当今科学工作者研究的热门话题，合理的算法对于减少在拼接过程中的计算量有很重要的意义。常用的算法有：SIFT算法、SUFT算法、Harris算法、Canny算法、RANSAC算法等。

在上述的几个方面的叙述，他们中都有一定的联系，在选取配准的算法的时候，我们要根据实际的情况和以机构确定的图像因素，还有图像的成像方式等因素考虑合理的算法选择。在能保证图像配准的性能上，选择匹配的空间和参考空间。最后通过相似的程度来做到最优的拼接。 2.3.2 图像配准的方法

配准的方法在图像的拼接过程中有很大的作用，对此很多工作者都在研究这个配准的方法，自然而然的就出现了很多的配准方法，这些方法适应的情景也不同，在各个领域的优劣程度也不同，各有各的用途和特点。所以我们在进行图像配准的时候合理的选

11

内蒙古科技大学毕业设计说明书（毕业论文）

择这些配准方法也是一件很重要的事情，从本文中的研究上看，本文也就涉及到或是常用的集中方法来简短的概述一下。 1. 基于轮廓的匹配方法

关于轮廓匹配的方法的关键技术就是要在匹配的区域进行较高水平的特征提取 具体的操作意义在于图像边缘的提取，这也是轮廓匹配的关键技术和前提要求，在本文的这一节中主要讲述的是基于小波变换的模极大值的边缘提取。在选择的提取边缘的区域的时候，适当的选择算法是很重要的，这个算法的要求是只能提取单个边缘的特征，而且要的是定位很正确。前面说过在匹配中最重要的是一些因素的影响和干扰，所以在这里选择的时候算法要抗干扰，对噪声不是很敏感。比如众多的算法中的拉普拉斯算法等，在这里要是既能满足上述要求，也要对边缘进行适当的处理，canny算子是一个不错的选择。

小波变换对于图像的边缘选择和处理上是一个不错的实用工具，这里我们选用的是平滑的一阶导数来实现小波的变换需要的函数类型。设一个低通的平滑曲线函数 ，类型如下：

?1(x,y)??g(x,y)?g(x,y)?(x,y)?， (2-1) 2?x?y在上式中的?2(x,y)和?1(x,y)是上述中小波变换需要的函数，这里我们尺度上有2j(j=0,1,2……),我们可以得到如下公式

?（x,y）?12j11xy1xy2?(,) ?2（jx,y）??2(,) （2-2） 4j2j2j4j2j2j任意的变换我们可以在数字函数中f(x,y)函数中对想x,y方向上进行小波变换，既有如下的函数可以表达，

w21f(x,y)?f*?2j(x,y)

w22f(x,y)?f*?1j(x,y) （2-3）

上述的两个公式是在对图像坐标中进行x,y方向上求得偏导，在组成的点2j中梯度模为

M2j(x,y)?w2j(x,y)?w1j(x,y) （2-4）

22局部的最大的模值就是我们找到的边缘位置。

在关于轮廓匹配的方法中我们从闭元到开元的过程，在开始的时候我们从闭元的时候取得精度的匹配，然后在求取闭元的特征元素。这里可以建立相应的数学函数解决这个问题，假设用函数f(x,y)表示相应轮廓上的位置，周长n,最长边长lh，最短边长lm,不

12

内蒙古科技大学毕业设计说明书（毕业论文）

变距离h1和h2,中心的位置我们可以叫做XC和YC,然后在假设的上述问题中可以得到：

N??(轮廓上的所有的点)

XC?11XI, YC???YI (2-5) nnLH?max([xi?xc]2?[yi?yc]2) (2-6)

同理lm可以类比的得到。当我们得到的两幅图片的基本轮廓相同的时候，进行下一步的做，若是不相同则记录下数据，直到最后得到数据处理的内容。 2. 图像线性变换的匹配方法

在刚才的提出的理论中，其中涉及到很多的平移，或是旋转平移，我们也可以确定一种算法，就是图像的线性变换的匹配方法，在定义这个方法的时候我们先假设一个函数就是图像误差匹配函数。关于这个函数，我们主要做的工作是借助这个函数来逐步累加在配准过程当中所产生的误差的迭代增量，由这个函数最后的数值中，我们可以用数学的方法对其数值进行迭代的数学线性变换。这也是为了减少计算带来的繁琐过程，减少误差产生。

由于处理图片涉及到的是二维的空间，所以我们假设两个图片为G和F,而我们要做的是在寻找的任意一点上得到一个坐标使其满足线性的变换。所以可以假设在图片G上有一个坐标点是X?[x,y]T，它对应的图片F的坐标为Y对应(X,Y?R2?1)，所以会存在一个偏移量，我们可以根据偏移量得出如下的函数方程式；

?a1?a2x?a3y?~T???Xa, ??a4?a5x?a6y??1,x,y,0,0,0?X??, ??0,0,0,1,x,y?~a??a1,a2,a3,a4,a5,a6?

T所以在最后的表示的时候，Y?X?T，这也表明了图像G和图像F的对应坐标的表示，也就是G对应坐标是F+T.

对于整体的线性变换的匹配方法，其思想是两幅图片之间存在着某种线性关系，我们可以借助数学的模型来建立坐标进行线性的分析。上文中我们提到了图像匹配误差函数，这样有利于我们提高我们配准的质量。图像匹配的误差函数我们设为：

E??[F(X?T)?G(X)]2 (2-7)

x?R 13

内蒙古科技大学毕业设计说明书（毕业论文）

根据上述的问题，我们可以根据偏移量和迭代的原理加入一个增量?a，这样我们就可以得到新的函数表达式，

?a?R6?1,?T?R2?1,

E??[F(X?T??T)?G(X)]2 (2-8)

x?R现在关键性的问题是对于刚才我们引入的一个增量?a的求解，在这里我们可以对其求偏导，然后根据泰勒的展开式得到如下的函数式

F(X?T??T)?F(X?T)?F'(X?T)??T (2-9) 然后对以上式子的偏导会得到一个表达式，这个表达式中我们令偏导为零，则可以解决相应的问题。

3. 图像灰度信息的匹配方法

在灰度图像匹配的方法中顾名思义就是要得到图像的灰度信息，在根据数学的模型上建立各个像素点的对应关系模型，根据对应的模型关系，我们可以建立一个能描述两副图片的相似区域的函数。然后采用适当的算法来估算出这个函数的最大值和最小值的参数值。这个函数我们可以这样去定义

E??（I(xi,yi)-I(xi,yi)）??e2 (2-10)

在上述的式子中I和I是表示的两幅图片中的相似区域的灰度值的大小。E表示的是两幅图像之间的灰度值的差异。

在整体的匹配方法中，灰度信息的匹配是相对来说比较简单的，因为灰度信息的匹配上不需要是对整个图片的特征点的提取。所以在一些处理手段上也就能轻易的提高相应的精度和速度，但是在灰度信息匹配的时候我们最重要的做的方法是选择一个合适的函数来进行匹配点的计算，这也是一个非常重要的步骤，选择的好与坏会之间关乎到最后的计算速度和精确度以及误差率。所以在选取灰度信息匹配的同时既能提高估计的精确度和鲁棒性，同时也会使计算量变大，降低了计算的速度。 4. 基于块匹配的图像配准方法

块匹配的图像配准顾名思义就是把图像的像素作为一个集合的形式来进行配准，主要的思想还是根据寻找到两幅图片的相似区域，把整个区域作为一个集合整体的进行操作，但是这种整体性质的操作会使得计算量变的很大，但同时也会是配准的精度很高，这也是这个方法的特点。两幅图片包含很大的信息量，在处理这个图片信息的时候容易受到

14

内蒙古科技大学毕业设计说明书（毕业论文）

外部的影响，所以处理的同时通常会采用边缘信息构建模型的方法进行提高处理时候的稳定性。在应用块匹配的方法的时候，我们首先确定最优的匹配标准。还要考虑到一些误差的影响。

在上述的叙述中我们可以有一个大体的思路，首先涉及到的是边缘的检测，这里会有很多的算法可以考虑，而且前文也多次提到过边缘检测的问题，这里就不在赘述。我们可以根据像素点的邻域来定义一个函数

NEA(i,j)?m??An??A??E(i?m,j?n) (2-11)

AA在这个函数中E(i,j)是表示的是二值边缘图,A也就是这个点的一半的长度值，然后以

NEA(i,j)为标准，计算出一个最大是的点，然后用这个点作为标准店，在其邻域内寻找

一个大小合适的快状区域。最后根据块状区域进行匹配，这就是传统块状匹配方法。

2.4 图像的融合与合成

在上述的过程中获得了配准后的图像，随后就是图像的融合，在配准的过程中需要建立一定的数学模型，首先在拼接的过程中，边界的过度是必须要平滑的，消除一些明显的拼接线也是很重要的，另外在拼接过程中要尽可能的接近于原始的图像，这个中间可能会因为当初的处理中出现的误差所造成的重叠的区域有一些模糊的现象。所以关于图像的融合关键性的技术也就是怎么样在拼接的过程中平滑的过度和无缝的链接，这两点是成败的关键技术。

在图像的融合中我们要遵循一定的融合规矩，图像融合的规矩直接决定着最后图像的质量。目前关于图像的融合方法有：加权平均法、直接平均法，基于小波变换融合，多分辨率样条技术。

1. 加权平均法

加权平均法是最直接的图像融合技术，他的原理是不是那么的复杂，就是将两幅

或是多幅图片进行线性的加权平均，先进性加权，而后在对其平均，这种做法不但会使重叠区域的图像可以平滑的过度，而且还能消除融合的痕迹。如下式：

f(x,y)?WAA(x,y)?WbB(x,y) (2-12)

其中WA和Wb是两幅图片中重叠区域对应的像素值，还要使得WA?Wb?1和0?Wb?1，

0?WA?1，这也就要求要选择适当的权值。但是由于这种方法简单，运行速度快而且有

15

内蒙古科技大学毕业设计说明书（毕业论文）

抑制噪声的特点，所以在最后融合的过程中可能会出现对比度的降低，是图片产生模糊。也有办法去消除这一点的瑕疵，首先我们可以选择的：帽子函数平均法。在帽子平均法中我们主要是在图像的中心区域最为权值的最大点，图像的边缘区域作为权值最小的点，这样就形成了一个倒立的漏斗形状，数学函数表达式是：

Wi(x,y)?(1?X1y1?)*(1??) (2-13) WDi2HDi2其中WDi和HDi分别表示的是第i幅图像的高和低，函数如下： W(x)

图2-3 帽子函数

开始说到WA?Wb?1，要使得?WI?1 像素的原函数不能采用帽子函数的直接函数，

ix

这里我们队帽子函数进行归一化得到：

Ki(x,y)?Wi(x,y) (2-14)

?Wj(x,y)j以上说的是用归一化的帽子函数进行两幅图片的融合，当多幅图片进行融合时，他的相似区域可以用一下函数表示：

f(x,y)??Ki(x,y)*fi(x,y),(x,y)?(f1?f2......fn) (2-15)

i2. 直接平均法

直接平均法是和加权平均法很相似的一种方法，它对图像的处理方法是先对图像

的像素点进行叠加然后在进行平均，这样最后得到的图像会显得模糊，而且质量不好。所以这种方法对于融合的效果并不好。

3. 基于小波变换融合

小波变换是在数学领域发展很迅速的一个分支，很多领域都会引用小波变换的理

论进行研究，其成果也是显而易见的。小波变换的引入是彻底的解决了时间域和频域之

16

内蒙古科技大学毕业设计说明书（毕业论文）

间的矛盾，这也为我们研究做出了突出的贡献。假如?(x)?L2，并且符合?r?(x)dx?0 那么我们成这个函数为基本小波。

小波的连续依赖性，我们可以这样来表示小波函数

?(x)?a?(a,b?12x?b),a,b?R,a?0 (2-16) a连续的变换和离散的都和它是一个原理。连续小波变换的定义：

???(a,b)?f?f(x)??a,b(x)dx，a是尺度因子，b是平移因子

m假定a?a0m，b?na0mb0，则?m,n?a0?2*?(a0?mx?nb0)，则f(x)的小波离散定义为

??Cm,n(f)??f(x)?m,n(x)dx (2-17)

?在进行变换时，小波变换的分层数是影响图像质量的一个因素。层数多，就会有更为丰富的频率范围，更多的细节融合，最终融合效果也最好。

4. 多分辨率样条技术

多分辨率技术融合的应用一般使用在多重的灰度图像融合，也是许多计算机视觉

处理的一种方法。在实际的融合过程中，首先是图像的像素进行处理，然后分解成一些不同的子图片，最后对这些图片进行边缘的加权平均，这种方法在运算量上工作很大，但是最后融合的图片质量也是很高的。

17

内蒙古科技大学毕业设计说明书（毕业论文）

第三章 基于SIFT图像拼接算法

早在上世纪九十年代，David G. Lowe就提出了尺度不变的特征，这个理论主要用来描述的是物体的识别，后来在不断的完善中应用到了图像的匹配中，逐渐的演变成了一种算子，就是我们说的Sift算子。这种算子在图像处理中是局部描述的算法，因为他有尺度、平移、旋转的不变性并且对光的影响不是很敏感，具有一定的鲁棒性。这种性质适合于处理大数量的事物，在处理大数据的时候他能快速准确的进行匹配，并且是在匹配中所产生的特征点很密集。所以sift算法应用广泛，应用领域有3D建模、图像拼接、手势识别、运动识别和匹配等。

3.1 SIFT算法的基本原理

Sift算法翻译过来就是尺度不变的特性，也就是说图像上的物体不论大小，都是可以根据sift算法找到这些相似的特征点，这个特性也是由尺度空间理论发展而来的，Sift算法它的主要的原理和思想是在我们构建的一个空间里找到极值点，这个空间也叫做尺度空间，找到的这些极值点中我们进行过滤，获得其中较为稳定的特征点，然后在这些特征点的邻域提取图片的局部描述特征。形成的局部描述特征再由我们经过变换，最后用于图像的匹配中。我们知道人类感知的图片上的信息是隐式的，也就是这些信息只存在我们的大脑中，也没有办法变成计算机中的显示信息，所以在计算机科学中有计算机图像学来研究这个问题。 3.1.1 多尺度空间理论

在考虑从图片中提取到信息的时候，我们可以根据图像的信息，对图像进行分阶段的处理，第一阶段处理得到的信息是可以提供给第二阶段使用的，这中间有一个问题，也是比较重要的一个问题是我们在第一阶段不知道要提取图片的什么信息才能供以后的处理用。而且这种的处理相比较于各种变换更具有鲁棒性，这就是我们说的多尺度，因为我们事先不知道要用到几个尺度和使用哪些尺度，所以就要计算机得出所有的尺度供以后的实用。实际上，在每一个尺度层面上的像素都是一副图像，其分辨率都是相同的，多尺度的表示思想是在原始的信号生成的一系列信号，用这些生成的信号去表示原始的信号，这是一种有效地表示方法，而且尺度参数也是连续的。这样我们可以简单的表示一个多尺度:

18

内蒙古科技大学毕业设计说明书（毕业论文）

增加

图3-1 多尺度示意图

上述图中要表达的意思我们可以这样来理解，把一个原始的图像表示成一个有序的信号，而这些有序的信号不在同一个尺度空间内。要表达的思想是：我们将原始的信号融入到一个单参数的信号中，将变换而来的信号对应于每一个单参数的参数。这种是用过某种方式从较细尺度中平滑过来的，平滑所用到的函数也是唯一的函数是高斯函数。

多尺度空间的表示方法有很多种，例如金字塔，还有四分树等都是一些很不错的图像表达方式，最经典的是金字塔的图像表示方法，他是一种结合了平滑操作和降低采样的操作来实现的一种图像表示方法。这种有一个很大的特点就是从下向上每一层的像素都会减少，这也就是说计算机处理的数据减少，处理的速度会提高，这也有一个明显的缺点，上文中提到较粗尺度是由较细尺度简化来的，而从下往上数据的量化也随着变的粗糙，并且速度很快。所以在降采样后的像素点和原图像的像素点有些差异，这里我们需要强调的是：小波变换中金字塔虽是类似，但是处理的目的是不同的，这里讲述的是让降低采样后的像素点尽可能的和原始的像素点相近。

在整个过程中，较细的尺度信息会在高斯函数的平滑过程中变成较粗的尺度，这也可以认为是信息的丢失。这是一个很重要的问题，信息的简化是它不能逆转，这个问题已经被解决，也就是为什么用高斯函数作为唯一的平滑函数。所以尺度公式可以表示如下：

L(x,y;t)??1?(?2??2)/2tef(x??,y??)d?d? (3-1) ??-????-?2?t??较粗尺度

原始信号

上述公式中t就是尺度参数，这是高斯和于图像做卷积得到的尺度。 3.1.2 检测极值点

在sift算法的应用中检测尺度的极值点是很关键一步。这一步骤做的也可以说是特征点的匹配工作，极值点的检测就是在找到一些不论图像怎么变动，这些点都是会被提

19

内蒙古科技大学毕业设计说明书（毕业论文）

取出来的。所以这些特征点就是最后匹配的关键点，再基于这个理论上可以解决这些问题。

在前文我们已经提到，高斯函数在一定的假设条件之下是图像尺度空间的唯一的平滑函数，这里我们可以定义一个图像为I(x,y)，它的尺度空间函数定义为L(x,y,?)，则这个函数就可以有高斯函数和图像的卷积得到：

L(x,y,?)?G(x,y,?)*I(x,y) (3-2)

这样做并不完美，因为在检测上并不能达到高效而且还要计算图像的尺度L，所以我们提出另外一种方法就是利用高斯差分函数和图像进行卷积寻找极值点。 D(x,y,?)?(G(x,y,k?)?G(x,y,?))*I(x,y)

=L(x,y,k?)?L(x,y,?) (3-3)

K表示相邻的像个尺度分开的常数。

这样做能高效的检测到稳定的点，还不需要计算图像尺度。另外函数D()函数的性质与拉普拉斯函数?2?2G相近，而实验已经表明了，?2?2G在产生极大值和极小值的稳定性上比其他的函数要好很多，所以G和?2?2G的函数关系也就是：

?G??2?2G ??最后我们可以得到：G(x,y,k?)?G(x,y,?)?(k?1)?2?2G (3-4) 从这个式子中看出拉普拉斯函数与尺度变换没有关系，所以高斯分差函数也于尺度没有关系，在上式子中常数k是不会影响选取极值，k的趋近于1的时候，误差会越来越小，实验的表明k的选取对极值的选取没有很大的影响。这里采用多尺度空间金字塔：

高斯图像 高斯差分图像

图3-2金字塔，计算图像差分

上图的表示，在最下一层，对原始的图像进行高斯卷积，获得平滑的图像，在相邻的图像中得到高斯差分图像，在对其进行降采样处理，将获得右面的图像，也就是原图像的1/4，然后将这1/4的图像作为原始图像重复上一个步骤。在选取第一个处理的图片

20

内蒙古科技大学毕业设计说明书（毕业论文）

的时候，要求是空间尺度的参数为初始参数的2倍。这样在寻找极值点的时候假设k?21/s,所以每层有s+3副图像，则最后生成的有s+2副高斯差分图像。实验中我们可以得到

k?21/3最为适当。

在已经产生高斯差分图像中，在这里来计算这些极值点，在计算极值点的时候 ，每个像素点都要和所有的图像的八邻域进行比较，通过实验的表明当S=3的时候是最高效的，而且只要5幅差分图像就可以，这样就可以排除像素点，说明不是极值点。 3.1.3 稳定关键点

通过上一步的计算可以得到极值点，但是不是所有的极值点都是稳定的，所以这一步就是稳定所求的极值点，去除一些不稳定的关键点，这也是为了以后匹配的时候增强稳定性和抗干扰的能力。这里不稳定的点可以想到分布在边缘上或是对比度相对较低的地方，但是这些都是在处理之后得到的，具体在处理之前这些点分布在哪里我们不知道。对于这个问题将引出本节的讨论方案和解决办法。

这个在尺度上求取极值点的解决办法上，本文引入了三维的二次元函数来求取极值点，而且还能去除对比度相对较低的点，在这里要做的是对某一个极值点A对高斯分差函数D(x,y,?)进行泰勒展开式：

?DT1T?2DD(x)?D?x?xx （3-5）

?x2?x2上式中的x?(x,y,?)T是距离A的偏移量，对上述的式子进行求偏导，然后偏导为零，则可以得到：

?2D?1?D??? x (3-6)

?x2?x在上述的结论中可以分析到，当x的估计值在0.5以上，就可以明确所求得极值点和另一个采样点距离很近，这种方法能很好的求取极值点的估计值。

从上文中做的工作中我们还可以利用这个估计值去降低对比度低的点，这样把上述的得到的公式带到泰勒展开式中得到：

1?DT?)?D?? (3-7) x D(x2?x?)的绝对值不大于0.03时，这些点是被舍弃，这个结论可以通在上述的式子中，当D(x过实验得到。这是一个很好的办法既能求出极值点，也能够对对比度低的点进行删除。

本文中，在能得到稳定点的基础上我们还要考虑到边缘的影响，因为在前文中我们

21

内蒙古科技大学毕业设计说明书（毕业论文）

已经对这些干扰点做了一个基本的分析，他们主要分布在低对比度和边缘区域，所以刚才的方法对低对比度的点做了一个处理，边缘的点还要进行处理。根据边缘点的特征，本文采取于上述问题相似的办法求取，来计算主曲率的比值。有资料我们可以得到：在垂直边缘的方向上，法曲率最大，而相同的方向最小。所以我们根据这个问题在计算极值点的海瑟矩阵：

?DxxDxy? H????DxyDyy?在试验中是可以得到H的特征点和主曲率是成正比例的，所以我们只需要求出H的最大值和最小值。这样我们可以设?是最大特征值，?是最小特征值。所以我们可以得到：

Tr(H)?Dxx?Dxy????，D(H)???。

从上述的式子中可以知道：如果为负数，则主曲率不同号，所以舍弃这点，这个点不是我们所求的极值点。在这里还有一点就是关键点方向的问题，为了这些极值点的稳定性，我们可以为这些极值点的梯度进行高斯加权，采用PCA方法确定极值点的方向，更好的稳定极值点。 3.1.4 局部特性描述

在前文中我们已经对极值点的求解和处理以及位置方向做了说明，这里我们将对这些极值点计算一个局部的特征描述，也成为局部描述子。这样做的原理是能对以后的变换等赋予一定的鲁棒性。在本文中只做简短的说明原理和思想。在前文中对图像的处理之中，对于对比度的变化我们做了处理，若是在对比度发生变化的时候，图像的像素也会发生变化，关于这个问题，我们处理方法是采用描述子的归一化，所为的归一化就是归一成单位长度。这样就可以消除对比度带来的影响。对光线的变化有了解决办法，在设想一下，若是非线性的光线变化，梯度会受到影响。所以在这个问题上，采用在单位向量中，去除梯度大于0.02的梯度值。然后在对其进行归一化，这样就能消弱梯度大小，解决非线性的光线影响。 3.1.5 拼接融合

在前文的论述中我们进行了匹配前的变换，做了很大的工作。在这里的拼接融合中本文采用的是加权平均法的融合方法，该方法在前文中已经做了一定的讲述。在进行完了数据的变换，我们则要根据参数进行重新注册成一幅完整的图片，在这个过程中不光要对光线的调整，还要对全局匹配的误差做一些处理，以防在最后出现拼接失真。在两

22

内蒙古科技大学毕业设计说明书（毕业论文）

幅图片中找到重叠的区域，在各自取一定的区域进行融合，前一幅图像缓慢的平滑过渡到后一幅图像中，实现无缝的图像拼接。

3.2 改进算法分析实例

实验图片从不同的角度拍摄的一组图像，一下成为原始图片和参考图片，在本节中采取的是用传统的sift算法和改进后的sift算法进行对比的实验，在实验过程中首先会对传统的sift算法进行匹配和拼接，对其特点进行相应的描述，然后阐述改进的原理，在对图像进行配准和拼接，以此来对传统和改进的算法进行对比来说明问题。下图是两张原始图片和参考图片，我们用传统的算法进行拼接。

图3-3左图像 图3-4 右图片

23

内蒙古科技大学毕业设计说明书（毕业论文）

拼接后显示的图片：

图3-5 拼接后的图像

从上述的实验中可以明显的看出在传统的算法中存在明显的亮度不同，而且还带有一些模糊，只是表现出拼接的轮廓，但是在质量上存在很大的误差。可以分析到出现这种失误的情况还是在于误匹配，因为前文讨论过有很多特征点没有很强的独立性，所以在匹配的过程中，很多的成功匹配的都是错误的，所以增大成功匹配的成功率上将采取一些改进的办法。

在误匹配的情况出现的前提下，采用一种最近邻域的办法，然后采用霍夫变换进行类聚。本文介绍一种性能较好的算法Best-Bin-First简称为BBF,这是由Beis和Lowe在1997年提出的算法，后来发展中科学工作者不断对其复杂度做了更为深刻的研究。通过实验本文只考虑在比邻距小于0.8的情况下。这样也不用花费太多的时间，在特征点的识别上我们采用的是霍夫曼变换类聚，首先把H的参数进行离散化，然后在匹配的建立空间，按照提前设定的阈值在建立的搜索空间内寻找最大值，认为是正确的。下面是改进的图像拼接实验：

24

内蒙古科技大学毕业设计说明书（毕业论文）

图3-6左图像 图3-7 右图片

图3-8 拼接后的图像

sift算法应用很广泛，以上叙述的方法也是在原有的基础上进行了扩展和集成，在对一些变换上没有做到很好的鲁棒性，这些还是要有有待解决的。

25

内蒙古科技大学毕业设计说明书（毕业论文）

第四章 基于Harris算法的图像拼接研究

在前文的讨论中，图像的特征提取和匹配是图像拼接的核心内容，在特征提取中有一种重要的特征点就是角点，对于角点的定义可以这么形容，就是两个或者是两个以上的边缘区域形成的点。关于角点的研究历史也是很悠久的，在1988年哈里斯提出Harris兴趣点检测，这种方法是依赖于自相关函数来确定二维变化的位置，后来被证明它具有平移，旋转等不变性。而且有很高的精度。同时角点在噪声的处理和光照影响上也有很好的鲁棒性，所以成了研究的重要课题。

4.1 角点提取算子

关于角点的研究，现在基本好多的算法已经被完善，在研究角点提取上，可以从资料上查到很多的算法，例如：Harris算法，莫拉维克算法，普莱西算法等等，下面讨论一下几种算法的区别和优劣。首先Harris算法，对于角点的检测是计算方便，而且是稳定性比较高，所以受到广泛应用，但是它也有很多的缺点，在上文中的多尺度空间中，Harris算法的精度就不是很高，而且还会存在一些伪角点和冗余信息，然后是Moravec算法，它是对每一个角点都进行测量，然后在灰度变化上取一个最小的值，然后在对每一个像素进行映射，这种算法也是比较简单，处理的速度也是比较快，但是Moravce算法对边缘区域比较敏感，而且在对边缘的处理不好，对噪声的敏感也比较大，所以Moravce算法在一定的场合中才会使用它。还有pleesey算法，它是突破了Moravce算法的局限性，是一个比较好的角点检测算法，唯独不好是计算量很大。这也没有影响到人们对他的热爱，在目前的研究应用上pleesey还是有很广泛的引用。虽然说pleesey算法在Moravce上有很大的突破，但是它对于角点的定位不是很准确，会检测到很多错误的角点。虽然算法都有优劣性，但是在实际应用还是能克服。

4.2 Harris角点检测原理

Harris角点是根据自相关函数来确定二维数据变化的位置的，它在应用上基本上都是对处理的图像进行平滑去噪，然后构造响应函数，最后在得到局部最大点，而这个点就被认为是角点，在这种处理的规则上会降低它的精度，所以在这个问题上本文以后还要做改进。在具体的操作之间，首先要明确一个问题，柱面投影的生成，这个在后续的

26

内蒙古科技大学毕业设计说明书（毕业论文）

融合过程中有着重要的意义。 4.2.1 柱面投影生成

在图像采集过程中，可能会因为角度的不同，在一个平面上可能会出现旋转，这也是数据采集上一个重要问题，这个问题会导致出现重叠的区域过大，会给以后的匹配带来麻烦，所以我们可以假想一下平面图像映射到柱面图像的情况，我们所要讨论的是一种特殊情况，当在边缘位置是，图片上所呈现的是一个柱面，这种我们可以采用柱面的投影生成的问题解决办法，也是方便以后计算方便。下面讨论一下平面图像和柱面图像之间对应。

图4-1 柱面投影示意图

设为r是柱面的半径，W是生成图像的宽度，通过一些数学的建模和柱面的性质，最后我们可以得到平面图像到柱面图像的投影公式：

y'? x'?r4.2.2 Harris角点提取

有前文中的论述，我们在提取Harris角点的时候，引入到自相关函数中，在这里我们借助于自相关函数来构建一个M矩阵，矩阵的特征值可以认为是自相关函数的曲率值，若他们两个的曲率值都比较高，就认为是特征点，矩阵M为：

ry (4-1) 22r?(w/2?x)ww/2?x?r*arctan (4-2) 2r?IxIxIy? M?W(S)?? 2?IyIxIy??在这里I是x方向上梯度的平方，同理Iy2是y上的梯度平方。W(s)是高斯滤波函数。

22xM矩阵的引入是角点检测的重要的一步，它可以映射二维的特征点。高斯滤波函数作用

27

内蒙古科技大学毕业设计说明书（毕业论文）

就是滤波。构建完成的M矩阵在响应Harris角点的时候有一个数学式：

I?det(M)-ktr2(M)，0.04?k?0.06 (4-3) 在这个式子中det(M)是M矩阵的一个行列式，T是矩阵的迹，这样可以通过上述式子中的I值作为特征点的参考值。在I函数中计算的极大值大于一个阈值的时候，就可以认为是这个点就是特征点。

在上述中检测到的特征点的位置是不准确的，而且它的精度也不是很高，所以在这里我们要上述的办法进行改进。在大多数的研究中所用到的X方向上的算子是

Ix?(?1,0,1)，在这里我们改为Ix'?(?4,?2,0,2,4)，至于为什么这样改，网上有公式推导。

Y方向上的梯度也要相同的进行修改。所以这样构造出来的矩阵M就是：

IxIy??Ix M?W(S)??'' 2??IyIxIy?相同的是角点相应函数也要改变，在上述中采用的k值对特征点的提取有很大的影响，

'2''在这里就采用一种新的方法进行提取，选取的角点函数为：

R?Det(M) (4-4) 'Tr(M)??在这个式子中我们去掉了k。引入了?，?是一个很小的取值，在影响上要远小于k，所以在原来的基础上的改进降低了冗余的数据。

前面我们做了很多的准备工作，现在我们用MATLAB对实验进行仿真，看看具体的结果分析。

图4-2 Harris算法提取结果

28

内蒙古科技大学毕业设计说明书（毕业论文）

对于上面的讨论，我们总结一下Harris算法的一些特点，首先Harris算法的计算简便，这个可以从上面的公式看到，然后从实验的结果上可以看出提取的特征点比较均匀，最后Harris算法在提取特征点的时候比较稳定。然而缺点也是很明显的就是提取的精度不够，准确定也不是那么的好，但是Harris算法提取到的这些特征点都是计算出来的最优的特征点。

4.3 RANSAC算法的原理

刚才讨论了Harris算法的特征点提取，并没有实现我们的目的，本文研究的是图像的拼接，特征点的提取只是一个关键的步骤，在这里我们还要引入另一种RANSAC算法，刚才讨论了Harris算法的优点和缺点，现在结合RANSAC算法的特点，在最后融合的时候能有更好的效果。

RANSAC算法可以说是一种迭代算法的数学模型，他的主要的原理是寻找一些特征点，然后根据这些特征点构成的一条直线，在这条直线中，在一定的误差范围内统计这条直线上的点，然后重复这个步骤，最后在选择点数最多的点作为最终的结果。这种思想也是他常用于图像匹配中的原因。从前人的经验中可以得到RANSAC算法的矩阵的形式：

'?x??h1h2h3??x??y'???h4h5h6??y? ????????1????h7h8h9????1??在确定一条直线的时候，根据数学知识，需要两个点，在这里我们要寻找到两个匹配点，要是确定上述的矩阵的9个参数，则要8个匹配点。

在这个算法中，还有一个关键性参数就是阈值的设置，在求解这个阈值的时候，还要引入几个概念和函数，首先我们假设误差是符合高斯分布的，距离误差平方符合自由度为m的x平方的分布。所以就可以得到下列的函数式： Fm(k)??Xm2(?)d??k220k2 (4-5)

由上式中我们得到阈值的计算方法： t2?Fm?1(?)?2

数学函数表达式中?是表示先验概率，所以在计算阈值的时候，确定?是计算的第一步，然后就能根据上述的式子确定阈值。在确定完阈值之后，下一步就是对内部点的判断，

29

内蒙古科技大学毕业设计说明书（毕业论文）

可以根据下列函数式作为判断的依据：s?H*i?i。

'2上述函数表达式中i表示的是与矩阵相乘后得到的匹配点的坐标，由这个坐标于选择的匹配点i'进行求模得到误差s，根据误差的大小和阈值的大小对特征点进行判断，若是小于阈值，则是内部点，不然就不是。

在上述的算法中明确了匹配的各种做法，但是这种做法在实际操作上有一定的局限性，首先就是不能处理数据量较大的图片，因为在复杂度比较高，在确定矩阵H的时候会一个一个的计算，在效率上就降低了，无意中增大了时间上的复杂程度。所以在实际应用上我们可以这样做，在初始匹配点的时候，采用8个点确定矩阵H，额外选取4个点进行判断，在确定矩阵的时候就进行判断，如果不是内部点就直接舍弃，这样就大大的减少计算的时间。这种方法的应用在较高质量、信息量较大的高清图片上，需要匹配点也就越多，但是节约的时间很随之增大。

4.4 拼接算法的实例分析

在前文中进行了传统方法的论述和改进方法的介绍，下面我们对上述的算法进行实际的实验，在这里我们采用的是Harris算法和RANSAC算法的结合。 原始的图像如下:

图4-3左图像 图4-4 右图片

30

内蒙古科技大学毕业设计说明书（毕业论文）

下图是检测角点的图像：

图4-5 检测角点图像

上图是全部特征点的检测，其中有很对点明显是误匹配的点，在一些地方产生了特征点的冗余，通过前面的改进算法，我们在去除误差所带来的匹配后所呈现的图像是：

图4-6 改进算法角点检测图像

在上面我们改进的RANSAC算法进行特征点的判断上，确定一个阈值，在对提取的特征点统计，最后根据阈值和统计的情况舍弃一些不是内部点的特征点，最后留下局部最

31

内蒙古科技大学毕业设计说明书（毕业论文）

优的匹配点，图像如下：

图4-7 局部最优的匹配点

通过上几步的改进处理，图片基本达到了要求的拼接质量，进行图像的拼接，最后得到的图像如下：

图4-8 改进算法拼接图像

32

内蒙古科技大学毕业设计说明书（毕业论文）

从拼接后的图像和实验结果看出，在处理的复杂程度上节约了时间，不止提高了速度，还提高的拼接图像的质量。在这个具体的实验中我们主要是讨论了：用了一些时间对传统的Harris算法的特征点聚集和冗余做了处理，在RANSAC算法上有对传统的矩阵M增加了4个判断匹配点进行判断，节约了运行时间，提高了拼接的质量。

4.5 本文两种拼接算法的对比

在本文中两种算法分别是：基于SIFT算法拼接和Harris算法拼接。在后一种算法的基础上又加入了RANSAC算法，减少了算法的计算时间。下面对各自的实用性和优缺点做一个对比： 1、实用性

在本文中对两种算法都进行了模拟实验，在实用性方面还是Harris算法和RANSAC算法更为稳定和效率更高，主要的原因还是在于对图片匹配过程中，Harris算法很巧妙的处理了各种情况的发生，虽然是在时间上浪费了很多，但是在后来的匹配和拼接过程中引入了RANSAC算法，结合两个算法的有点，提高了拼接的质量，另一个方面来说：现在的图片要讲究高分辨率和高清，在这一点上的处理SIFT就有一定的局限性，对高分辨率的处理是打不到要求，所以在这一点上，Harris算法和RANSAC算法还是有一定的发展性，但是sift算法是一个经典的算法，他的长处是具有尺度无关的特点，尤其是他的公开的源码，更是获得了诸多科学工作者的青睐。 2、优点和缺点

这两种算法都有优点和缺点，在sift算法中，虽然字啊尺度变换中具有很好的效果，但是在比如说光照、仿射的变换中的鲁棒性就差了很多，sift算法在处理技巧上还是很巧妙的。舍弃了低对比度的特征点。在最后的拼接过程中，设定阈值，排除错误的匹配，最后在基于霍夫曼聚类的理论上进行了排除误识别，很搞笑的实现了图像的拼接。在Harris算法中它对尺度的变换和边缘区域比较敏感，而sift算法就能巧妙的解决了这一点，Harris算法和RANSAC算法在技术上进行了突破，扩大了处理的范围，并且处理噪声和信息冗余方面有很不错的方法，总之无论哪种算法的拼接，都有自己的有点和特点，有自己的应用领域。科学在进步，对于这里具有挑战性的技术来说，虽然没有一个完整的理论框架，但是在这方面的研究还是比较快的，在以后我们会有一个更系统，更深入，更完整的一套拼接的理论。

33

内蒙古科技大学毕业设计说明书（毕业论文）

第五章 总结与展望

5.1 本文总结

本文主要是对图像的拼接做了一个研究，重点是研究了图像拼接的特征点的提取和匹配，这也是拼接的核心关键，在本文中大篇幅的对特征点的匹配和提取介绍。在研究中对这些技术的原理、步骤和优缺点进行了实验仿真，对传统的方法中做了改进，根据一定的适用范围做了对比性的研究。本文主要是针对拼接方法和匹配方法的研究，在技术上进行了改进。

首先，针对背景和研究的现状做了一个介绍，说明了图像拼接的意义，就它的重要性和应用性上做了论证，最后对本文的研究方向做了一个整体的规划。

然后，对传统的拼接的方法和流程做了一个介绍，在用到了一些技术上做了一个了解，对图像拼接前期所要做的工作进行了系统的安排，对用的技术理论和原理进行了论述。对传统的拼接方法做了一个归纳和总结，为后续的拼接奠定基础。

再次，本文采取了两种不同的算法进行比较，一种是sift算法拼接技术，另一种是Harris算法和RANSAC算法拼接技术，通过传统的方法拼接和改进后的方法拼接进行对比，充分说明各种方法的优劣性和适用范围等，在传统的基础上进行了改进，通过改进后的拼接和传统的拼接进行比较，说明了改进后的一种方法的优劣性。

最后，本文通过实验来说明了拼接的过程和结果，在实际上说明了传统方法和改进后的方法的优劣性，改进后的算法的拼接效果还是比较令人满意，但是在使用不同分辨率和质量的照片时候，会有些影响。就普遍的一些算法而言，本文中的实验方法也有一定的稳定性和创新性。

5.2 工作展望

本文在图像拼接算法的研究上提出了一种有效的算法，在图像的配准上有一定的实用性。但是作为一个重要的研究课题，这一点做的还远远不够，所以在此基础上，关于当前和以后的研究和发展方向做一个规划，首先在当前的关于图像拼接的研究和上还没有一个完整的理论基础，对研究的技术也不够系统和深入，所以对于本文的研究和改进的一些传统的算法，在应用上还是有一定的局限性，就这个技术而言，还有很大的困难，在一些应用上往往达不到人们期望的结果。所以在归纳了以前工作者的经验和以后发展

34

内蒙古科技大学毕业设计说明书（毕业论文）

的趋向，概括了一下图像拼接技术的发展方向。 1、尺寸大小有差别的图像拼接的实现

若两幅拼接的图像在大小上存在一定的差异，这就涉及到图像在拼接过程中的旋转和平移，这也就很容易的就在拼接过程中出现误匹配的现象，在大小不一样的拼接上，目前来说还是一个比较大的挑战，也没有一个很完美的算法，所以在普遍性的拼接上还是有很大的发展空间的。 2、自动拼接的实现

现在的拼接技术都是人工在操作，都是借助于计算机进行人工操作，并没有是实现自动的实现图像的拼接，在目前的研究上，还没有完全的实现自动的拼接，这也是图像拼接面临的一个重要的问题。 3、快速匹配算法的研究

在本文中也着重研究了几种算法的匹配，通过复杂的数学函数式推导出一些匹配的算法，像这种耗时比较大，而且是处理的数据量很大，所以在这种情况下很难保证高精度的匹配，在这方面还是很难担当的起当今实时要求。

图像拼接的研究方向也不是只有这样几个问题，作为一个热门的研究课题，图像拼接不只是对图像的简单拼接，它是对整个数字图像处理技术的研究，在技术难题和实用性上还是有很大的研究空间。在展望未来的研究，希望是能有一个完整的理论框架和系统的拼接理论，可以自动的进行不同图片大小的拼接，并且能保证拼速度和质量。

35

本文来源：https://www.bwwdw.com/article/0603.html