图像修复毕业论文

摘要

摘 要

随着计算机的普及和数字图像技术的广泛应用，数字图像处理技术已成为计算机视觉领域的一个研究热点。图像修复是图像处理的重要组成部分，是对图像中的受损区域进行信息填充的过程，其目的是恢复受损的图像，并使观察者无法察觉图像曾经缺损或已被修复。

目前，图像修复算法根据待修复区域的大小，可以分为两类，即基于偏微分方程(PDE)的图像修复和基于纹理的图像修复。Bertalmio等人把偏微分方程引入了图像修复领域，其基本思想是根据物理学中信息扩散原理来完成受损区域的修复，当受损区域较小时，修复效果很好，没有任何修复痕迹，但当受损区域较大时，会出现模糊效应。因为这个缺点，基于纹理的图像修复逐渐成为该领域的主流算法，吸引了众多学者进行研究，该类算法不论对受损区域较大还是较小时都能取得很好的效果。

本文重点研究了Criminisi算法，在Criminisi算法的基础上，对模板大小、优先权计算方式、最佳匹配块的寻找等进行了改进。论文考虑模板边缘像素点的梯度信息，提出了自适应模板大小策略，以判断能否扩展，从而适应不同的纹理图像；同时对优先权的计算方式进行了改进，考虑了周边信息，引入相关项，同时为置信度、数据项和相关项分配相应权重，避免了单一乘法带来的缺陷；引入颜色直方图以改进最佳匹配块的寻找，颜色直方图定义了图像或图像中区域的颜色分布，并且颜色直方图具有旋转不变性和缩放不变性等。通过两个模块间颜色直方图的相交距离，从整体上考虑两个模块的相似性，从而减少错误匹配的概率。

最后通过对不同类型，包括纹理较丰富，结构较复杂，曲线较多的图片进行仿真实验，并与Criminisi算法和Sun等算法进行对比，说明了改进算法的有效性。 关键词：Criminisi，纹理合成，优先权，颜色直方图

ABSTRACT

ABSTRACT

4. A novel truncation spurious free DDFS structure and algorithm is proposed. By introducing a comparator and an adder into the traditional DDFS architecture, the sine lookup table can be compressed without significant hardware change in the design to eliminate the truncation spurs without increasing the size of the lookup table.

Keywords: frequency synthesis, phase noise, spurious, frequency hopping

目录

目 录

第一章 绪 论 ........................................................ 1

1.1 研究背景与意义 ............................................... 1 1.2 国内外研究现状 ............................................... 2 1.3 本论文的结构安排 ............................................. 2 第二章 数字图像修复算法及模型 ....................................... 7

2.1 图像的基础知识 ............................................... 7 2.2 图像修复的问题描述 .......................................... 10 2.3 基于偏微分方程的图像修复 .................................... 16

2.3.1 BSCB模型及原理 ....................................... 20 2.3.2 TV模型及原理 ......................................... 20 2.3.3 CDD模型及原理 ........................................ 22 2.4 基于纹理合成的图像修复 ...................................... 16

2.4.1 非参数采样纹理合成 .................... 错误！未定义书签。 2.4.2 基于块的纹理合成 ...................................... 27 2.5 本章小结 .................................................... 28 第三章 基于纹理合成的改进算法 ...................................... 29

3.1 Criminisi算法的缺点 .......................................... 29 3.2 自适应大小的样本块 .......................................... 30 3.3 优先权计算方式的改进 ........................................ 29 3.4 模板匹配方式的改进 .......................................... 30

3.4.1 模板的局部搜索过程 .................................... 20 3.4.2 SSD模板匹配方式的缺陷 ................................ 20 3.4.3 基于图像特征的模板匹配 ................................ 22 3.5 平滑过渡处理 ................................................ 29 3.6 本章小结 .................................................... 30 第四章 实验结果及性能分析 .......................................... 29

4.1 实验环境及评价标准 .......................................... 29

III

ABSTRACT

4.1.1 实验环境说明 .......................................... 20 4.1.2 修复结果的评价标准 .................................... 20 4.2 仿真实验结果说明及对比 ...................................... 30 4.3 本章小结 .................................................... 29 第五章 总结与展望 .................................................. 29

5.1 论文总结 .................................................... 29 5.2 进一步研究工作 .............................................. 30 致 谢 .............................................................. 58 参考文献 ........................................................... 59 攻硕期间取得的研究成果 ............................. 错误！未定义书签。

第一章 绪论

第一章 绪 论

1.1 研究背景与意义

图像修复技术，指用图像中的已知部分区域来填充修补图像中的受损区域，比如污点，裂缝等。广义上说，图像修复技术拥有十分悠久的历史，在中国，早在古代就已经有对书画文物、壁画等进行修复；在国外，图像修复早在欧洲文艺复兴时期就得到快速发展。由于历史和年代久远和保存不当等许多原因，许多珍贵的图片、文献、油画、雕塑等文物都出现了不同程度的破损，比如出现了折痕、斑点，或者缺失了一部分等。基于这些原因，出现了对这些受损文物进行修复的工作，对于破损区域较小的部分，修复过程称之为图像润饰(retouching)，比如划痕、污点；对于破损区域较大的部分，修复过程称之为图像补全(completion)。然而不管是图像润饰还是图像补全，都需要人们手工进行操作，而且是在原有文物上直接进行，这需要修复工作者具有丰富的经验和专业的技术，一旦修复者因为各种不可预计的原因而有所失误都会对这些珍贵文物造成不可逆转的破坏，同时因为是手工进行修复，因而修复的时间和质量都有严重限制，得不到良好保证。

随着因特网的不断普及以及图像处理技术的日益成熟，数字图像的应用领域越来越广。近几十年来，图像的存储方式也变得多样化，不再只是单一的纸张，而是包括相机、MP3、照片、胶卷等各种媒介。然而照片中有可能需要去除不该出现在照片中的物体，胶卷经过长久时间的放置或经常使用也会受到损害，从而可能会影响图片的质量，也影响了图片的美观和使用价值。图像日益影响着人们的日常生活和科学研究，在对图像处理过程中难免碰到各种图像的修复和补全问题，比如许多出土的珍贵历史文物往往是受损的，需要进行补全，以还原其真实面貌；或者在某张很珍贵的照片里，有可能出现不相干的路人，需要进行去除。如果再依靠手工这种低效的修复方式已经不合实际，同时也反应出图像修复潜在的巨大价值和市场。

计算机的出现使得图像修复工作不再需要手工操作，与手工修复相比，这不仅能极大的提高修复效率，同时对类似文物、书画等珍贵作品不会产生实质性损害，并且可以广泛应用到上述的各种图像处理中。

1

电子科技大学硕士学位论文

Bertalmio等人[1]在参考了修复者手工修复过程后，于2000年提出了数字图像修复这一概念。从这之后，图像修复开始受到广泛关注，中西方学者不断对其进行研究，并取得了重大成果。

1.2 国内外研究现状

数字图像修复这一术语从2000年提出到现在已经超过10年，期间取得了重大突破。目前，按图像的结构、纹理和统计信息和先验概率等，图像修复算法主要分成三类：如图1-1所示。

图1-1图像修复算法类别

基于结构的图像修复技术，目前大多数都是基于偏微分方程模型来进行修复，而偏微分方程模型的主要思想是利用物理学中的信息扩散原理，即根据受损区域的边界信息，来确定沿着什么方向进行扩散和需要扩散哪些信息，从边界向里面扩散，使得受损区域越来越小，最终完成修复。该类方法主要用于修复受损区域较小的情况，例如划痕、污点等。

PDE模型在图像处理中得到广泛应用，包括图像去噪、图像放大、图像还原等。经典的基于PDE模型的图像修复算法有三个：BSCB模型、TV模型、CDD模型。Bertalmio，Sapiro，Caselles和Ballester[1]四人（即BSCB模型）最先使用PDE模型来解决图像修复问题。BSCB模型是根据手工修复原理，模拟其修复的整个过程，通过进行不断的迭代，根据物理学中的信息扩散原理，将已知信息沿着等照度线的方向不断向内传播，从而不断减小受损区域，最终完成修复的过程。等照度线是梯度的法向方向，即与梯度垂直，而梯度是信息变化最大的方向。所以沿着等照度线也就是沿着受损区域边界变化最小的方向。图1-2是使用该算法修复的结果。

第一章 绪论

图1-2 Bertalmio算法去除划痕的修复结果

[1]

结果表明，该算法适合于修复图像中的结构部分，修复效果明显，颜色过渡平滑，没有任何人工痕迹。与以前的图像修复算法相比，该算法的优点在于一旦启动后，无需人工干预，将人机交互最小化。但是，该算法的缺点也很明显，时间复杂度太高，执行速度非常慢；对大的缺陷区域的修复，会产生模糊效应等。

随后，Chan和Shen[2]提出了另一种基于变分原理的图像修复模型，基于这种模型的算法称为整体变分（TV）模型。TV模型采用了欧拉-拉格朗日方程，并结合各向异性扩散方程，然后利用变分方法求解。全变分模型为数字图像修复提供了一个有效的数学模型，该模型的主要优点是：实现更加容易，速度与BSCB相比成倍提升，并且修复区域的边界会尽可能的保持平滑。然而，TV模型也有很大缺陷：它不满足人们视觉的连接性准则，因为为了使能量函数最小化，它总是倾向于用最短的直线来连接断裂的线性结构物体，即在进行信息扩散时，只考虑了等照度线的强度，而没有考虑它的几何信息，从而出现断裂。

针对TV模型的这种缺陷，Chan和Shen在TV模型扩散机制的基础上提出了一种新的修复模型，这种模型考虑了曲率，即等照度线的几何信息，因而被称为曲率驱动扩散模型（CDD）[3]。引入曲率项后，信息扩散强度的值不仅依赖于等照度线的对比度或者强度，还依赖于等照度线的几何信息。在曲率值大的地方扩散强度大，曲率较小的地方扩散逐渐消失。CDD模型与TV模型和BSCB模型一样，都是基于偏微分方程，因而也与TV和BSCB一样，适用于无纹理的图像，但由于其是三阶偏微分方程，其计算复杂度较高，运行速度就相对较慢。

其它基于偏微分方程的方法还有Euler弹性模型[4][5]，Mumford-Shash模型[6]，Mumford-Shash-Euler模型[7]等。由于偏微分算法本身的信息扩散机制，它们对于

3

电子科技大学硕士学位论文

息调度机制和动态标签削减机制，以避免传统BP算法不可忍受的计算量，大大提高了计算效率和计算复杂度，但尽管如此，该算法的时间复杂度仍是很高。

随着相机、电影等图像技术的飞速发展，使得图像与人们的生活变得密不可分，图像修复也成为一个重要课题，是图像处理的重要组成部分，图像修复简而言之就是利用图像中的已知信息，修补图像中丢失信息，从而得到完整图像的过程。因为其解的不确定性和病态性，吸引了越来越多的学者投入更多的精力不断进行研究。

1.3 本论文的结构安排

本文简要的讲述了图像修复的背景和目前流行的两大类的图像修复算法，即基于PDE模型的算法，包括BSCB、TV、CDD三个模型，该类算法主要应用于修复破损区域较小的情况；而纹理合成算法则应用于破损区域较大的修复情况，是目前图像修复中较热门的研究方向。本文的主要章节安排如下：

第一章对目前图像修复领域的发展进行了简单讲解，包括其研究背景和图像修复领域两大类修复算法的优缺点。

第二章简述了图像的基础知识，并详细阐述了基于偏微分方程的三种修复模型：BSCB、TV、CDD，和基于纹理修复的两种经典算法：非参数采样的纹理合成和基于块的纹理合成。

第三章详细分析了Criminisi算法的优缺点，然后针对这些缺陷，提出了自己的改进方式。

第四章给出本文针对Criminisi算法进行改进后的仿真实验结果，并和其它算法进行了对比，证明改进的合理性。

第五章对本文研究工作进行总结并提出了一些需要继续深入研究的问题。

第二章 数字图像修复

第二章 数字图像修复

上一章简要介绍了图像修复的起源，以及对其发展现状做了简要描述。本章将首先对图像的基本知识、图像修复问题以及图像修复问题的三个基本原则进行简单介绍，然后详细讲述当前流行的几种图像修复算法即数学模型，为下一章的改进算法做好准备。

2.1 图像的基础知识

本小节将介绍图像修复中要使用到的一些图像基本知识，包括颜色直方图[25]、对于一副彩色图像而言，知道对于每个像素点，其常用的表示方式是通过R、

灰度图等。

G、B三个颜色通道来表示，每个颜色通道的取值在0到255之间，因而一个像素点的值能达到1600多万。将彩色图像转换成灰度图像的过程称为灰度化处理，灰度图像是每个像素点只有一个颜色采样的图像，所以其取值范围只能在0到255之间，是R、G、B三个分量都相同的一种特殊彩色图像。灰度图像与彩色图像一样，同样能反映图片中局部和整体的结构、纹理、亮度等图像信息，同时与彩色图像相比，计算量大幅缩小。

颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。颜色特征应用最为广泛，是人类识别图像的主要感知特征，也是人对图像的第一印象。与其他的视觉特征相比，颜色特征对一副图片的缩放、旋转、视觉角度的依赖较小，所以颜色特征是最显著、最可靠、也最稳定的视觉特征，从而具有较高的鲁棒性。

颜色直方图反映的是图像中颜色的组成分布，即出现了哪些颜色以及各种颜色出现的概率，Swain和Ballard最先提出了使用颜色直方图作为图像颜色特征的表示方法。直方图具有旋转不变性和缩放不变性，即说明在旋转和缩放过程中没有信息的丢失和增加。而且直方图对视觉角度的变化，其变化很小，所以一个三维物体可以通过很少数量的直方图来展示。如图2-2所示，三张图片的直方图在细节上出现了少许的差异，但在总体形态和能量分布上是十分相似的。

有了图像的颜色直方图，我们根据直方图的不变性，可以通过直方图的相似性来判断两幅图片的相似程度，这为寻找相似图片提供了有效的手段。而有多种方

7

电子科技大学硕士学位论文

法来度量两个图片颜色直方图间的相似性，包括直方图相交法，直方图匹配法，直方图间的矢量距离等。

图2-2 直方图的旋转不变性和缩放不变性

2.2图像修复问题及修复原则 2.2.1 图像修复问题描述

一般的，图像处理的基本模型可以表示成输入输出模型，如图2-3所示。

图2-3 图像处理基本模型

其中，输入U0是待处理的图像，T为线性或非线性的图像处理器，如去噪，放大，压缩，修复等，U为处理结果。

图像修复是利用图像中的已知信息，修补图像中丢失信息，从而得到完整图像的过程。设I0表示完整的矩形图像，?为受损或者丢失区域，?为图像已知即未受损区域，??为缺失区域边界，如图2-4所示。

图2-4图像修复问题

第二章 数字图像修复

一般情况下，图像修复分为两个步骤，第一：确定待修复区域?，这可通过人工或计算机决定；第二：利用?(即I0-?)内的已知信息，通过各种修复算法来填充未知区域?，从而得到一副完整看似未受损的图像。图像修复一般有以下两个特点：

1) 图像修复是一个病态问题。因为没有充分足够的信息来保证修复结果的惟 一性，任何数据的微小变动都会造成问题解的不确定性。而且，一副图像中可能包含丰富的纹理结构等信息，这些信息不符合任何分布，所以很难找到一个通用算法，能同时兼顾图像的纹理和结构，针对不同的角度，不同的算法能达到不同的效果。同时，图像修复解的合理性是按照人类视觉来刻画，遵从人类视觉和心理，所以图像修复是将图像信息和视觉信息等结合起来得到的解。

2) 当缺失区域是一整块时，那么对图像缺失区域的信息时完全未知的，因此 只能在人类视觉的判断下，通过已知区域的信息来猜测缺失区域的信息，这即是视觉研究中的―最佳猜测‖。最佳猜测原理[26]指出，人类视觉系统感觉到的就是对世界信息形态的最佳猜测。根据最佳猜测原理，图像修复的问题可以转化为求贝叶斯最大后验概率的问题[27]。在贝叶斯概率公式下，使得图像修复结果与完整图像最为相似，即相似概率最大。根据贝叶斯公式，则：

P(I|I0,?)?P(I0|I,?)P(I|?)(2-1)

P(I0|?)

其中，I是修复后的结果，I0为待处理图像，?为图像中的缺失区域，

P(I|I0,?）越大，那么修复结果与原图则越相似。

2.2.2 图像修复原则

通过上面对图像修复问题的简要描述可以知道，在修复过程中，缺少明显的信息来确定待修复区域里应该填充什么东西。图像修复过程是一个非常主观的过程，从不同的角度考虑，得到的解也不相同，所以目前缺少一个统一的算法，能保证修复结果。Bertalmio等人在咨询专业的文物管理员后，提出了以下四个基本原则来指导修复过程：

1) 图像的整体决定了如何修复缺失区域，修复的目的就是为了保证图像整体

的一致性；

2) 待修复区域周围的结构信息通过信息传播延伸到待修复区域内部，这样就

能修复断裂物体的边界曲线；

9

电子科技大学硕士学位论文

3) 在待修复区域内部，对于不同的位置，其颜色和结构应该与相应周围的颜

色信息相匹配

4) 同时还必须考虑微小的细节，需要将纹理考虑进去

上述四个基本原则，第（1）条原则很难实现。因为图像修复本身就是一个病态性问题，缺少足够的信息来确定解的唯一性，其解的合理性是通过视觉来判断的，与人类的视觉心理紧密联系。而第（4）条原则，对于基于PDE方程的修复方式，根据PDE的信息扩散原理，也很难满足这条原则。第一个基于偏微分方程的修复模型BSCB便是通过不断对第（2）条和第（3）条原则进行迭代，达到收敛时即完成修复过程。

Chen等人在2002年针对非纹理图像首次提出了局部修复的概念。局部修复意味着修复模型不再依赖于图像的全局特征或模式识别，而仅仅依赖于待修复区域周围的信息，并从人类视觉的观点考虑了局部性对修复模型的影响，从而提出了以下三个修复原则:

1) 修复模型应该是局部的。因为模型限制了不能考虑全局信息，因而待修复

区域的内容完全由它周边的已知信息来决定；

2) 修复模型应该能够修复狭窄的光滑的受损边缘。模型必须考虑边缘修复，

因为边缘对物体的识别和图像分割至关重要，这只限制于狭窄边缘，对于受损区域较大的边缘情况，模型通常而言是无法修复的；

3) 修复模型必须对噪声具有较强的鲁棒性。根据人类视觉而言，从含有噪声

的数据中提取干净的特征并将它们扩展到待修复区域是很容易的。 通过以上的修复原则，可以知道，图像修复本身就是一个病态问题，不存在一个通用的模型能够处理所有的受损图片。

2.3 基于偏微分方程的图像修复

偏微分方程（PDE）进入图像处理[28][29]领域是从上世纪70年代开始，起源于Koenderink和Witkin各自独立的研究，其主要思想是利用物理学中的热扩散方程，将待修复区域周围的信息向待修复区域传播。PDE为图像处理问题提供了统一的理论框架，几乎涉及所有图像处理领域，PDE最早用于图像处理领域中的图像分割和图像增强，在2000年，Bertalmio 等人率先把PDE引入图像修复领域，并取得很好的效果，开辟了图像修复领域的一个新天地，引起众多学者的兴趣和对其

的深入研究。其中，较为经典的PDE模型有BSCB模型，TV模型和CDD模型。

第二章 数字图像修复

2.3.1 BSCB模型及原理

BSCB模型是Bertalmio，Sapiro，Caselles和Ballester[1]提出，他们第一次把PDE模型引入图像修复领域并取得巨大成功。Bertalmio等首先咨询博物馆的管理员如何手工进行图像修复，然后将其用数学和算法表达出来，并采用迭代的方法，所以其实质就是模拟手工进行修复的过程。该算法一旦选定待修复区域后就不需要任何人工交互，适用于修复图像中的结构部分。令离散二维灰度图

I0(i,j):[0,M]?[0,N]?R为受损图像，且[0,M]?[0,N]?N?N，因为采用的是不断迭代的过程，所以在修复过程中，会产生一系列的中间图像集合

I(i,j,n):[0,M]?[0,N]?N?R，初始时，有I(i,j,0)?I0(i,j)，并且有：

limn??I(i,j,n)?IR(i,j) (2-2)

其中，IR(i,j)是最终的修复结果。因此，BSCB模型的迭代方程式如下：

In?1(i,j)?In(i,j)??tItn(i,j),?(i,j)?? (2-3)

其中，n是迭代次数，(i,j)是像素点的坐标，?t为迭代速率，Itn(i,j)表示每次迭代的更新值，?是待修复区域。n越大，表示迭代次数越多，最后得到的结果也就更精确，算法运行时间也就越长。当n越大增大到一定数量时，算法收敛，即

In?1(i,j)?In(i,j)，到达此时，算法结束。

在修复过程中，需要将待修复区域边界上中断的线条给连续起来，换句话说，该算法需要将带修复区域周围已知的信息平滑的传进待修复区域内部。令Ln(i,j)是需要传播的信息，N(i,j)是信息传播的方向，因此有：

nItn(i,j)??Ln(i,j)?N(i,j) (2-4)

其中，?Ln(i,j)是Ln(i,j)的变化率。当n足够大时，迭代达到稳定状态，即

nnIn?1(i,j)?In(i,j)，根据公式2-3和2-4，可知：?Ln(i,j)?N(i,j)?0，这表示信息已经沿着方向N(i,j)传播进待修复区域了。

因为希望扩散过程尽可能的平滑，所以Ln(i,j)在文中被刻画成图像的平滑度，

nn并以拉普拉斯算子实现，即：Ln(i,j):?Ixx(i,j)?Iyy(i,j)。为了计算Ln(i,j)沿方向

nN(i,j)的变化率，就必须首先确定信息的传播方向，即N(i,j)的值，作者选择的是沿着等照度线的方向。等照度线是一条灰度值相等的曲线，即颜色变化最小的曲线。令在点(i,j)处的离散梯度是?In(i,j)，梯度反应的是在该点色彩空间（灰

nn 11

本文来源：https://www.bwwdw.com/article/zvg2.html