局部不变特征综述

局部不变特征综述

第16卷 第2期2011年2月

中国图象图形学报JournalofImageandGraphics

Vo.l16,No.2

Feb.,2011

中图法分类号:TP391.4 文献标志码:A 文章编号:1006 8961(2011)02 0141 11

论文索引信息:孙浩,王程,王润生.局部不变特征综述[J].中国图象图形学报,2011,16(2):141 151

局部不变特征综述

孙浩,王程

1)

1)1),2)

,王润生

2)

1)

(国防科学技术大学ATR国家重点实验室,长沙 410073) (厦门大学计算机科学系,厦门 361005)

摘 要:局部不变特征是近年来计算机视觉领域的研究热点。局部不变特征在宽基线匹配、特定目标识别、目标类别识别、图像及视频检索、机器人导航、场景分类、纹理识别和数据挖掘等多个领域得到了广泛的应用。本文基于局部不变特征检测、局部不变特征描述和局部不变特征匹配3个基本问题,综述了文献中现有的局部不变特征研究方法,并比较了各类方法的优缺点。根据特征层次的不同,局部不变特征检测方法可以分为角点不变特征、blob不变特征和区域不变特征检测方法3类。局部不变特征的描述方法可以分为基于分布的描述方法、基于滤波的描述方法、基于矩的描述方法和其他描述方法。局部不变特征匹配的研究主要集中在相似性度量、匹配策略和匹配验证3个方面。最后在分析各类研究方法的基础上,总结了局部不变特征研究目前存在的一些问题及可能的发展方向。关键词:局部不变特征;局部不变特征检测;局部不变特征描述;局部不变特征匹配

Areviewoflocalinvariantfeatures

SunHao,WangCheng

1)

2)

1)1),2)

,WangRunsheng

1)

(StateKeyLaboratoryofATR,NationalUniversityofDefenseTechnology,Changsha410073China)

(DepartmentofComputerScience,XiamenUniversity,Xiamen361005China)

Abstract:Localinvariantfeaturesarereceivingincreasingattentionfromcomputervisionresearchcommunity.Local

invariantfeatureshavebeenwidelyutilizedinalargenumberofapplications,e.g.,widebaselinematching,object

recognition,andcategorization,imageretrieva,lvisualsearch,robotlocalization,sceneclassification,texturerecognitionanddatamining.Thispapergivesanoverviewofthevariousapproachesandpropertiesoflocalinvariantfeatures.Wefocusonthreemajorareas:(1)localinvariantfeaturedetectors,(2)localinvariantfeaturedescriptors,and(3)localinvariantfeaturematching.Mostoftheexistinglocalinvariantfeaturedetectorscanbecategorizedintocornerdetectors,blobdetectorsorregiondetectors.Localdescriptorscanbecategorizedintodistribution based,

filter based,moment based

descriptorsandothersdescriptors.Similaritymeasurement,matchingstrategyandmatchingverificationarethreekeycomponentsofrobustmatchingalgorithms.Finally,someresearchchallengesandfuturedirectionsarediscussed.Keywords:localinvariantfeatures;featurematching

localinvariantfeaturedetector;

localinvariantfeaturedescriptors;

localinvariant

研究可以追溯到20世纪70年代的Moravec算

0 引 言

图像局部特征的研究已经有很长的历史,早期

收稿日期:2009 05 18;修回日期:2009 11 04基金项目:国家自然科学基金项目(40971245)。

子

[1]

。文献中存在大量关于角点、边缘、blob和区

域等局部特征的研究方法。近年来区分性强、对多

种几何和光度变换具有不变性的局部不变特征在宽

第一作者简介:孙浩(1984 ),男。国防科学技术大学电子科学与技术专业博士研究生,研究领域包括图像分析、理解与信息融合。E mai:lclhaosun@gmai.lcom。

,t@http://www.77cn.com.cn。

局部不变特征综述

142

中国图象图形学报 http://www.77cn.com.cn

[2 4]

第16卷

基线匹配别

[9 10]

、特定目标识别

[11 13]

[16 17]

[5 8]

、目标类别识

[14]

、图像及视频检索、纹理识别

、机器人导航

[18]

、场景

1 相关概念

局部不变特征研究涉及很多概念,本节首先从数学形式上对局部不变特征进行了描述,然后阐述了局部不变特征的主要性质。由于文献中大量的研究是关于局部特征对平面几何变换和光度变换的不变性研究,本节介绍了几何变换例介绍了光度变换

[20]

[19]

分类

[15]

和数据挖掘等多个领域

内获得广泛的应用,是国内外的研究热点。

局部不变特征是指局部特征的检测或描述对图像的各种变化,例如几何变换、光度变换、卷积变换、视角变化等保持不变。局部不变特征的基本思想是提取图像内容的本质属性特征,这些特征与图像内容的具体表现形式无关或具有自适应性(即表现形式变化时特征提取自适应的变化以描述相同的图像内容)。局部不变特征通常存在一个局部支撑邻域,与经典的图像分割算法不同,局部支撑邻域可能是图像的任何子集,支撑区域的边界不一定对应图像外观(例如颜色或纹理)的变化。

局部不变特征不仅能够在观测条件变化大、遮挡和杂乱干扰的情况下获得可靠的匹配,而且能够有效的描述图像内容进行图像检索或场景、目标识别等。局部不变特征可以克服语义层次图像分割的需要。从复杂背景中分割出前景目标是十分困难的课题,基于低层特征的方法很难实现有意义的分割,把图像内容表示为局部不变区域的集合(多个区域可能存在重合,图像中一些部分也可能不存在局部不变区域),可以回避分割问题。基于局部不变特征的方法本质上是对图像内容进行隐式分割,局部不变特征既可能位于感兴趣的前景目标上也可能位于背景或目标边界上,后续的高层处理需要基于局部不变特征提取感兴趣的信息。

局部不变特征的研究包含3个基本问题:一是局部不变特征的检测,二是局部不变特征的描述,三是局部不变特征的匹配。根据不同的准则,局部不变特征的研究方法可以分为不同的类别,按照使用的色调空间的不同可以分为局部灰度不变特征和局部彩色不变特征;按照特征层次的不同可以分为角点不变特征、blob不变特征和区域不变特征;按照几何变换不变性的自由度可以分为平移不变特征、旋转不变特征、尺度不变特征、欧氏不变特征、相似不变特征、仿射不变特征和投影不变特征;按照处理思路的不同可以分为基于轮廓曲率的不变特征、基于灰度梯度、灰度变化和显著性的不变特征,基于生物视觉启发的不变特征,基于多尺度的不变特征和基的概念并列举了

4种常见的平面几何变换及其性质,以RGB空间为

的概念。局部不变特征尺度

不变特性的研究是基于图像的多尺度表示及自动尺度选择,最后给出了尺度空间的描述及其基本定义。1.1 局部不变特征

图像函数表示为f(x,y),g (f)为定义在图像局部邻域 上的特征函数,H(f)表示对图像进行的各种变换。特征函数g (f)对变换H具有不变性是指对任意的图像函数f,满足:

g (f)=g (H(f))

(1)

特征函数g (f)对变换H具有不变性时提取的特征为局部不变特征,其中特征不变性的自由度由H的自由度决定。

1.2 局部不变特征性质

局部不变特征应该具有以下特性:

1)重复性 相同场景或目标在不同成像条件下图像提取的局部不变特征应该是相同的;

2)区分性 局部不变特征应包含较大的灰度或色度模式变化,易于区分;

3)局部性 局部不变特征应具有局部性,减小遮挡的概率,同时可以采用简单的变换模型对图像间的变换进行近似建模;

4)精确性 局部不变特征应可以在空域、尺度域及形状域上精确定位;

5)不变性 局部不变特征的检测和描述对各种变换应具有不变性;

6)鲁棒性 局部不变特征的检测和描述应对图像噪声、量化误差、模糊等不敏感。1.3 几何变换

几何变换作用于图像平面空间坐标换矩阵用Hg表示,则几何变换可表示为

(x ,y ,1)

T

[19]

,假设变

(2)

=Hg(x,y,1)

T

局部不变特征综述

第2期

表1 平面几何变换及其性质

孙浩等:局部不变特征综述 143

是在图像中定位感兴趣的点、blob、边缘或区域。按照特征层次的不同,文献中的局部不变特征检测算法可分为角点不变特征、blob不变特征和区域不变特征检测算法3类。2.1 角点特征2.1.1 Moravec算子

Moravec算子

[1]

Tab.1 Planartransformationproperties

类别

变换矩阵r11

欧氏变换

r210sr11

相似变换

sr210a11

仿射变换

a210h11

投影变换

h21h31

r12r220sr12sr220a12a220h12h22h32

txty1txty1txty1h13h23h33

8

共线性距离比的比

6

平行

平行线距离比面积比

4

距离比值角度

3自由度

不变量距离面积

通过滑动二值的矩形窗口寻找

最小灰度变化的局部最大值。Moravec算子定义一个像素点为角点的条件是该像素点在各个方向上都具有较大的灰度变化。Moravec算子的缺点是由于窗口的滑动只在每个45 方向故算子响应具有非等方性,容易检测边缘上的点。Moravec算子具有平移变换不变性。2.1.2 Harris算子

Harris算子

[22]

,也称为Plessey算子,是由

1.4 光度变换

光度变换作用于像素的灰度或色度值RGB颜色空间为例,光度变换可以表示为

r2g2=b2

标量照度因子。1.5 尺度空间

尺度空间理论是多尺度图像表示的框架

[21][20]

Harris和Stephens为了改善Moravec算子性能提出

,以

的。Harris算子以二阶矩阵(又称为自相关矩阵)为基础,二阶矩阵描述了像素点局部邻域内的梯度分布信息:

(3)

M= ( I)*

2

D

r00

0 g0

00 b

r1g1+b1

r g Ix(x, D)IxIy(x, D)

2

IxIy(x, D)I(x, D)

2

y

(5)

式中r,g,b为RGB空间的3种彩色波段, 和 为

二阶矩阵通过差分尺度为 D的高斯核进行局部图像导数的计算,然后利用积分尺度为 I的高斯平滑窗对像素点局部邻域内的导数进行加权平均,Harris

,其

算子采用角点响应函数作为检测角点特征的依据:

c=detM- tr(M)

式中 常取0.04。

Harris算子具有平移和旋转不变性,对光照条件的变化不敏感。在文献[23]的角点特征的比较实验中,Harris角点特征的重复性和区分性被证明是最好的。通过在局部极值点的邻域内对角点响应函数进行二次逼近,Harris算子可以达到亚像素的定位精度。2.1.3 SUSAN算子

考虑到基于局部梯度的方法对噪声影响比较敏感而且计算量大,Smith和Brady

[24]

基本思想是描述自然界目标的多尺度特性,即观测尺度的不同导致对目标特性感知的不同。在无法获得感兴趣尺度的先验信息下,面向未知场景的图像解译算法需要同时考虑多尺度的图像表示。2维图像函数f(x,y)的尺度空间表示L定义为 L(x,y; )=

(6)

f(x- ,y- ) ( , ; )d d (4)

2

式中 表示尺度参数为 的高斯核。在图像的多尺度表示基础上,通过基于尺度空间归一化导数最大化的自动尺度选择,可以实现图像特征提取的尺度不变特性。特征提取算法可以适应不同尺寸的目标、局部结构或目标与成像系统之间距离变化等因素导致的未知尺度变化。

提出了一种基于

形态学的角点特征检测方法。如果多个像素属于同一目标,那么在相对较小的局部邻域内像素的亮度应该是一致的。基于这一假设,SUSAN算子通过在圆形模板区域内进行亮度比较检测角点特征。对于,2 局部不变特征检测

局部不变特征综述

域,以该像素作为中心参照,圆形邻域内的所有像素根据与参照像素的亮度关系,被分类成相似像素和不相似像素。通过这种方式为每个像素点生成一个关联的局部亮度相似性区域,区域的大小包含了该像素点处的图像结构信息,如图1所示,其中圆形邻域内的黑色区域代表相似区域,白色区域代表不相似区域。SUSAN算子定义一个像素点为角点的条件为像素点的关联相似性区域内的像素数达到局部极小值并且小于预先设定的固定门限。SUSAN算

子具有平移和旋转不变性。

思想是当给定函数在尺度上变化时,取得极值时所对应的尺度为局部图像结构的特征尺度。在特征尺度上特征检测算子与局部图像结构达到最大的相似性,通过在特征尺度上进行特征的检测实现特征检测算子的尺度不变特性。Mikolajczyk等人基于自动特征尺度选择的思想提出了Harris Laplace算子

[29]

。Harris Laplace算子首先在空间域上利用

Harris算子的检测角点特征,然后以Laplacian算子为尺度度量在尺度空间上为Harris角点特征选择特征尺度,从而实现特征检测算子对平移、旋转和尺度变换的不变性。图2表示Harris Laplace算子的特征尺度选择,其中(a)(b)为两幅不同焦距下获得的图像(存在尺度变换),(c)(d)为两幅图像对应的Laplacian算子尺度响应曲线,特征尺度分别为10.1和3.9,两幅图像之间的尺度变换因子为2.5,图中所画圆形区域的半径为特征尺度的3倍。Harris Laplace角点特征检测算子对相似变换保持不变。

图1 SUSAN算子Fig.1 SUSANcornerdetector

2.1.4 FAST算子

Rosten等人

[25]

在SUSAN角点特征检测方法基

础上利用机器学习方法提出FAST角点算子。FAST算法包含3个主要步骤:

1)对固定半径圆上的像素进行分割测试,通过逻辑测试可以去处大量的非特征候选点;

2)基于分类的角点特征检测,利用ID3tree分类器

[26]

根据16个特征判决候选点是否为角点特

图2 特征尺度Fig.2 Characteristicscale

征,每个特征的状态为-1,0,1。

3)利用非极大值抑制进行角点特征的验证。FAST角点算子具有平移和旋转不变性、可靠性高、对噪声鲁棒性好、计算量小。2.1.5 Harris Laplace算子

局部邻域泰勒展开可得到Hessian矩阵

H=

Ixx(x, D)Ixy(x, D)

Ixy(x, D

)Iyy(x, D)

[27]

2.2 blob特征2.2.1 Hessian算子

基于Hessian矩阵行列式和迹的度量都具有很好的性质,用于局部特征检测时两者都检测出图像中的blob结构

[30 31]

(7)

。Laplacian是可分离的线性滤

波器,用于blob特征检测时存在一个缺点,即在信号变化主要为一个方向的轮廓或笔直边缘附近常常出现局部极值。由于这些局部极值处的定位对噪声和邻域的纹理变化比较敏感,所以是不稳定的。当Laplacian算子检测的blob结构用于寻找图像特征,式中二阶导数由图像与差分尺度为 D的高斯核进行卷积获得。基于Hessian矩阵行列式和迹的度量都有很好的性质,Hessian矩阵的迹又称为Laplacian算子。

[28]

局部不变特征综述

Hessian矩阵行列式的特征检测算法只能检测出和滤波器尺度对应的固定大小的blob特征。基于Hessian矩阵行列式和迹的blob检测算子对欧氏变换具有不变性。

2.2.2 Hessian Laplace算子

Hessian Laplace算子

[29]

分图像的概念,积分图像可以用来快速地计算Haar小波或box卷积滤波器,SURF算子

[34]

利用积分图

像快速计算近似的Hessian矩阵。SURF算子与Hessian Laplace算子一样基于Hessian矩阵,但Hessian Laplace算子分别采用矩阵行列式和迹检测

的思想与Harris 空间及尺度上的局部极值点,SURF算子利用Hessian矩阵的行列式同时检测空间和尺度上的极值点。SURF算子通过在积分图像基础上引入box滤波器对高斯核进行近似,从而实现Hessian矩阵行列式的快速计算。SURF算子对相似变换具有不变性。

Laplace算子的思想相似,即首先在空间上检测blob结构,然后通过Laplacian算子选择特征尺度以实现对尺度变换的不变性。Hessian Laplace算子对相似变换保持不变性。2.2.3 高斯差分算子

高斯差分算子DoG(differenc of Gaussian)

[32]

2.3 区域特征

2.3.1 Harris/Hessian Affine区域特征

Mikolajczyk

[29]

通过近似Laplacian在图像中检测blob特征。Laplacian在尺度空间理论中也称为扩散方程,它是图像在尺度方向上的导数。尺度方向上相邻点差分是对尺度导数的简单近似,相邻的不同尺度图像之间的差分是对尺度空间导数的近似。当采用高斯卷积来表示不同尺度上的图像时,高斯差分图像通过近似Laplacian of Gaussian实现尺度空间导数,从而避免了在x方向和y方向上的二阶导数的计算,减小了计算量。高斯差分算子的处理流程如图3,首先利用高斯卷积模板对图像进行平滑,平滑后的相邻图像进行组合计算高斯差分图像;然后在差分图像中寻找空间和尺度上的局部极值,利用非极大值抑制和二次方程迭代对检测的特征位置进行筛选和精确定位;最后由于Laplacian对边缘有强响应,利用Hessian矩阵特征值的相对强弱滤除边缘点。高斯差分算子计算速度快,

对相似变换具有不变性。

提出了Harris/Hessian仿射不变

区域特征,其算法的具体流程为

1)利用Harris角点响应函数或Hessian矩阵的行列式进行空间域上感兴趣点的提取;

2)利用Laplacian算子寻找感兴趣点在尺度空间上的特征尺度;

3)通过二阶矩阵的特征值和特征向量为感兴趣点估计仿射区域;

4)归一化仿射区域为圆形区域;

5)提取归一化后的感兴趣点的空间位置和特征尺度;

6)如果归一化后感兴趣点的二阶矩阵的特征值不相等,则返回步骤3);2.3.2 基于边缘的区域特征

基于边缘的区域特征EBR

[2]

利用Harris角点

局部邻域内的边缘几何信息来构建仿射不变特性,其理由是1)边缘在仿射变换下稳定,对视角、尺度和光照的变化有很好的适应性;2)利用边缘几何可以减小处理问题的维数,6D的仿射问题变成1D的边缘几何问题。图4表示基于边缘的区域特征提取,其算法具体流程如下:

1)检测Harris角点p(x,y),通过Canny边缘算子提取相邻的边缘p p1,p p2;

图3 高斯差分算子

Fig.3 DifferenceofGaussiandetector

2)p1(x,y),p2(x,y)偏移p(x,y)的速度与相对仿射参数l1,l2的关系为

li=

2.2.4 SURF算子

[33]

abs(|pi(si) p-pi(si)|)dsi

i(1)

(8)

局部不变特征综述

式中si为任意的曲线参数,对于每一个l(l1=l2),p(x,y),p1(x,y),p2(x,y)定义一个区域 (l),

(l)是由p p1,p p2扩展的平行四边形;

3)当区域 (l)覆盖的局部图像的光度度量达到极值时,停止p1(x,y),p2(x,y)的偏移

;

图6 基于灰度的区域特征

Fig.6

IBRfeature

密度函数提取显著性区域,算法的流程为

1)在每个像素p(x,y)处,计算以p(x,y)为中

图4 基于边缘的区域特征

Fig.4 EBRfeature

心,尺度为s,方向为 ,主轴比为 的椭圆区域的灰

度概率密度函数p(I)的熵;

2)寻找尺度空间上的熵极值,记录(s, , )为候选的显著性区域,熵定义为

=-度求偏导

w=

2s-1

2

II

2.3.3 基于灰度的区域特征

Tuytelaars等人提出了灰度区域特征IBR,其思想是基于多尺度灰度极值检测进行区域提取,算法流程为首先利用非极大值抑制进行局部灰度极值的检测,以检测到的极值点为中心定义一个放射性灰度函数

fI(t)=|I(t)-I0|(max(t

-1

[2]

p(I)logp(I)(10)

3)每个极值处概率密度函数p(I;s, , )对尺

p(I;s, , )

(11)

t

|I(t)-I0|dt,d))

-1

4)计算椭圆区域的显著性y=Hw并根据显著性排序,保留前P个区域为显著性区域;

2.3.5 MSER区域特征

MSER(maximallystableextremalregion)区域特征由Matas等人

[36]

(9)

式中t为沿射线的距离参数,I(t)为t处的灰度,I0

为局部灰度极值,d为非零常数。

如图5所示,通过连接放射线上所有放射性灰

度函数的最值点形成一个局部仿射不变区域。

提出,其实现思想类似于分水岭

图像分割算法。通过不断的改变门限对图像进行二值化分割,算法提取那些在一系列门限下面积稳定的区域作为最稳定极值区域特征。

MSER特征提取的结果是任意形状的区域特征,区域由包含它的边界像素点来定义,区域内的像素灰度值一致的低于或高于其区域外的灰度值。MSER的一个主要优点就是它对连续或非线性的空间变换都有很好的鲁棒性。

以上分别介绍了角点不变特征、blob不变特征、区域不变特征的检测方法及其主要性质,由上文对局部不变特征检测方法的讨论可以得出以下两点结论:

1)角点特征与blob特征具有良好的互补特性,实际应用中应结合使用;

2)特征不变性自由度的增加通常是以算法的复杂度增加、计算量增加、特征重复性下降等为代图5 仿射不变区域Fig.5 Affine invariantregion

通常由最值点连接成的局部仿射不变区域是不规则的需要利用矩特征进行椭圆拟和。图6为基于

灰度的区域特征提取算法的流程图。

2.3.4 基于显著性的区域特征(SalientRegions)

[35]

局部不变特征综述

[38]

表2总结了以上不变特征检测方法及主要性质。

表2 不变特征检测算子及其性质Tab.2 InvariantFeaturedetectorsproperties

特征算子MoravecHarrisSUSANFASTHarris LaplaceHessianHessian LaplaceDoGSURFHarris AffineHessian AffineEBRIBR

SalientRegionsMSER

类别角点角点角点角点角点blobblobblobblob区域区域区域区域区域区域

自由度重复性233343444666666

中高中中高中中中中高中高中低高

计算时间短短短短中中中短短中中长中长短

定位精度中高中中高中中中低高中高中低高

鲁棒性中高中高中中高中中中高低中中中

Ke和Sukthankar在SIFT描述符基础上提出

了PCA SIFT描述符,PCA SIFT描述符比SIFT描述符简单,计算量小,但在特征向量的降维过程中特征描述符的区分性下降。在特征点的特征尺度上以梯度主方向为参照提取的PCA SIFT描述符对相似变换具有不变性。

GLOH(gradientlocationorientationhistogram)描述符

[37]

是SIFT描述符的扩展,其区分性和鲁棒性

都优于SIFT描述符。GLOH描述符对相似变换具有不变性。

Belongie等人

[6]

提出了Shapecontext描述符,

其思想与SIFT描述符类似。Shapecontext描述符可以视为边缘点位置和方向的3D直方图统计,可以有效的对轮廓信息进行描述,它在形状匹配和目标识别领域得到广泛应用。

Johnson和Hebert

[39]

面向3维目标识别中提出

了spinimage描述符。灰度域的spinimage描述了区域内像素灰度值i和像素到区域中心距离d的分布信息,是2D的灰度直方图。图8为spinimage描述符的计算,其中左图为图像块,右图为对应的spinmage描述符。i

3 局部不变特征描述

特征描述是特征匹配的前提,特征描述的目的是量化特征的属性以表述特征信息。文献中存在大量的局部不变特征描述方法,大致可以分为基于分布的特征描述方法、基于滤波的特征描述方法、基于矩的特征描述方法和其他描述方法。

3.1 基于分布的描述方法

Lowe提出的SIFT(scaleinvariantfeaturetransform)特征

[32]

,SIFT特征描述符在文献[37]的

图8 Spinimage描述符Fig.8 Spinimagedescriptors

特征描述符性能比较实验中多数情况下优于其他特征描述符。图7为SIFT特征描述符的示意图,其中,size为空间采样的大小以像素为单位,SIFT描述符是梯度位置和方向的3D直方图。在SIFT特征点

(DoG算子提取)的特征尺度上以梯度主方向为参照的SIFT描述符,

对相似变换具有不变性。

3.2 基于滤波的描述方法

Freeman和Adelson

[40]

提出了不同类别的

[41]

steerable滤波器,通过组合steerable滤波器获得旋转不变的区域特征描述。Baumberg

[3]

基于复数滤

波器进行宽基线下的特征匹配。Schaffalitzky和Zisserman利用复数滤波器进行局部特征的描述。图9表示16种复数滤波器的响应,滤波器的响应与高斯导数相似,具有旋转不变性。3.3 基于矩的描述方法

Fig.7 SIFTdescriptors

局部不变特征综述

4 局部不变特征匹配

特征匹配是图像配准、目标识别等多种应用的前提,特征匹配的目的是量化特征向量之间的差异以识别相似或区分不同的特征。关于局部不变特征匹配的研究主要集中在相似性度量,匹配策略和匹配验证3个方面。

针对不同的特征描述方法,应选择适合的相似性度量。相似性度量不但要能有效的区分不同特征向量之间的差别而且要对相同特征向量之间的类内

图9 复数滤波器描述符Fig.9 Complexfilterdescriptors

变化具有鲁棒性。相似性度量

[45 46]

的选择反应了

度量特征对之间相似性的不变特性。常用的相似性度量有相关系数,欧氏距离,直方图相交,EMD(earthmovingdistance)距离

[47 48]

矩

[42]

。矩可以定义在任意的2D、3D和高维空间,

直接作用于二值图像、灰度图像、彩色图像或图像局部特征上。2D矩的一般定义式可写为

Mpq=

,二次式距离和马

氏距离等。直方图相交、二次式距离和EMD距离常

(12)

用来比较直方图特征向量之间的差异性,欧氏距离适用于特征向量的各分量之间是正交无关的且各维度的重要程度相同的情况,马氏距离适用于特征向量的各个分量间具有相关性或者具有不同权重的情况。

[43]

(x,y)g(f(x,y))dxdy

pq

p,q=0,1,2,

式中f(x,y)为图像函数,g(f(x,y))为特征函数, pq(x,y)为核函数, 为定义区域。

矩不变量可以分为非正交矩和正交矩两类

。

常用的非正交矩有几何矩、旋转矩和复合矩等。正交矩又可以分为连续正交矩和离散正交矩,其中连续正交矩有Ledengdre矩(LM)、Zernike矩(ZM)和Pseudo Zernike矩(PZM)等,离散正交矩有Tchebichef矩(TM)、Krawtchouk矩(KM)、Racah矩(RAM)和DualHahn矩(DHM)等。表3列举了各种矩不变量描述符及其主要性质

[43 44]

高效的匹配策略可以大大节省高维特征向量之间匹配时间。高维特征空间中最近邻或k最近邻一般被认为是待匹配特征向量的候选匹配。高维空间中如何有效地搜寻最近邻或k最近邻目前仍是一个开放的课题法

[49]

[49]

,目前文献中常用的搜索方法有基于

[49]

kd trees的搜索方法,基于balltrees的搜索方

[50]

,基于LSH(localitysensitivehashing)的搜

[51 52]

。索方法和ANN(approximatenearestneighbour)

表3 矩不变量及其性质Tab.3 Momentinvariantsproperties

名称几何矩复合矩旋转矩LM矩ZM矩PZM矩TM矩KM矩RAM矩平移不变不变变化不变不变变化不变不变不变旋转变化不变不变变化不变不变变化变化变化尺度不变不变不变不变不变不变不变变化变化卷积不变不变不变变化变化变化变化变化变化鲁棒性低低低低中中中高高

快速搜索算法等。高维特征空间中相似性度量计算量大,可以将高维特征向量投影变换到线性空间或者进行降维处理

[54]

[53]

以提高匹配效率。

由于图像间存在各种几何及光度变换、噪声、量化误差及图像中可能存在相似的局部结构等多种因素的影响,基于相似性度量的特征匹配结果中可能存在错误的匹配,需要引入其他的约束对匹配的结果进行验证。文献中常用的约束有局部平面结构约束束

[27][2]

、极线几何约束

[36]

、全局约束和几何光度约

等。

在图像、视频检索及目标识别等领域应用较多

局部不变特征综述

法、基于最近邻的匹配方法和基于最近邻距离比率的匹配方法。3种方法各有优缺点,其中基于门限的匹配方法简单计算量小,基于最近邻距离比率的匹配方法准确性高,实际应用中应根据具体的应用背景进行匹配策略的选择。

onaffineinvariantregions[J].InternationalJournalofComputerVision,2004,59(1):61 85.

[3] SchaffalitzkyF,ZissermanA.Multi viewmatchingforunordered

magesets[C]//Proceedingsofthe7thEuropeanConferenceoni

ComputerVision.Cambridge,MA,USA:MITPress,2002:414 431.

[4] PritchettP,ZissermanA.Widebaselinestereomatching[C]//

5 结 论

局部不变特征是描述图像内容的重要工具,在宽基线匹配、目标识别、图像及视频检索等多个领域内得到了广泛的应用。基于局部不变特征检测、局部不变特征描述和局部不变特征匹配3个基本问题对文献中的局部不变特征方法进行了回顾和分析,并比较了各类算法的优缺点。尽管目前局部不变特征的研究取得了很大的进步,但仍存在很多挑战。

1)针对不同的应用场景,文献中定义了多种局部不变特征,其中许多方法都是从工程上引出的,算法关键参数的选取很多都是经验值,缺乏理论证明,扩展性差,如何在理论上对局部不变特征进行有效的描述及扩展面临很大挑战。

2)现有的局部不变特征研究方法缺乏语义层次的解释,提取的局部不变特征既可能位于感兴趣目标上也可能位于复杂背景结构上或目标与背景的边界处。如何对局部不变特征进行语义层次的解译面临很大挑战。

3)文献中存在大量的局部不变特征检测和描述方法,其各有优缺点。针对具体的应用,如何根据图像的统计特性自动选择具有互补特性的特征检测及描述方法还面临着很大挑战。

4)局部不变特征的评价体系仍需完善。文献中大量使用的评价准则为重复性和匹配虚警率,对应为局部不变特征重复性和区分性的量化评价,如何对不变特征的局部性、精确性、鲁棒性和不同层次不变特征之间的互补性等性质进行有效的量化评价还面临很大的挑战。参考文献(References)

[1] MoravecH.Towardsautomaticvisualobstacleavoidance[C]//

ProceedingsofInternationalJointConferenceonArtificialIntelligence.NewYork,USA:ACMPress,1977:584.

[ V.wisiwProceedingsofthe6thInternationalConferenceonComputerVision.NewYork,USA:ACMPress,1998:754 760.

[5] LoweDG.Objectrecognitionfromlocalscale invariantfeatures

[C]//Proceedingsofthe7thInternationalConferenceonComputerVision.NewYork,USA:ACMPress,1999:1150 1157.

[6] BelongieS,MalikJ,PuzichaJ.

Shapematchingandobject

IEEETransactionson

recognitionusingshapecontexts[J].522.

PatternAnalysisandMachineIntelligence,2002,24(4):509

[7] JohnsonA,http://www.77cn.com.cningspinimagesforefficientobject

recognitionincluttered3Dscenes[J].449.

[8] ObdrzalekS,MatasJ.Objectrecognitionusinglocalaffine

framesondistinguishedregions[C]//ProceedingsofBritishMachineVisionConference.Oxford,2002:113 122.

[9] MikolajczykK,LeibeB,

SchieleB.Localfeaturesforobject

England:

BMVAPress,

IEEETransactionson

PatternAnalysisandMachineIntelligence,1999,21(5):433

classrecognition[C]//ProceedingsofInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2005:1792 1799.

[10] DorkoG,SchmidC.Selectionofscaleinvariantneighborhoods

forobjectclassrecognition[C]//ProceedingsofInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2003:634 640.

[11] SchmidC,MohrR.Localgrayvalueinvariantsforimageretrieval

[J].

IEEETransactionsonPatternAnalysisandMachine

Intelligence,1997,19(5):530 534.

[12] SivicJ,ZissermanA.Videogoogle:Atextretrievalapproachto

objectmatchinginvideos[C]//ProceedingsofInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2003:1470 1478.

[13] SivicJ,SchaffalitzkyF,ZissermanA.Objectlevelgroupingfor

videoshots[J].

InternationalJournalofComputerVision,

2006,67(2):189 210.

[14] SeS,LoweDG,LittleJ.Mobilerobotlocalizationandmapping

withuncertaintyusingscale invariantvisuallandmarks[J].InternationalJournalofRoboticsResearch,2002,21(8):735 758.

[15] OlivaA,TorralbaA.Modelingtheshapeofthescene:aholistic

sope[t

局部不变特征综述

150

ofComputerVision,2001,42(3):145 175.

[16] VarmaM,

ZissermanA.

A

中国图象图形学报 http://www.77cn.com.cn

[32] LoweDG.

第16卷

Distinctiveimagefeaturesfromscale invariant

statisticalapproachtotexture

InternationalJournalof

a

keypoints[J].InternationalJournalofComputerVision,2004,60(2):91 110.

[33] ViolaP,JonesM.Rapidobjectdetectionusingaboostedcascade

ofsimplefeatures[C]//ProceedingsofInternationalConferenceonComputerVisionandPatternRecognition.Cambridge,MA,USA:MITPress,2001:511 518.

[34] BayH,TuytelaarsT,GoolLV.

SURF:

Speededuprobust

classificationfromsingleimages[J].

[17] RandenT,HusoyJH.

comparativestudy[J].

ComputerVision,2005,62(1/2):61 81.

Filteringfortextureclassification:IEEETransactionsonPatternAnalysis

andMachineIntelligence,1999,21(4):291 310.

[18] SivicJ,ZissermanA.Videodataminingusingconfigurationsof

viewpointinvariantregions[C]//ProceedingsofInternationalConferenceonComputerVisionandPatternRecognition.Cambridge,MA,USA:MITPress,2004:488 495.

[19] HartleyRI,ZissermanA.MultipleViewGeometryinComputer

Vision[M].NewYork:CambridgeUniversityPress,2004:37 44.

[20] LiJ,AllinsonNM.Acomprehensivereviewofcurrentlocal

featuresforcomputervision[J].71(1):1771 1787.

[21] LindebergT.

Scale space[J].

EncyclopediaofComputerNeurocomputing,

2008,

features[C]//ProceedingsofEuropeanConferenceonComputerVision.NewYork,USA:ACMPress,2006:404 417.

[35] KadirT,

ZissermanA,BradyM.Anaffineinvariantsalient

the8thEuropean

regiondetector[C]//Proceedingsof

ConferenceonComputerVision.NewYork,USA:ACMPress,2004:345 457.

[36] MatasJ,ChumO,UrbanM,eta.lRobustwidebaselinestereo

frommaximallystableextremalregions[C]//Proceedingsofthe13thBritishMachineVisionConference.BMVAPress,2002:384 393.

[37] MikolajczykK,

descriptors[J].

SchmidC.AperformanceevaluationoflocalIEEETransactionsonPatternAnalysisand

Oxford,

England:

ScienceandEngineering,2009,IV(1):2495 2504.

[22] HarrisC,StephensM.Acombinedcornerandedgedetector

[C]//ProceedingsofAlveyVisionConference.NewYork,USA:ACMPress,1988:147 151.

[23] SchmidC,MohrR,BauckhageC.Evaluationofinterestpoint

detectors[J].InternationalJournalofComputerVision,2000,37(2):151 172.

[24] SmithSM,BradyJM.SUSAN anewapproachtolowlevel

mageprocessing[J].InternationalJournalofComputerVisioni,1997,23(1):45 78.

[25] RostenE,DrummondT.Machinelearningforhigh speedcorner

detection[C]//ProceedingsofEuropeanConferenceonComputerVision.NewYork,USA:ACMPress,443.

[26] QuinlanJR.Inductionofdecisiontrees[J].MachineLearning,

1986,1(1):81 106.

[27] MikolajczykK,TuytelaarsT,SchmidC,http://www.77cn.com.cncomparisonof

affineregiondetectors[J].

InternationalJournalofComputer

Vision,2005,65(1/2):43 72.

[28] LindebergT.Featuredetectionwithautomaticscaleselection

[J].InternationalJournalofComputerVision,1998,30(2):79 116.

[29] MikolajczykK,SchmidC.Scale&affineinvariantinterestpoint

detectors[J].InternationalJournalofComputerVision,2004,60(1):63 86.

[30] MikolajczykK.

Transformations

InterestPointDetectionInvarianttoAffine[D].

Nice,

France:

Institut

National2006:430

MachineIntelligence,2005,27(10):1615 1630.

[38] KeY,Sukthankar.PCA SIFT:Amoredistinctiverepresentation

forlocalimagedescriptors[C]//ProceedingsofInternationalConferenceonComputerVisionandPatternRecognition.NewYork,USA:ACMPress,2004:506 513.

[39] JohnsonAE,http://www.77cn.com.cningspin imagesforefficientmultiple

modelrecognitionincluttered3Dscenes[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1999,21(5):433 449.

[40] FreemanW,AdelsonE.Thedesignanduseofsteerablefilters

[J].

IEEETransactionsonPatternAnalysisandMachine

Intelligence,1991,13(9):891 906.

[41] BaumbergA.Reliablefeaturematchingacrosswidelyseparated

views[C]//ProceedingsofInternationalConferenceonComputerVisionandPatternRecognition.NewYork,USA:ACMPress,2000:774 781.

[42] HuMK.Visualpatternrecognitionbymomentinvariants[J].

IRETransactionsonInformationTheory,1962,8(1):179 187.

[43] ShuH,LuoL,

mage[J].i

CoatrieuxJL.Moment basedapproachesinIEEEEngineeringinMedicineandBiology

Magazine,2007,26(5):70 74.

[44] BelkasimSO,ShridharM,AhmadiM.Patternrecognitionwith

momentinvariants:

acomparativestudyandnewresults[J].

PatternRecognition,1991,24(1):1117 1138.

[45] RamananD,

BakerS.Localdistancefunctions:

ataxonomy,

PolytechniquedeGrenoble,2002.

[31] TuytelaarsT,MikolajczykK.Localinvariantfeaturedetectors:a

survey[J].FoundationsandTrendsinComputerGraphicsand,newalgorithm,andanevaluation[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2009:49 54.

[B,

BeleS.

Siilaritm

局部不变特征综述

第2期

categorization:

孙浩等:局部不变特征综述

frommonolithictocategoryspecific[C]//

CommunicationsoftheACM,2008,51(1):117 122.

[51] AryaS,MountD.

ANN:

151

ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2009:1 7.

[47] LingH,OkadaK.Anefficientearthmover sdistancealgorithm

forrobusthistogramcomparison[J].

IEEETransactionson

PatternAnalysisandMachineIntelligence,2007,29(5):840 853.

[48] PeleO,WermanM.Fastandrobustearthmover sdistances

[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork,USA:ACMPress,126.

[49] DarrellT,IndykP,ShakhnarovichG.NearestNeighborMethods

inLearningandVision:TheoryandPractice[M].Cambridge:MITPress,2006:12 44.

[50] AndoniA,

IndykP.

Near optimalhashingalgorithmsfor

inhighdimensions[J].

2009:121

Libraryforapproximatenearest

neighborsearching[EB/OL][2009 11 05].http://www.cs.umd.edu/~mount/ANN/.

[52] MujaM,LoweDG.Fastapproximatenearestneighborswith

automaticalgorithm

configuration[C]//Proceedingsofthe

FourthInternationalConferenceonComputerVisionTheoryandApplications.NewYork,USA:ACMPress,2009:331 340.

[53] MikolajczykK,MatasJ.

mprovingdescriptorsforfasttreeI

matchingbyoptimallinearprojection[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2007:1 7.

[54] CalonderM,LepetitV,FuaP,

eta.lCompactsignaturesfor

high speedinterestpointdetectionandmatching[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.NewYork,USA:ACMPress,2009:357 364.

approximatenearestneighbor

本文来源：https://www.bwwdw.com/article/9cch.html