基于多特征融合的敌对目标检测新方法

基于多特征融合的敌对目标识别新方法

马翔1 , 彭进业2

12

(偏转集团 信息中心,咸阳 712000) (西北工业大学 电子学院,西安 710072)

摘 要: 本论文提出了一种基于HSV颜色直方图、一二三阶颜色矩、Gabor小波和SIFT特征描述子的多特征融合方法,以实现防空战争的提前预警和及时打击功能。在目标分类过程,针对SIFT特征描述子,论文使用最新的金子塔匹配核.通过在Caltech 101数据库的实验,采用SVM分类器,证明该方法在目标识别方面性能有很大的提高. 关键词: 目标识别;SVM;SIFT;金字塔匹配核;

Enemy Target Recognition Based on Multi-Feature Fusion

MA XIANG

Abstract: This paper presents a multi-feature fusion method to solve the enemy target recognition problem. In this method we use HSV color histogram, Color Moment, gabor wavelet and SIFT. By using multi-feature fusion and pyramid kernel and testing on Caltech 101 database, the method provide better results than other methods. Key words:

target recognition; SVM;SIFT; pyramid kernel

1 概 述

从海湾战争、科索沃战争到伊拉克战争已经表明,现代战争是高科技战争,防空、防海、防陆战争中,敌我目标的识别是战争成功与否的关键.在对战情的分析中,首先要对所发现的目标进行分析,以便分清"敌方目标","不明目标"和"我方目标",在此基础上才能有效的提高我军高科技战斗力.

针对我军战时获取的图像,通过图像分割,将图像分割成不同的区域.针对各个区域提取目标的特征,通过模式分类方法确定各个区域的类型.在此基础上,形成图像的语义.这将是战时判断敌我目标的一个有效方法.

本文提出了一种基于HSV颜色直方图、一二三阶颜色矩、Gabor小波和SIFT特征描述子的多特征融合方法,以解决敌方目标识别问题.为了验证本文提出的方法,我们主要在国际著名的Caltech 101数据库图像数据库上进行效果测试.

本文其余章节组织如下：第二部分综述采用的方法；第三部分给出了SVM分类所需的图像特征：RGB颜色直方图和颜色矩、Gabor小波、SIFT特征,同时给出了SIFT的金字塔核方法.第四部分在的Caltech 101数据库图像数据库进行实验,并给出了实验结果.

2 方法综述

本文的目地是为了实现一个简单而实用的敌对目标识别方法.因此,使用HSV颜色直方图、一、二、三阶颜色矩、Gabor小波和SIFT组成SVM特征空间以实现分类,通过多特征融合的方法实现了敌对目标识别.敌对目标识别方法流程如下:

2.1 图像特征的获取.

对每个训练图像集合中的每一个图像,首先生成HSI颜色直方图、一、二、三阶颜色矩和Gabor小波构造第一个SVM特征子空间。然后针对SIFT构造第二个SVM特征子空间。针对这两个SVM特征子空间，分别使用LibSVM进行训练,获取SVM模型信息.使用训练好的SVM模型,多核多特征融合方式分类识别.图1是获取特征空间的过程. 图2是针对特征空间, 多特征多核识别

.

图1 获取特征空间的过程 图2 多特征识别

2.2 负载均衡考虑

在图像推介过程中，需要针对训练图像和待分类图像获取RGB颜色直方图、一、二、三阶颜色矩和Gabor小波、SIFT特征,然后进行SVM训练.在推介过程中,需要模糊化0上下文信息,使用上下文敏感SVM和CF协同工作方式进行推介.因此推介系统需要极高的运算性能和运算内存,在实际处理中通常采取分布使处理，以实现负载均衡。本文采取多个服务器分担两个SVM训练、多核判断处理、协同推介.这些服务器之间通过TCP自定义协议方式进行通讯。分布式处理的过程如图3所示。

图3分布式处理工作过程

3 图像特征获取

利用图像的HSV颜色直方图、颜色矩、Gabor小波和SIFT特征进行目标分类.以此为基础训练三个SVM分类器,形成多判别分类器进行目标识别. 3.1 HSV颜色直方图和颜色矩

提取图像的HSV颜色直方图和图像的颜色矩.HSI颜色空间是直方图最常用的颜色空间,它的三个分量分别代表色彩（Hue）、饱和度（Saturation）和强度(Intensity）. HSI模型是Munseu提出的, 这个模型的建立基于两个重要的事实： ① I分量与图像的彩色信息无关；② H和S分量与人感受颜色的方式是紧密相联的.这些特点使得HSI模型非常适合借助人的视觉系统来感知彩色特性. 公式1为HIS与RGB转换公式.

颜色矩是一种简单而有效的颜色特征,是由Stricker和Oreng提出的,这种方法的数学基础是图像中的任何的颜色分布均可以用它的矩来表示.此外,由于颜色分布信息主要集中在低阶矩中,因此,仅采用颜色的一阶矩(mean)、二阶矩(Variance)和三阶矩(Skewness)就可以表达图像的颜色分布. 公式2为一、二、三阶颜色矩计算

公式.图7 原始图像,图8 HSI颜色直方图(16 bin),图9 颜色矩.

I

13

(R G B)

3R G B

min(R,G,B)

ui

1N

N

P

j 1

ij

s 1

i (

1N1N

N

1

ij

(P

j 1N

ui))2

1

2

H arccos(

)21/2

[(R G) (R B)(G B)]

[(R G) (R B)]/2

Si (

(P

j 1

ij

ui))3

3

公式1 HSI与RGB转换公式 公式2 一、二、三阶颜色矩计算公式

.

图7 原始图像 图8 HSI颜色直方图(16 bin) 图9 颜色矩

3.2 Gabor小波

图像I(Z)=I(x,y)表示图像的灰度分布，则图像I和Gabor小波gu,v的卷积为: O

u,v

(Z) I(Z) gu,v (3)

符号 表示卷积。二维Gabor小波的核函数gu,v[11]定义为:

gu,v K

u,v

ku,v

u.vZ2

2

2

e(e

ik

u,v

Z

e

2

2

) (4)

(kvcos u,kvsin u) (5)

定义了向量范式.在本文中取尺度为4,方向为6.

其中 u,kv分别定义了波向量的方向和尺度，

z=(x,y), 3.3 SIFT特征和同维方法

SIFT是由Lowe提出的图像局部特征描述子,在物体识别方面有很好的应用．SIFT算法具有如下特点： a)SIFT对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

b) 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT实质是一个基于极值点位置和图像方向直方图统计的特征描述子.其实现步骤分为三步：1、极值点位置获取. 2、关键点方向分配. 3、特征点描述子生成.

3.3.1 极值点获取步骤

首先对原图形进行高斯卷积生成尺度空间,获取空间极值点坐标,最后通过曲率精确定位极值点.

1、 使用不同尺度的高斯核,生成图像金子塔. L(x,y, ) G(x,y, ) I(x,y) 这里(x,y)是空间坐

标,

, 是尺度坐标． 决定图像被平滑程度.其中G(x,y

12

2

)是尺度可变高斯函

数．G(x,y, ) e

(x y)/2

222

．

2、 满足在图像二维平面空间和DOG[19]（Difference of Gauss）尺度空间中同时具有局部极值的点作为

SIFT

关键点．DOG

算子定义为两个不同尺度的高斯核的差

分．D(x,y, ) (G(x,y,k ) G(x,y, )) I(x,y) L(x,y,k ) L(x,y, )．

为了寻找尺度空间的极值点,每一个采样点要和它所有的相邻点比较,看其是否比它的图像域和尺度

域的相邻点大或者小.一般采样点要和它处于同一尺度的８个相邻点和上下相邻尺度对应的９×２ 个点共２６个点比较，以确保在尺度空间和二维图像空间都检测到极值点．

3、 上面通过拟和三维二次函数确定了关键点的位置和尺度（达到亚像素精度）．然而因为ＤｏＧ 算子

会产生较强的边缘响应，所以ＳＩＦＴ 算法需要舍弃低对比度的关键点和不稳定的边缘响应点以增强匹配稳定性和提高抗噪声能力．舍弃关键点的依据是：一个定义不好的ＤｏＧ 的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率．主曲率通过一个2x2 的Hessian矩

Dxx

阵H求出: H

DxyDxy

令 为最大特征值， 为最 . DOG的主曲率和H的特征值成正比，

Dyy

2

小的特征值，则Tr(H) Dxx Dyy , Det(H) DxxDyy (Dxy).令 ,则

Tr(H)

22

Det(H)

( )

2

( )

2

2

( 1)

2

.

( 1)

2

的值在两个特征值相等的时候最小，

随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测

一般取 10.

3.3.2 关键点方向分配

Tr(H)

22

Det(H)

<

( 1)

2

.

I

首先针对图像I(x,y),利用关键点邻域像素进行梯度方向计算x

和

Ty

.则(x,y)

点的模值定义为：

.其中L所用的

M(x,y)

其方向定义为：

(x,y) tan(Iy(x,y)/Ix(x,y))

1

尺度为每个关键点各自所在的尺度.

针对图像

I(x,y)

中的所有点

(x,y)

,获取

邻域，并统计

邻域的梯度直方图.梯度直方图的范围是

0～360度,将其分割为 个柱.直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向. 梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。

一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向）,这可以增强匹配的鲁棒性. 一般取

16, 8.通过以上几步, 可检测出图像的ＳＩＦＴ 关键点，每个关键点有三个信息：位置、所处尺

度和方向，由此可以确定一个ＳＩＦＴ 特征区域． 3.3.3 特征点描述子生成

ＳＩＦＴ 描述子是对一个ＳＩＦＴ 特征区域的描述，其生成步骤如下：

1、 首先将坐标轴旋转为ＳＩＦＴ 特征区域的方向，以确保旋转不变性．

2、 接下来以关键点为中心取8×8的窗口。图8左部分的中央黑点为当前关键点的位置，每个小格代表

关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图5右部分所示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

图8 ＳＩＦＴ 特征区域的关键点邻域梯度信息生成ＳＩＦＴ 描述子

实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

3.3.4 SIFT的金字塔方法

原始图形 SIFT图像5913个特征点 原图像 SIFT图像252个特征点 SIFT形成的特征描述子特征点个数不同、无序、而且位置互异.而SVM分类器需要向量同维,因此无法直接使用SVM针对SIFT特征进行分类.

针对该问题,国外进行了很多研究.2007年Kristen提出的金字塔核匹配方法,运算简单而且准确度较高,因此本文采取该方法解决SIFT分类问题.

该方法将特征子数据投影到不同的尺度空间,求同一尺度空间的重叠值.然后再求相邻尺度空间重叠值的

L

交叉值.其采用的核函数如下: K

wN

i

i 0

i

.其核函数具体计算方法如下图.

(a) 点集 (b) 金字塔直方图 (b) 核函数结果

4 实验结果

本文采用Caltech 101数据库作为实验对象,该数据库一共用101种类数据以供识别.本文采用Libsvm作为分类器,其中训练测试样本共3600张图片.图片类型共36种,每种100张.本文采取训练样本和测试样本各占50%进行测试.部分Caltech101数据库图片如下

.

Calth101数据库部分图像

部分测试结果如下:

识别率（%）

References:

[1] S. Agarwal, A. Awan, and D. Roth. Learning to Detect Objects in Images via a Sparse, Part-Based Representation.

In IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 26, pages 1475–1490, November 2004. [2] S. Belongie, J. Malik, and J. Puzicha. Shape Matching and Object Recognition Using Shape Contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(24):509–522, April 2002.

[3] A. Berg, T. Berg, and J. Malik. Shape Matching and Object Recognition using Low Distortion Correspondence. Technical report, U.C. Berkeley, Dec 2004.

[4] S. Boughhorbel, J-P. Tarel, and F. Fleuret. Non-Mercer Kernels for SVM Object Recognition. In British Machine Vision Conference, London, UK, Sept 2004.

[5] C. Chang and C. Lin. LIBSVM: a library for support vector machines, 2001.

[6] O. Chapelle, P. Haffner, and V. Vapnik. SVMs for Histogram-Based Image Classification. Transactions on Neural Networks, 10(5), Sept 1999.

[7] T. Cormen, C. Leiserson, and R. Rivest. Intro. to Algorithms. MIT Press, 1990.11

[8] N. Cristianini and J. Taylor. An Introduction to Support Vector Machines and other Kernel-Based Learning Methods.Cambridge University Press, 2000.

[9] J. Eichhorn and O. Chapelle. Object Categorization with SVM: Kernels for Local Features. Technical report, MPI for Biological Cybernetics, 2004.

[10] L. Fei-Fei, R. Fergus, and P. Perona. Learning Generative Visual Models from Few Training Examples: an Incremental Bayesian Approach Tested on 101 Object Cateories. In Workshop on Generative Model Based Vision, Washington,D.C., June 2004.

[11] T. Gartner. A Survery of Kernels for Structured Data. Multi Relational Data Mining, 5(1):49–58, July 2003. [12] K. Grauman and T. Darrell. Fast Contour Matching Using Approximate Earth Mover’s Distance. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition,Washington D.C., June 2004.

[13] E. Hadjidemetriou, M. Grossberg, and S. Nayar. Multiresolution Histograms and their Use for Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(7):831–847, July 2004. [7]刘忠伟，章毓晋。综合利用颜色和纹理特征的图像检索。通信学报。1999年第5期

[8]王文惠，王展，周良柱，万建伟。基于内容的彩色图像颜色特征的提取方法。计算机辅助设计与图形学学报。2001年第6期

[1]北京现代富博科技有限公司，陈兵旗，孙明。Visual C++实用图像处理专业教程。清华大学出版社。2004年3月。P.132-138

[2]张学工。关于统计学习理论和支持向量机。自动化学报。2000年第6期。P.32-42。 [3]李国正，王猛，曾华军译。支持向量机导论。电子工业出版社。2004年。

[6] 肖靓，顾嗣扬。基于SVM综合利用颜色和纹理特征的图像分类和检索。通信和计算机，2005.

本文来源：https://www.bwwdw.com/article/lc1m.html