基于AdaBoost和马尔科夫随机场的影像分类

AdaBoost算法是一种自适应的Boosting算法,非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定,且陆地覆盖种类符合马尔科夫随机场(MRF),马尔科夫随机场为AdaBoost提供后验概率,通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具

基于AdaBoost和马尔科夫随机场的影像分类

陈楚 关泽群

（武汉大学遥感信息工程学院 430079）

摘要: AdaBoost算法是一种自适应的Boosting算法，非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定，且陆地覆盖种类符合马尔科夫随机场（MRF）,马尔科夫随机场为AdaBoost提供后验概率，通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具体的影像上，取得了非常的效果。

关键字： AdaBoost算法，MRF，Jeffrey差值

一 引言

对于影像的分类，目前有很多方法，概率统计方法，神经网络，人工智能等等。但对于陆地覆盖种类的分类，马尔科夫随机场有着很大的优势，而且大多数的分类规则都是基于马尔科夫随机场（MRF）。

后验概率可以用特征矢量来定义的。一个统计的分类器可以由矢量空间产生，而这个矢量空间可以与马尔科夫随机场相结合确定样本的后验概率。虽说有很多方法都能提供后验概率，但对于空间数据而言，都有一些不合理的地方。迭代条件模型（ICM）能很快的对一个空间数据进行分类，为其他的分类方法提供后验概率，但很难确定每一类的空间属性。支持向量机（SVM）在没有先验知识的条件下将目标分成两类，但它是从线性二分发展而来并不具有概率统计特性。后来人们运用ICM进行影像分类时，运用概率SVM提供后验概率。到目前为止，用这种得到后验概率还没有人能够从理论上证明它的合理性。

AdaBoost也是人工智能方法之一，主要是将若干个弱分类器整合为一个强分类器，其中弱分类器指的是那些性能比随机分类稍好一点的分类器，需要指出的是弱分类器的设计通常要容易得多，根据一些启发式知识很容易构造出一系列的弱分类器，另外且很重要的一点是弱分类器的计算量往往远小于强分类器，因而实时性强，这样将弱分类器组合起来构成的强分类器具有速度快的特点。由于概率统计结构的AdaBoost只能应用于具有一定数量的样本数据，我们需要定义后验概率。本文通过MRF定义后验概率运用AdaBoost对影像进行分类。

二 结构化的MRF

对于样本点，假设D = {1,2,3,……n}表示样本点，它们分别属于G类（C1,C2……CG）,每一个像素都分别对应一个p维向量Xi=(X,……X)，观测值xi以及对应类别Yi∈

{ 1,2,……G}。这里用{ 1,2,……G}用来标记{ C1,C2……CG}。并对Yi作如下定义：

Y ≡(Y1……Yn)′，当删除Yi时 Y i ≡Y （1）

（n-1）×1都有相似的定义。对于每一个i∈D,通过 它们的观测值y：n×1和 y i：

P{Xi| Yi=yi}来判断特征矢量Xi的归属。

一个结构化的MRF随机场是这样定义的。首先为像素确定一个领域半径r＞0（比如r=2）设某像素i领域内包含的像素个数Ni。D(g,h)表示类Cg与Ch概率密度的Jeffrey1p发稿日期： 2004-09-06

基金项目：博士点基金资助(编号:20030486045)

AdaBoost算法是一种自适应的Boosting算法,非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定,且陆地覆盖种类符合马尔科夫随机场(MRF),马尔科夫随机场为AdaBoost提供后验概率,通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具

差值，fi(g) = |{j∈Ni|yj=g}|／| Ni| 表示在Ni中g的频数。则Yi的分布函数有下面的多项式确定：

Pr{ Yi=g|y i} = exp{－β i(g)} ／

其中 i(g) = ∑ exp{－βh=1G i(h)}, g∈{ 1,2,……G } （2） ∑G

h=1fi(h)D(h,g)，β≥0表示空间模型参数。在这个模型中，如果β＝

0 表示该类是独立分布的。如果β值很大，表示该类与其他类的相关性很强。根据Hammersley-Clifford理论，条件分布概率在一定程度上决定了联合分布概率。 随机场是通过概率密度在Jeffrey差值来确定的，我们称之为结构化的MRF。

11 1

1yi0 10

图一

如果定义r = 2，则在图一中像素I的Ni=8。在这样的条件下fi(1) = 5／8, fi(0) = 3／8。

三 弱分类器与AdaBoost

我们通过函数sign(x－c)来得到一些弱分类器函数，在这里 x表示特征矢量的第j个分量 j∈{1,2,……p}。c 是一个常数，为分类器的阈值，这样得到一个大的弱分类器集合。AdaBoost算法是从弱分类器集合中挑选错误概率最低的那一个，然后改变样本的权值，使得那些被错分的样本得到进一步重视，然后重复上述操作，这样一步操作得到一个弱分类器，最后将这些弱分类器可以联合构成一个强分类器。Freund和Schapire[6]已经证明：随着弱分类器个数的增加，得到的强分类器在训练样本上的分类错误按指数递减。分类的结果是稳健的。

假设有两类Cg和Ch分别用g和h来标识。令g=1，h= －1。设fgh(x)表示一个形于

t = 1,2,……T,则一个检sign(x－c)的弱分类器经过t次AdaBoost迭代后生成的新的分类器。

验样本点xi

Fgh(xi) ≡

这里

义为

Pr{Yi=g|xi, Yi∈{g,h}} = pi(g,h) , （4） jjj(t)∑γt=1T(t)ghfgh(x) （3） (t)(t)γgh表示错误概率的对数值，yi通过sign Fgh(xi)来唯一确定，因此后验概率则可以定

AdaBoost算法是一种自适应的Boosting算法,非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定,且陆地覆盖种类符合马尔科夫随机场(MRF),马尔科夫随机场为AdaBoost提供后验概率,通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具

Pr{Yi=h|xi, Yi∈{g,h}} = pi(h,g) （5）

pi(g,h) = 1／[1＋exp{－2 Fgh(xi)}] （6）

1－pi(g,h); （7） pi(h,g) =

对于不止两类的情况下，

则后验概率可以定义为： （8）

运用式（9） 就可以得到最后的后验概率。

四 基于MRF的AdaBoost的分类器 （9）

基于AdaBoost[3][4]和MRF的分类器的设计关键是求出y,然而x受到一些因素的干扰，要想直接从x准确找到属于哪个类，只能根据x给出y的一个估计，最大后验估计就是其中一种。由于不知道y的联合分布概率，因此，最大后验概率不能用基于（9）式的ICM方法进行求取。在AdaBoost的基础上，怎样模仿ICM过程呢？我们注意到,概率Pt{Y=y|x}既可以写为Pr{Yi=yi|y i,x}也可写为Pr{Y i=y i|x}.因此 ICM过程具体到这个模型上就是不断的对Pr{Yi=yi|y i,x}取最大值的过程。假设f(xi|g)表示Cg特征向量的概率密度函数，那么有

Pr{Yi=g|y i,x} ∝ f(xi|g)exp{－β i(g)}， (10)

如果每一类的前验概率都是等概率，即都是1/G, 则有： i

综合（2）和（11）有：

（11） argmax[Pr{Yi=g|xi} Pr{Yi=g|y i}] g∈{1,……G}

= argmax[ f(xi|g)exp{－β i(g)}] (12) g∈{1,……G}

这样就根据ICM的原理完成了分类器的设计。为了说明分类器的可信度，假设样本点分别属于类y1，y2……yn则后验概率的精确度可表示为：

∏Pr{Y

i∈Di=yi|xi}Pr{Yi=yi|y i} (13)

AdaBoost算法是一种自适应的Boosting算法,非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定,且陆地覆盖种类符合马尔科夫随机场(MRF),马尔科夫随机场为AdaBoost提供后验概率,通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具

这里y i = (y1，yi 1,yi+1……yn)’此式也常被用来判断参数选择的好坏。

五 算例分析

此算例用的是武汉附近地区1999的一景TM七波段影像中一部分，在所选范围内，有9种陆地覆盖类型，所选影像大小为512×512，2540个像素作为训练样点，2310个像素作为检验样点。分别运用神经网络[2]和一般的MRF方法[1][5]对该影像进行了分类，分类结果中精度最高的分别为81.4%和86.7%。

运用基于MRF的AdaBoost的分类方法各参数设置情况如下：

AdaBoost的学习次数： T∈{5，10，20，40，50}或T∈{1，10，20，30，45}；

D(g,h)： Jeffrey差值；

所选窗口的大小半径：r∈{1,3, 4,5,7}；

运用本文前面介绍的方法，对该影像分别进行了两次试验，第一次试验运用全部七个波段，分类的精度如表二，第二次试验只运用了三个波段（分别是1，2，3波段），分类的精度结果如表三。

r AdaBoost: 学习次数T

5

88.7289.0388.8289.03

89.7289.7689.7689.67

89.6589.7689.7689.76

89.5889.6590.0390.03

89.4889.4589.4589.48

表二：七波段分类精度表

从表二中所列出的精度看，基于MRF的AdaBoost分类方法明显好于神经网络和一般的MRF方法。 r AdaBoost: 学习次数T

1

表三：三波段分类精度表

从表二与表三的对照中，特征矢量的维数直接决定最后的分类精度，一般七波段比三波段的精度偏高12%左右。

六 结论

基于MRF的AdaBoost分类方法通过弱分类器对各类区分的成功率来确定后验概率，68.1772.0480.4579.8379.9768.4172.3279.9379.6981.0768.4879.7680.1779.9780.4268.6979.6780.3481.1880.66

AdaBoost算法是一种自适应的Boosting算法,非常适合对空间数据中陆地覆盖的分类。假定因为损失函数后验概率由让步比给定,且陆地覆盖种类符合马尔科夫随机场(MRF),马尔科夫随机场为AdaBoost提供后验概率,通过迭代的方法我们就可以得到一个最优分类器。将这一分类器应用到具

通过结构化的MRF的Jeffrey差值很容易确定每一类的空间属性，从而达到一个非常理想的分类效果。从精度上看，此种方法是可行的。

参考文献

[1] Nishii.R, Eguchi.s: Image segmentation by structural Markov random fileds based on

Jeffreys divergence,Res,Memo,Institud of Statistical Mathematics No 849

[2] Paspuariello.G Ancons.N, Blonda.P: Neural network edsemble and support vector

machine classifiers for the analysis of remotely sensed data: a comparison. Proc

IGARSS 2002,

[3] Ryuel Nishii: contextual Image Segmentation based on AdaBoost and Markov Random

Fields: Geoscience and Remote Sensing Symposium 2003(6) 3507 – 3509

[4] 武勃，艾海舟等： 人脸的性别分类；计算机研究与发展 2003（11）1546-1553

[5] 刘伟强，陈鸿等： 基于马尔可夫随机场的快速图像分割 ；中国图像图像学报 2001

（3）228-233

[6] 艾海舟，肖习攀，徐光祐： 人脸检测与检索： 计算机学报 2003（7）874-881

第一作者简介：陈楚（1980-- ）男， 硕士；现就读于武汉大学遥感信息工程学院，研

究方向： 遥感图像处理及应用 联系方式：027-87161984 chenchu622@http://www.77cn.com.cn

A classifier based on AdaBoost and MRF and application

Chen Chu Guan Zequn

(School of Remote Sensing and Information Engineering ,Wuhan University 430079)

Abstract:This paper brings together new algorithms ——AdaBoost. It is an adaptive

boosting algorithms,is employed for classification of land-cover categories of

geostatistical data. We assume that the posterior probability is given by the odds ratio

due to loss functions. Further,land-cover categories are assumed to follow Markov

random fields (MRF). Then, we derive a classifier by combining two posteriors based

on AdaBoost and MRF through the iterative conditional modes. Our procedure is

applied to a TM image and shows an excellent performance.

Key word :AdaBoost algorithms, Markov random fields, Jeffreys divergence

本文来源：https://www.bwwdw.com/article/rkyj.html