模式识别方法及其比较分析

模式识别方法及其比较分析

第14卷 第3期信阳农业高等专科学校学报Vol.14No.3Sep.2004

2004年 9月 JournalofXinyangAgriculturalCollege

#综述#

模式识别方法及其比较分析

赵喜林1,赵喜玲2,江祥奎3

(1.北京大学,北京100871;2.信阳市商业学校,河南信阳464000;3.信阳师范学院河南信阳464000)

摘 要:在分析模式识别基本概念的基础上,概述了模式识别中的五种基本方法,并对各种方法进行了分析和

比较。

关键词:模式识别;模式识别方法;统计模式识别;句法模式识别;模糊模式识别

中图分类号:TP18 文献标识码:A 文章编号:1008-4916(2004)03-0037-04

Thebasicmethodsinpatternrecognitionandtheanalysisandcomparionofthem

ZHAOX-ilin1,ZHAOX-iling2,JIANGXiang-kui3

(1.BeijingUniversity,Beijing100871,China;2.XinyangCommercialSchool,Xinyang464000,China;3.XinyangNormalUniversity,Xinyang464000,China)

Abstract:Basedontheanalysisofthefundamentalconceptsofpatternrecognition,thepaperoutlinesfivebasicmethodsin

patternrecognitiongenerally,analyzesthemandcomparesthem.

Keywords:patternrecognition;patternrecognitionmethod;statisticalpatternrecognition;syntaxpatternrecognition;fuzzy

patternrecognition;

模式识别是一种借助计算机对信息进行处理、判别的分类过程。判决分类在科学研究和生产实践中的应用是相当广泛的,但往往因所需处理的影响因子多因子问题的目标(结果或性能)与影响因子之间难以找出直接的联系,或是很难直接用理论的途径解决,在各因子之间一时也找不到明显的关联。计算机模式识别的引入给复杂问题的解决带来了曙光。模式识别使得人们在影响因素很多的情况下仍能对众多信息进行方便的处理,利用计算机技术对数据进行总结,寻找目标与众多因子之间的某种联系或目标的

应用模式识别方法的首要步骤是建立模式空间。所谓模式空间是指在考察一客观现象时,影响目标的众多指标构成的多维空间。每个指标代表一个模式件都有P个特征参量(X1,X2,...Xp),则它就构成P维模式空间,每一个事件的特征参量代表一个模式。模式识别就是对多维空间中各种模式的分布特点进行分析,对模式空间进行划分,识别各种模式的聚类情况,从而做出判断或决策。分析方法就利用/映射0和/逆映射0技术。映射是指将多维模式空间进行数学变换到二维平面,多维空间的所有模式(样本点)都

过多,过于复杂,给问题的研究和解决增加了困难。参量。假设一现象有几个事件(样本)组成,每一个事

优化区域、优化方向,对实际问题的解决具有指导意投影在该平面内。在二维平面内,不同类别的模式分义和应用价值,因此获得广泛应用,并取得较大成功。布在不同的区域之间有较明显的分界域。由此确定

1 模式识别的基本方法

模式识别方法(PatternRecognitionMethod)是一种借助于计算机对信息进行处理、判决分类的数学统计方法[1]。

收稿日期:2004-06-20

优化方向返回到多维空间(原始空间),得出真实信息,帮助人们找出规律或做出决策,指导实际工作或实验研究。

针对不同的对象和不同的目的,可以用不同的模式识别理论、方法,目前主流的技术方法是:统计模式

作者简介:赵喜林(1968-),男,河南郑州人,北京大学政府管理学院硕士研究生.

模式识别方法及其比较分析

#38#信阳农业高等专科学校学报 第14卷

,,xn)t为n维特征向量的样本,wn+1为阈值权。d(x)判别函数是n维特征空间中某个x点到超平面的距离。若以xp表示x到超平面H的投影向量;r为到超平面H的垂直距离;+w0+为权向量w0的绝对值;

识别、句法模式识别、模糊模式识别、神经网络法、逻辑推理法。

111 统计模式识别

统计模式识别方法也称为决策论模式识别方法,

它是从被研究的模式中选择能足够代表它的若干特w0/+w0+为w0方向上的单位向量,则有x=xp+C征(设有d个),每一个模式都由这d个特征组成的在00

,d(x)=wc(x+C)+wn+1=C+w0+0pd维特征空间的一个d维特征向量来代表,于是每一+w0++w0+个模式就在d维特征空间占有一个位置。一个合理的假设是同类的模式在特征空间相距较近,而不同类

的模式在特征空间则相距较远。如果用某种方法来分割特征空间,使得同一类模式大体上都在特征空间的同一个区域中,对于待分类的模式,就可根据它的特征向量位于特征空间中的哪一个区域而判定它属于哪一类模式。

这类识别技术理论比较完善。方法也很多,通常较为有效,现已形成了完整的体系。尽管方法很多,但从根本上讲,都是直接利用各类的分布特征,即利用各类的概率分布函数、后验概率或隐含地利用上述概念进行分类识别。其中基本的技术为聚类分析、判别类域界面法、统计判决等。

11111 聚类分析 在聚类分析中,利用待分类模式之间的/相似性0进行分类,更相似的作为一类,更不相似的作为另外一类。在分类过程中不断地计算所

利用线性判别函数进行决策就是用一个超平面对特征空间进行分割。超平面H的方向由权向量决定,而位置由阈值权的数值确定,H把特征空间分割为两个决策区域。当d(x)>0时,x在H的正侧;d(x)<0时,x在H的负侧。

11113 统计判决 在统计判决中,在一些分类识别准则下严格地按照概率统计理论导出各种判决准则,这些判决准则要用到各类的概率密度函数、先验概率或条件概率,即贝叶斯法则。贝叶斯判别原则有两种形式,一种是基于最小错误率,即若p(wi|x)>Pp(wj|x),则xIwi(i,j=1,2,,,n;但iXj),换言之,要求最小错误率,就是要求p(wi|x)为最大。另一种是基于最小风险,对于某个x取值采取决策所带来的风险定义为:

R(A(A(Ai|x)=E[Ki,wj)]=6Ki,wj)P(wi|x),其中i=1

n

(Ai,wj)表示对于某一样品xIwj,而采取决策Ai时的分划的各类的中心,下一个待分类模式以其与各类中K

心的距离作为分类的准则。聚类准则的确定,基本上损失。基于最小风险的贝叶斯规则为:若R(Ak|x)=有两种方式。一种是试探方式。凭直观和经验,针对minR(Ai|x),则A=Ak。也就是说,对于所有x取值的实际问题定义一种相似性测度的阈值,然后按最近邻条件风险R(Ai|x),最小风险(损失)的决策是使R(Ai|规则指定某些模式样本属于某一聚类类别。例如欧x)取得最小值时的决策。氏距离测度,它反映样本间的近邻性,但将一个样本分到两个类别中的一个时,必须规定一距离测度的阈值作为聚类的判别准则,按最近邻规则的简单试探法和最大最小聚类算法就是采用这种方式。另一种是聚类准则函数法。定一种准则函数,其函数值与样品的划分有关。当取得极小值时,就认为得到了最佳划分。实际工作中采用得最多的聚类方法之一是系统聚类法。它将模式样本按距离准则逐步聚类,类别由多到少,直到合适的分类要求为止。

11112 判别类域界面法 判别类域界面法中,用已知类别的训练样本产生判别函数,这相当于学习或训练。根据待分类模式代入判别函数后所得值的正负而确定其类别。判别函数提供了相邻两类判决域的

112 句法模式识别

句法模式识别也称为结构模式识别。在许多情况下,对于较复杂的对象仅用一些数值特征已不能较充分地进行描述,这时可采用句法识别技术。句法识别技术将对象分解为若干个基本单元,这些基本单元称为基元;用这些基元以及他们的结构关系来描述对象,基元以及这些基元的结构关系可以用一个字符串或一个图来表示;然后运用形式语言理论进行句法分析,根据其是否符合某类的文法而决定其类别。一个未知类别的模式字符串,当它是属于L(Gi)中的一个句子,就应属于wi类。假如不属于任何一种语言,则它可被拒识,即x不被接受为M类中的任一类。

113 模糊模式识别

界面,最简单、最实用的判别函数是线性判别函数。在人们的实际生活中,普遍存在着模糊概念,诸线性判别函数的一般表达为下述矩阵式:如/较冷0、/暖和0、/较重0、/较轻0、/长点0、/短点0等

d(x)=wt0(x)+wn+

1

t

等都是一些有区别又有联系的无确定分界的概念。,(1,,,,n),(1,x

模式识别方法及其比较分析

第3期 赵喜林,等:模式识别方法及其比较分析识别问题,因此适用于分类识别对象本身或要求的识

[2]

别结果具有模糊性的场合。这类方法的有效性主要

#39#

114 神经网络法

人工神经网络是由大量简单的基本单元)))神经元(neuron)相互联接而成的非线性动态系统,每个神经元结构和功能比较简单,而由其组成的系统却可

以非常复杂,具有人脑的某些特性,在自学习、自组织、联想及容错方面具有较强的能力,能用于联想、识别和决策。在模式识别方面,与前述方法显著不同的特定之一是训练后的神经网络对待识模式特征提取与分类识别在该网络可以一同完成[3]。神经网络模型有几十种,其中BP(误差反传播算法)网络模型是模式识别应用最广泛的网络之一。它利用给定的样本,在学习过程中不断修正内部连接权重和阈值,使实际输出与期望输出在一定误差范围内相等。115 逻辑推理法

逻辑推理法是对待识客体运用统计(或结构、模糊)识别技术,或人工智能技术,获得客体的符号性表达即知识性事实后,运用人工智能技术对知识的获取、表达、组织、推理方法,确定该客体所归属的模式类(进而使用)的方法[5]。它是一种与统计模式识别、

在于隶属函数是否良好。目前,模糊识别方法有很

多,大致可以分为两种,即根据最大隶属原则进行识别的直接法和根据择近原则进行归类的间接法,分别简介如下:

11311 根据最大隶属原则进行识别的直接法 若已知个类型在被识别的全体对象U上的隶属函数,则可按隶属原则进行归类。此处介绍的是针对正态型模糊集的情形。对于正态型模糊变量x,其隶属度为2

A(x)=e

其中a为均值,b2=2R2,R2为相应的方差。按泰勒级数展开,取近似值得

21-() x-a<b

bA(x)=

0 x-a>b

若有n种类型m个指标的情形,则第i种类型在第j种指标上的隶属函数是

01-Aij(x)=

11-(2)bij

2

[-()]

x[a(ij1)-bij

x-bij

a(ij1)

2

aij-bij<x<aij

(1)(2)

aij[x[aij

(2)aij<

(1)(1)

句法模式识别相并列(又相结合)的基于逻辑推理的智能模式识别方法。它主要包括知识表示、知识推理和知识获取三个环节。

x<

(2)

aij+

bij

2 五种基本方法的比较

上述的五类方法各有特点及应用范围,它们不能相互取代,只能共存,相互促进、借鉴、渗透。一个较完善的识别系统很可能是综合利用上述各类识别方法的观点、概念和技术而形成的。我们可以以表格的方式,对它们做一比较,见表1。

在这五种基本方法中,模式识别主要用两类方法来进行,即统计模式识别和句法模式识别。当然,这两种识别方法是并行不悖的,是可以取长补短,互相补充的。统计方法发展较早,取得了不少应用成果,但是它对模式本身的结构关系很少利用,而很多识别问题,并不是用简单的分类就能解决的,往往更重要的是要弄清楚这些模式的结构关系。另一方面,单纯的句法模式识别方法没有考虑到模式所受到的环境、噪声的干扰等不稳定因素的影响。因此,把这两种方法结合起来,是研究模式识别问题的一个方向[6]。在这方面,提出了随机文法、属性文法等一些新的研究方向,并取得了一定的成果。

bij<x 0

(1)(2)

其中aij和aij分别是第i类元素第j种指标的

2

最小值和最大值,b(ij2)=2R2ij,而Rij是第i类元素第j种

a(ij2)+

指标的方差。

11312 根据择近原则进行归类的间接法 若有n种类型(A1,A2,,,An),每类都有m个指标,且均为正态型模糊变量,相应的参数分别为,a(ij1),a(ij2),bij(i=1,2,,,n;j=1,2,,,m)。其中,

(1)aij=

min(xij),

2

a(ij2)=max(xij),b(ij2)=2R2ij,而Rij是xij的方差。待判别

对象B的m个指标分别具有参数aj,bj(j=1,2,,,m),且为正态型模糊变量,则B与各个类型的贴近度为:

01-(Aij,B)=

11- 0

2

aj-bj+bij

(2)aij

2

aj[

2

aj-bj+bij

(1)aij

2

(1)

(1)aij-

(bj-bij)

(1)

aij-(bj-bij)<aj<aij aij

(2)(1)

[aj[aij

(2)

(2)

aij<aj<aij+(bj+bij) aij+(bj+bij)[aj

(2)

3 结语

目前,模式识别理论和技术已成功地应用于工记Sj=1min(Aij,B),又有Si0=1max(Si),按贴近[j[m[j[n

模式识别方法及其比较分析

#40#信阳农业高等专科学校学报 第14卷

理论问题和方法、技术未能很好地解决,尚有许多领域有待应用。尽管现在机器识别的技术还远不如人脑,但随着模式识别理论及其他相关学科的发展,可以预言,它的功能会越来越强,应用也会越来越广泛。

域。如我们所熟知的信件分检、指纹识别、遥感图片的机器判读、具有视觉的机器人、车辆驾驶系统及车牌车型识别系统、生物医学中的细胞组织分析以及心电图自动分析等。在模式识别领域中,现在尚有许多

表1 模式识别中五种基本方法比较

识别方法

统计模式识别

比较项目主要理论支柱

概率论、数理统计

形式语言、自动机技术

模糊数学

模糊集合A={(La,a),(Lb,b),,,(Ln,n)

是一个聚合类。用条件概率分布表示,类就有个分布,然后判定未知模式属于哪一个分布。

是一种语言。用一个文法表示一类,类就有个文法,然后判定未知模式遵循哪个文法。

是一种集合运算。用隶属度将模糊集合划分为若干子集,类就有个子集,然后根据择近原则分类

是一种非线性动态系统。通过对样本的学习建立起记忆,然后将未知模式判决为其最接近的记忆。

是一种布尔演算。从事实出发运用一系列规则,推理得到不同结果,类就有个结果。

神经生理学、心理学

演绎逻辑、布尔代数

句法模式识别

模糊模式识别法

神经网络法

逻辑推理

模糊识别方法

特征向量X=(x1,x2,,,xn)

符号串、树、图以不同活跃度表示的输入结点集字符串表示的事实

模式类判定

判别类域界面法:

主要方法

线性分类非线性分类统计分类:Bayes决策无教师的分类:聚类分析

自动机技术;CYK剖析算法;Early算法;转移图法

隶属度函数的设计:模糊统计法二元对比排序法推理法

模糊集运算规则模糊矩阵

BP模型HOP模型高阶网

产生式推理语义网推理框架推理

优点:比较成熟,能考虑干扰、噪声等影响,识别模式基元能力强。缺点:对结构复杂的模式抽取特

要优缺点

征困难。不能反映模式的结构特征,难以描述模式的性质,难以从整体角度考虑识别问题。

优点:识别方便,可从简单的基元开始,由简至繁。能反映模式的结构特性,能描述模式的性质,对图像畸变的抗干扰能力较强。缺点:当存在干扰及噪声时,抽取基元困难,且易失误。

优点:由于用隶属度函数作为样品与模块间相似程度的度量,故往往能反映它们整体的与主要的特性,从而允许样品有相当程度的干扰与畸变。

缺点:准确合理的隶属度函数往往难以建立,故限制了它的应用。

优点:可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题。允许样品有较大的缺损、畸变。

缺点:模型在不断丰富与完善中,目前能识别的模式类还不够多。

优点:已建立了关于知识表示与组织、目标搜索及匹配的完整体系。对需通过众多规则的推理达到识别确认的问题,有很好的效果。

缺点:当样品有缺损,背景不清晰,规则不明确甚至有歧义时,效主

参考文献:

[1] 孙即祥,王晓华,钟 山,等.模式识别中的特征提取与计算机视觉不变量[M].北京:国防工业出版社,2001.[2] 沈 清,汤 霖.模式识别导论[M].长沙:国防科技大学出版社,1991.[3] 李金宗.模式识别导论[M].北京:高等教育出版社,1994.[4] 蔡云龙.模式识别[M].西安:西北电讯工程学院出版社,1986.[5] 郑南宁.计算机视觉与模式识别[M].北京:国防工业出版社,1998.

[6] 杨光正,吴 岷,张晓莉.模式识别[M].合肥:中国科学技术大学出版社,2001.

(编辑:夏新奎)

本文来源：https://www.bwwdw.com/article/csu4.html