模式识别考试资料 - 图文

模式识别考试资料总复习

1.

第一部分

1.1. 模式、模式识别的概念

广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。

狭义的定义：模式是对感兴趣的客体的定量的或结构的描述；模式类是具有某些共同特性的模式的集合。

模式的直观特性: ",可观察性 ",可区分性 ",相似性

模式识别：将未知的事物或现象与各种模式进行比较，看它与哪一类模式最接近，从而判断出该事物或现象属于哪一类.

模式识别是研究一些自动技术，依靠这些技术，计算机自动地(或者人进行少量干涉)把待识模式分到各自的模式类中去。 1.2. 模式识别的研究

目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。

“识别”就是对客观事物按其物理特征来进行分类。 1.3. 监督、非监督分类式

监督分类----将输入的“模式”归入已知的类别中。

非监督分类-----将输入的“模式”归入未知的类别

1.4. 模式识别的方法

", 模板匹配法 ", 统计方法 ", 神经网络方法 ", 结构方法(句法方法

1.5. 模式识别系统构成的三个单元

模式识别系统主要由：预处理(信息获取)、特征提取/选择，分类器(聚类器)组成。 1.6. 基于统计模式识别系统的4个主要构成部分

书上（第二页）数据提取，预处理，特征提取和选择，分类决策 1.7. 模式识别系统设计的五个步骤

1 设计目标检测器 将目标检测出来

2 特征选取 确定哪个目标的属性可以区别不同的目标 3 分类器设计 确定分类原理和机理 4 分类器训练 确定分类参数 5 性能评估 估计可能的误差率

2.

第二部分

2.1. 模式分类

根据识别对象的观测值确定其 ：根据识别对象的观测值确定其 2.2. 决策

把xx分到哪一类最合理？理论基础之一是统计决策理论

决策：是从样本空间S，到决策空，间Θ的一个映射，表示为D: S --> Θ

先验概率：状态，ωi,=1,2 ，ωi类别状态是一个随机变量，类别状态是一个随机变量, P(ωi) 表示为先验概率。

先验信息的判别规则

如果P( P(ω1) > P(ω2) ，则选择 ω1，否则，选择 w2择 5 后验分布的判别规则，存在一个观察值x(特征)) 如果P(ω1| x) > P(ω2| x)，类别状态= ω1 如果P(ω1| x) < P(ω2| x)，类别状态= ω2 2.3. Bayes决策常用的准则： 最小错误率准则

模式识别考试资料总复习 最小风险准则

在限定一类错误率条件下使另一类错误率为最小的准则(Neyman—Pearson决策) 最小最大决策准则 2.4. 贝叶斯决策

贝叶斯决策：是从样本空间S，到决策空，间Θ的一个映射，表示为D: S -->Θ 2.5. 错误概率的最小化判定规则

2.6. 四种基于最小错误的Bayes决策形式

E-mail：lyzh0703@163.com 2 模式识别考试资料总复习 2.7. 最小风险贝叶斯决策等价于最小错误率贝叶斯决策

换句话说：最小错误率贝叶斯决策是在00--11损失函数条件下的最小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。

如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值xx作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为：

2.8. 后验概率

后验(Posterior), 似然(likelihood),(likelihood),全概率( evidence( evidence------证据?)

If R(ak/x)=min{ R(ak/x)} Then a=ak

对于两类的全概率为：

后验(分布或密度)

类条件概率密度==似然

对于两类的全概率为：

后验(分布或密度) 类条件概率密度==似然 2.9. 损失函数

损失函数(loss function)(function)状态表示每次采取行动的代价。

损失函数 表示当真实状态为 时而采 取的决策行为为 时所带来的损失 风险 损失函数”：表示当真实状态为ω i时而采 取的决策行为为α j时所带来的损失(风险)。 2.10. “0--1””损失函数定义

在c个类别只有c个决策时，如果正确决策，则损失函数的值为0；；如果错误决策，则损失函数的值

为1。公式表示为：

最小风险贝叶斯决策等价于最小错误率贝叶斯决策。换句话说：最小错误率贝叶斯决策是在0-1损失函数条件下的最小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。第三部分 2.11. 参数估计的过程 2.11.1. 非监督参数估计

? 一类为基于概率密度函数 估计的直接方 法：设法找到各类别在特征空间的分布参数再进行分类；一

类为基于概率密度函数估计的直接方法：设法找到各类别在特征空间的分布 参数再进行分类； ? 一类称为 基于样本间相似性度量 的间接 聚类方法。其原理 是设法定出不同类别 的核心或初始类

核，然后依据样本与这 些核心之间的相似性度量将样本聚集成 不同类别。 一类称为基于样本间相E-mail：lyzh0703@163.com 3 模式识别考试资料总复习 似性度量的间接 聚类方法。其原理是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成不同类别。 2.11.2. 监督参数估计

1、设计贝叶斯分类器的方法：即 已知 先验概率 p（ωi）和类条件概率密 p(x/ωi)的情况下，按一定的决策 规则确定 判别函数 和决策面

2、监督参数估计：已知样本的类条件概率密度p(x/ωi)的形式和样本所属的类别ωi，去，推断概率密度函数中的某些未知的参数（均值、方差）。

非监督参数估计：已知样本的类条件概率密度p (x/ωi)的形式而样本所属的类别ωi未知，去推断概率密度函数中的某些未知的参数。

非参数估计：已知样本所属的类别ωi，而，样本的类条件概率密度p (x/ωi)的形式未知..去推断概率密度函数。

3 参数估计 ? 统计量：样本集的某种函数fK(为参数的估计值) ? 参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ) ? 点估计的估计量和估计值： ?的估计量?^=d(x1,x2,x3,……xN)是样本集的函数它对样本集的一次实现称为估计值 2.11.3. 最大似然估计

?

?

Maximum Likelihood (ML)

样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。

概率密度函数的形式已知，参数未知，为了描述概率密度函数p（x/ω)与数θ的依赖关系，用p（x/ωi,θ）表示。

估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。

独立地按概率密度p(x/θ)抽取样本集K=(X1,X2,X3??XN)；用K估计未知参数θ。 似然函数：

?

?

? ?

L(θ)=P(K|θ)=P(X1，X2，??，Xn|θ)= p(Xkθ|)

? 对数(loglarized)似然函数： H(θ)=

? 最大似然估计

估计量的评价标准：无偏性，有效性，一致性 2.11.4. Bayes

Bayes决策 确定x的真实状态ωi（模式类）

Bayes估计 根据一个样本集，找出估计量，估计所属总体分布的某个真实参数使带来的Bayes风险最小 Bayes估计的基本思想：所求得的 的估计值应使估计损失的期望最小，这种使或等价地使取最小值的的估计值称为的BayesBayes估计。对于不同的，可得到不同的最佳BayesBayes估计。 最大似然估计和Bayes 估计区别

两种方法估计的参数的结果接近，但过程有区别： 前者将未知参数看成是确定变量 ，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计； 后者将未知参数看成是按某种分布得随机变量 ，样本的观察结果由先验分布转化为后验分布，再由后验分布修正参数的估计值。

E-mail：lyzh0703@163.com 4 模式识别考试资料总复习 2.11.5. 计算贝叶斯估计和最大似然估计

最大似然估计和 Bayes 估计区别 最大似然估计和Bayes

最大似然估计和Bayes两种方法估计的参数的结果接近，但 过程有区别：前者将未知参数看成是确定变量 ，在实际样本观察的 概率最大的条件下，获得未知参数的最好的估计； 后者将未知参数看成是按某种 分布得 随机变量 ，样本的观察结果由先验分布 转化为后验分布 ，再由后验分布修正参数的估计值。两种方法估计的参数的结果接近，但过程有区别：前者将未知参数看成是 确定变量，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计；后者将未知参数看成是按某种分布得随机变量，样本的观察结果由先验分布转化为后验分布，再由后验估计区别分布修正参数的估计值。 例题：

3. 第四部分

特征的分类：物理的，结构的，数字的 ?物理量的获取与转换 ?描述事物方法的选择与设计

2 特征空间的优化 --- 对初始的特征空间进行优 化是为了降维。即初始的特征空间维数较高。 能否改成一个维数较低的空间，称为优化。 3 特征优化两种方法区别

特征提取(特征组合优化) ： 通过映射(或变换)的方法把高维的特征向量变换为低维特征向量 ?特征选择 ：从一组特征中挑选出一些最有效的特征的过程。筛选。 4 类内离散度尽量小，类间离散度尽量大 ?K-L变换又称主分量分析，是一种正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维

4. 第五部分

4.1. 判别函数相关知识

E-mail：lyzh0703@163.com 5

本文来源：https://www.bwwdw.com/article/rbm2.html