武汉大学模式识别复习提纲

考试事项及复习提纲

考试时间及地点：

本周日（12月1号），（8:50—11:25）2-4节，在1区教三楼3-102

题目类型：

满分100分 6道简答+6道计算

复习范围：

1、 09年试题+10年考试试题

2、课本例题（附章节和页面）

3、中科院考博题库 题目透视： 09年和10年试题预览： 题目+答案

一 、简答题

1 简述模式识别系统的构成。

2 简述机器学习方法中随机训练、成批训练和在线训练的区别。

3 简述隐马尔可夫模型的三个核心问题。

4 简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源。

5 简单列举出三种度量距离的方法。

6 具有d 个输入单元、n 个隐单元、c 个输出单元以及偏置的一个标准三层反向传播网，网络中有多少权值？

7 最大似然方法与Bayes 估计的差异

答案：

1、系统构成：

信息获取是指通过传感器将光或声音等信息转化为计算机可以处理的电信息；预处理包括

A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；特征提取和选择是把测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征的过程；分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低；分类决策是在特征空间中对被识别对象进行分类。

2、 随机训练：模式是随机的从训练集中提取的，网络权值也根据不同的模式进行更新，训练数据可认为是一个随机变量；

成批训练：所有的模式在训练前全部送往网络中；

在线训练：每种模式只提供一次，不需要存储器来保存模式，当训练数据很多或者当内存消耗大而无法存储数据时，

常采用在线训练。

3、 隐马尔可夫模型的三个核心问题：

1） 估值：HMM 的转移概率已知，计算这个模型产生一个特定观测值的概率；

2） 解码：已知一个HMM 和一个它所产生的观测序列，确定产生该观测序列最有可能的隐状态序列；

3） 学习：只知一个HMM 的大致结构，其转移概率都未知。如何从一组可见符号的序列中，决定这些参数

4、 简述基于贝叶斯分类器的分类系统产生的最终分类误差的来源：

贝叶斯误差：由于不同的类条件概率密度函数之间的互相重叠引起的固有误差，无法消除；

模型误差： 选择不正确的模型所导致的分类误差；

估计误差： 采用有限样本进行估计带来的误差。

5、 1||n ij ik jk k d X X ==-∑()12n

ij ik jk k d X X =

=-∑

绝对值距离： 欧几里德距离：

11()||n

q ij ik jk k q d q X X =??=- ???∑ 切比雪夫距离： 明考夫斯基距离：

6、 具有d 个输入单元、n 个隐单元、c 个输出单元以及偏置的一个标准三层反向传播网，网络中有多少权值？

每个输入单元对应n 个隐单元：d*n

每个隐单元对应c 个输出单元：n*c

偏置单元连到每个隐单元和输出单元：n+c

一共 d*n+n*c+n+c 个权值

7、 最大似然方法与Bayes 估计的差异 ：

最大似然估计就是把待估的参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生以观测到的样本的概率最大的那个值。

Bayes 估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，就是把先验概率密度转化成后验概率密度的过程，这样就利用样本的信息修正了对参数的初始估计值。

二、1 （54页,12题）设max ()ωx 为类别状态，对所有的(1,...)i i c =，有max (|)(|)i P x P x ωω≥。

（a ）证明max (|)1/P w x c ≥

（b ）证明对于最小误差判定规则，平均误差概率为dx x P x w P )()|(1max ?

-

2、（116页，2题）令x 具有均匀分布的概率密度：

???≤≤=其他00/1),0(~)|(θθθθx U x P

（1） 假设n 个样本点1D={,...}n x x 都独立地服从)|(θx P ，证明对于θ的最大似

然估计就是D 中的最大值点max[D].

（2） 假设n=5个样本点是从这个分布中抽取的，并且有x k k max =0.6.画出区

||max )(1jk ik n

k ij X X d -=∞≤≤

间0≤θ≤1上的似然函数)|(θD P 。并且解释为什么此时不需要知道其余4个点的值。

b) 当n=5时，由以上可知)|(θD P ＝

51θ，max()max()i D x θ==，因此当max()0.6i x =时就可以得到θ，

不需要知道其余四个值。

3、应用题：计算两类问题中二维数据的贝叶斯判决边界，并绘出判决边界的图形。假设两类分布的先验概率相等。w 1的样本为（2，6），（3，4），（3，8），（4，6），w 2的样本为（0，

3），（1，-2），（2，-4），（5，-2）。

w1w2w3

x1x2x1x2x1x2 10 0 5 10 2 8 0 -10 0 5 -5 2 5 -2 5 5 10 -4

123

出如果把样本归类为与之最接近的样本最值的那个类时的判定边界。

3.用伪逆矩阵构造线性分类器，分类两类二维点

12:(1,2)20:(3,1)23t t t t ωω和（，）及和（，），并给出图示结果。

4． 假设在某个局部地区细胞识别正常1ω和异常2ω两类的先验概率分别为：

正常状态：9.0)(1=ωP

异常状态：1.0)(2=ωP

现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上查得

4.0)|(,2.0)|(21==ωωx P x P

并且已知

0,1,6,022211211====λλλλ

试对该细胞x 用以下两种方法进行分类：①基于最小错误率的贝叶斯决策；②基于最小风险的贝叶斯决策。请分析两种分类结果的异同及原因。

5.令：12344105,,,,5410????????==== ? ? ? ?????????

x x x x 下面给出了3种划分： 1）112234{,},{,},D D ==x x x x

2）11223{,4},{,},D D ==x x x x

3）112324{,,},{},D D ==x x x x

（a ） 找出误差平方和最小的划分；

（b ） 找出行列式准则最小的划分。

由上面的计算式可得

je1=18 je2=18 je3=17.3;

jd1=16 jd2=16 jd3=21.3

a)因为je3最小所以第三种划分最好

b)因为jd1=jd2

本文来源：https://www.bwwdw.com/article/dgme.html