模式识别支持向量机实验

神经网络在特征提取中的应用

于大永

（郑州大学 郑州 450001）

[摘要] 本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据多数信号是非平稳的特点，采用基于小波包分解能量的方法对信号的各频带进行分解，得到信号在不同频带内的能量分布特性．仅根据能量谱并不能完全区分不同类型信号，通过对信号高阶统计特性的分析，提取出高阶谱特征频率，结合这两种方法提取出的特征作为神经网络的输入向量进行模式识别。

关键词:高阶谱、高阶统计量、小波包、神经网络、特征识别 1．概述

机械故障诊断是以机械学为基础的一门综合技术。机械故障诊断的关键是如何从机械故障振动信号中提取故障特征,信号分析和处理是特征提取最常用的方法。机械故障振动信号本质上是非高斯、非平稳信号,近年来,为满足对机器故障进行早期检测、诊断的需要,非高斯、非平稳信号处理方法在机械故障诊断领域受到了广泛的关注。如何确实有效地结合振动信号自身特点,创新性的应用非高斯、非平稳信号处理理论解决机械故障诊断中的信号降噪、故障特征提取等问题是当前机械故障诊断领域迫切需要研究的重点课题之一。基于此，本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据信号是非平稳的特点，采用基于小波包分

学号：2013483164专业：网络工程 姓名：周婷婷

Bayes分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 【实验原理】

Bayes分类器的基本思想是依据类别先验概率和条件概率密度，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类别先验概率和条件概率密度将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同；使用哪种准则或方法应根据具体问题来确定。

【实验内容】

分别设计最小错误率的Bayes分类器和最小风险Bayes分类器，并对测试集进行分类，观察代价函数的设置对分类结果的影响；

【实验要求】

理解基于Bayes决策理论的随机模式分类的原理和方法，掌握基于最小错误率的贝叶斯决策和基于最小风险的贝叶斯决策，并能够对贝叶斯规则给出具体的实现。 【实验程序】

最小错误率贝叶斯决策

分类器设计

x=[-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414

信息与通信工程学院

模式识别实验报告

班

级： 名： 号：

姓 学

日 期： 2011年12月 实验一、Bayes分类器设计

一、实验目的：

1.对模式识别有一个初步的理解

2.能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识 3.理解二类分类器的设计原理

二、实验条件：

matlab软件

三、实验原理：

最小风险贝叶斯决策可按下列步骤进行： 1)在已知

P(?i)，

P(X?i)，i=1,?，c及给出待识别的X的情况下，根据贝叶斯公式计

算出后验概率：

P(?iX)?

P(X?i)P(?i)?P(X?)P(?)iij?1c j=1,?，x

2)利用计算出的后验概率及决策表，按下面的公式计算出采取 R(aiX)?ai,i=1,?，a的条件风险

??(a,?ij?1cj)P(?jX),i=1,2,?,a

R(aiX),i=1,?，a进行比较，找出使其条件风险最小的

3)对(2)中得到的a个条件风险值决策则

ak，即Rakx?minRaix

i?1,?a????ak就是最小风险贝叶斯决策。

四、实验内容

假定某个局部区域细胞识别中

神经网络在特征提取中的应用

于大永

（郑州大学 郑州 450001）

[摘要] 本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据多数信号是非平稳的特点，采用基于小波包分解能量的方法对信号的各频带进行分解，得到信号在不同频带内的能量分布特性．仅根据能量谱并不能完全区分不同类型信号，通过对信号高阶统计特性的分析，提取出高阶谱特征频率，结合这两种方法提取出的特征作为神经网络的输入向量进行模式识别。

关键词:高阶谱、高阶统计量、小波包、神经网络、特征识别 1．概述

机械故障诊断是以机械学为基础的一门综合技术。机械故障诊断的关键是如何从机械故障振动信号中提取故障特征,信号分析和处理是特征提取最常用的方法。机械故障振动信号本质上是非高斯、非平稳信号,近年来,为满足对机器故障进行早期检测、诊断的需要,非高斯、非平稳信号处理方法在机械故障诊断领域受到了广泛的关注。如何确实有效地结合振动信号自身特点,创新性的应用非高斯、非平稳信号处理理论解决机械故障诊断中的信号降噪、故障特征提取等问题是当前机械故障诊断领域迫切需要研究的重点课题之一。基于此，本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据信号是非平稳的特点，采用基于小波包分

研究生课程考试试卷（课程论文部分）

（2012 —— 2013 学年 一 学期）

论文题目：利用特征提取方法来识别指纹

学生学号： 学生姓名：

专业名称： 计算机应用技术 课程名称： 模式识别 评阅成绩的教师签名： 评阅成绩时间： 评阅成绩分数：

2011年9月制

1

目录

摘要 .................................................................................................................................................. 1 关键词 ......................................................................

2.6给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模式样本，

并对它们进行聚类分析。

迭代次数=1随机选取k个样本作为初始聚类中心聚类数目大于样本个数YN输入聚类数目k得到样本矩阵的大小开始输入样本矩阵绘制样本数据的散点图输入错误，要求重新输入k

判断前后两次聚类中心是否变化NY计算各聚类中心的新向量值迭代次数+1输出迭代次数，聚类中心，聚类结果按最短距离原则分配各点计算各点到聚类中心的距离结束MATLAB程序代码

clear all; clc;

data=input('请输入样本数据矩阵：'); X=data(:,1); Y=data(:,2); figure(1);

plot(X,Y,'r*','LineWidth',3); axis([0 9 0 8]) xlabel('x');ylabel('y'); hold on; grid on; m=size(data,1); n=size(data,2); counter=0;

k=input('请输入聚类数目：'); if k>m

disp('输入的聚类数目过大，请输入正确的k值'); k=input('请输入聚类数目：'

《模式识别》 实验指导书

河北工业大学信息工程学院 《模式识别》课程组

2008年1月

前 言

模式识别是电子信息工程专业的一门重要的专业选修课。其目的是通过对模式识别基本理论、概念和方法的学习，使学生能够灵活运用所学知识，借助计算机解决实际工程应用中的自动识别问题。而模式识别实验是本门课程重要的教学环节,其目的是使学生掌握统计模式识别中常见分类方法的算法设计及其验证方法，通过接受实验的训练，以提高学生的分析和解决问题的能力。为此，河北工业大学信息工程学院编写了《模式识别实验指导书》。在编写中由于可供参考的实验指导资料有限，因此本书肯定存在不少不妥之处，恳请读者予以批评指正。

本实验指导书共包含三个实验。第一个实验为安装并使用模式识别工具箱，通过本次实验可以让学生了解模式识别软件的具体形态、基本设置以及运行流程，了解一些基本识别方法的工作过程。第二个实验为用人工神经网络对二维样本进行分类，通过本次实验可以让学生掌握人工神经网络的运行机理，了解神经网络在解决实际问题时如何进行参数设置和模型选择。第三个实验为用支持向量机进行人脸识别，通过本次实验可以让学生掌握支持向量机的运行机理、参数选择与快速算法等，了解在实际分类中学习样本库的重要性。

2

《模式识别》试题答案（A卷）
（2007年秋季学期，学历教育合训本科生，理论考核部分，120分钟）

一、填空与选择填空（本题答案写在此试卷上，30分）
1、影响层次聚类算法结果的主要因素有（ 计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。
2、欧式距离具有（ 1、2 ）；马式距离具有（ 1、2、3、4 ）。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性
3、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。
4、感知器算法 1 。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
5、积累势函数法较之于H-K算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情况） ）；位势函数K(x,xk)与积累位势函数K(x)的关系为（）。
6、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（ 某一种判决错误较另一种判决错误更为重要）情况；最小最大判决准则主要用于（ 先验概率未知的）情况。
7、"特征个数越多越有利于分类"这种说法正确吗？（ 错误 ）。特征选择的主要目的是（从n个特征中选出最有利于分

简答题

1. 什么是模式与模式识别

模式识别: 模式识别是研究用计算机来实现人类模式识别能力的一门学科。 模式:模式是一些供模仿用的、完美无缺的标本。 2. 模式识别系统的组成

信息获取，预处理，特征提取和选取，分类器设计，分类决策 3. 什么是后验概率？

系统在某个具体的模式样本X条件下位于某种类型的概率。、 4. 确定线性分类器的主要步骤

采集训练样本，构成训练样本集。样本应该具有典型性

确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优 设计求解w的最优算法，得到解向量w* 5. 样本集推断总体概率分布的方法？ 参数估计

监督参数估计：样本所属类别及类条件总体概率密度函数的形式已知，某些参数未知 非监督参数估计：已知总体概率密度函数形式但未知样本类别，要推断某些参数

非参数估计：已知样本类别，未知总体概率密度函数形式，要求直接推断概率密度函数本身

6. 近邻法的主要思想

作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本思想。 7. 什么是K近邻法？

他是最近邻法的推广，取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。

一、 填空与选择填空（本题答案写在此试卷上，30分）

1、模式识别系统的基本构成单元包括： 模式采集 、 特征提取与选择 和 模式分类 。

2、统计模式识别中描述模式的方法一般使用 特真矢量 ；句法模式识别中模式描述方法一般有 串 、 树 、 网 。

3、聚类分析算法属于 （1） ；判别域代数界面方程法属于 （3） 。

（1）无监督分类 (2)有监督分类 （3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用 （4） 进行相似性度量。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 5、 下列函数可以作为聚类分析中的准则函数的有 （1）（3）（4） 。

（1） （2） (3)

(4)

6、Fisher线性判别函数的求解过程是将N维特征矢量投影在 （2） 中进行 。 （1）二维空间 （2）一维空间 （3）N-1维空间

7、下列判别域界面方程法中只适用于线性可分情况的算法有 （1） ；线性可分