模式识别与机器学习

神经网络在特征提取中的应用

于大永

（郑州大学 郑州 450001）

[摘要] 本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据多数信号是非平稳的特点，采用基于小波包分解能量的方法对信号的各频带进行分解，得到信号在不同频带内的能量分布特性．仅根据能量谱并不能完全区分不同类型信号，通过对信号高阶统计特性的分析，提取出高阶谱特征频率，结合这两种方法提取出的特征作为神经网络的输入向量进行模式识别。

关键词:高阶谱、高阶统计量、小波包、神经网络、特征识别 1．概述

机械故障诊断是以机械学为基础的一门综合技术。机械故障诊断的关键是如何从机械故障振动信号中提取故障特征,信号分析和处理是特征提取最常用的方法。机械故障振动信号本质上是非高斯、非平稳信号,近年来,为满足对机器故障进行早期检测、诊断的需要,非高斯、非平稳信号处理方法在机械故障诊断领域受到了广泛的关注。如何确实有效地结合振动信号自身特点,创新性的应用非高斯、非平稳信号处理理论解决机械故障诊断中的信号降噪、故障特征提取等问题是当前机械故障诊断领域迫切需要研究的重点课题之一。基于此，本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据信号是非平稳的特点，采用基于小波包分

机器学习在模式识别中的应用研究

杜明1 周而重2

（1.沈阳化工学院计算中心辽宁沈阳110142；2.北京工业大学计算机学院中国北京100124）

【摘要】近年来，机器学习已成功应用于模式识别领域，并且随着研究的深入，机器学习的相关算法和理论又得到了完善和扩展。本文将阐述机器学习的基本概念，分析应用在模式识别领域的若干机器学习算法。

【关键词】机器学习；遗传算法；人工神经网络；支持向量机；k-近邻法

机器学习是人工智能研究领域的核心问题之一。它的应用已遍及 人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。机器学习顾名思义就是让计算机通过某种方法进行学习来提高其性能。模式识别可以看成是让计算机将不同的事物划分为不同的类别。人类通过不断学习加深对事物的认识，同样模拟人类智能的模式识别系统也需要通过机器学习算法的改进来提高其分类性能， 因此机器学习和模式识别间的联系非常紧密。本文将阐述机器学习的基本概念，分析应用在模式识别领域的若干机器学习算法。

1．机器学习 1.1 机器学习的定义

机器学习目前的准确定义是： 对于某类任务T 和性能度量P，如 果一个计算机程序在T 上以P 衡量的性能随着经验E 而自

神经网络在特征提取中的应用

于大永

（郑州大学 郑州 450001）

[摘要] 本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据多数信号是非平稳的特点，采用基于小波包分解能量的方法对信号的各频带进行分解，得到信号在不同频带内的能量分布特性．仅根据能量谱并不能完全区分不同类型信号，通过对信号高阶统计特性的分析，提取出高阶谱特征频率，结合这两种方法提取出的特征作为神经网络的输入向量进行模式识别。

关键词:高阶谱、高阶统计量、小波包、神经网络、特征识别 1．概述

机械故障诊断是以机械学为基础的一门综合技术。机械故障诊断的关键是如何从机械故障振动信号中提取故障特征,信号分析和处理是特征提取最常用的方法。机械故障振动信号本质上是非高斯、非平稳信号,近年来,为满足对机器故障进行早期检测、诊断的需要,非高斯、非平稳信号处理方法在机械故障诊断领域受到了广泛的关注。如何确实有效地结合振动信号自身特点,创新性的应用非高斯、非平稳信号处理理论解决机械故障诊断中的信号降噪、故障特征提取等问题是当前机械故障诊断领域迫切需要研究的重点课题之一。基于此，本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据信号是非平稳的特点，采用基于小波包分

研究生课程考试试卷（课程论文部分）

（2012 —— 2013 学年 一 学期）

论文题目：利用特征提取方法来识别指纹

学生学号： 学生姓名：

专业名称： 计算机应用技术 课程名称： 模式识别 评阅成绩的教师签名： 评阅成绩时间： 评阅成绩分数：

2011年9月制

1

目录

摘要 .................................................................................................................................................. 1 关键词 ......................................................................

作业答案5：

作业一：试用感知器算法实现逻辑“或”的功能（初始加权值、阈值和训练速率系数可自己设定）

答案：

kkkkkxxxx1212输入为、，输出为y。当和均为0时，yk为0，否则yk为1。

设阈值θ=0.06，训练速率系数η=0.02，初始设置加权为w1(0) 0.058，(0)w2 0.065。由于只有一个输出，得加权修正公式为：

wi(n 1) wi(n) kxk

k Tk yk

第一步：w(0)=(0.058, 0.065)，加入x1=(0, 0)，

11s1 w1x1 w2x2 0.06，则y=0。由于T=0，δ= T- y=0，故11111

w(1)=(0.058, 0.065)

第二步：加入x2=(0, 1)，

2s2 w1x12 w2x2 0.005，则y=1。由于T=1，δ= T- y=0，故 22111

w(2)=w(1)=(0.058, 0.065)

第三步：加入x3=(1, 0)，

33T- y=1，s3 w1x1 w2x2 -0.002，则y=0。由于T=1，则δ= 33333

故

w(3)=w(2)+0.02(1)x3=(0.078, 0.065)

第四步：加入x4=(1, 1)，

4s4 w1x14 w2x2 0.083

2.6给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模式样本，

并对它们进行聚类分析。

迭代次数=1随机选取k个样本作为初始聚类中心聚类数目大于样本个数YN输入聚类数目k得到样本矩阵的大小开始输入样本矩阵绘制样本数据的散点图输入错误，要求重新输入k

判断前后两次聚类中心是否变化NY计算各聚类中心的新向量值迭代次数+1输出迭代次数，聚类中心，聚类结果按最短距离原则分配各点计算各点到聚类中心的距离结束MATLAB程序代码

clear all; clc;

data=input('请输入样本数据矩阵：'); X=data(:,1); Y=data(:,2); figure(1);

plot(X,Y,'r*','LineWidth',3); axis([0 9 0 8]) xlabel('x');ylabel('y'); hold on; grid on; m=size(data,1); n=size(data,2); counter=0;

k=input('请输入聚类数目：'); if k>m

disp('输入的聚类数目过大，请输入正确的k值'); k=input('请输入聚类数目：'

《模式识别》试题答案（A卷）
（2007年秋季学期，学历教育合训本科生，理论考核部分，120分钟）

一、填空与选择填空（本题答案写在此试卷上，30分）
1、影响层次聚类算法结果的主要因素有（ 计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。
2、欧式距离具有（ 1、2 ）；马式距离具有（ 1、2、3、4 ）。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性
3、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。
4、感知器算法 1 。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
5、积累势函数法较之于H-K算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情况） ）；位势函数K(x,xk)与积累位势函数K(x)的关系为（）。
6、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（ 某一种判决错误较另一种判决错误更为重要）情况；最小最大判决准则主要用于（ 先验概率未知的）情况。
7、"特征个数越多越有利于分类"这种说法正确吗？（ 错误 ）。特征选择的主要目的是（从n个特征中选出最有利于分

简答题

1. 什么是模式与模式识别

模式识别: 模式识别是研究用计算机来实现人类模式识别能力的一门学科。 模式:模式是一些供模仿用的、完美无缺的标本。 2. 模式识别系统的组成

信息获取，预处理，特征提取和选取，分类器设计，分类决策 3. 什么是后验概率？

系统在某个具体的模式样本X条件下位于某种类型的概率。、 4. 确定线性分类器的主要步骤

采集训练样本，构成训练样本集。样本应该具有典型性

确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优 设计求解w的最优算法，得到解向量w* 5. 样本集推断总体概率分布的方法？ 参数估计

监督参数估计：样本所属类别及类条件总体概率密度函数的形式已知，某些参数未知 非监督参数估计：已知总体概率密度函数形式但未知样本类别，要推断某些参数

非参数估计：已知样本类别，未知总体概率密度函数形式，要求直接推断概率密度函数本身

6. 近邻法的主要思想

作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本思想。 7. 什么是K近邻法？

他是最近邻法的推广，取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。

一、 填空与选择填空（本题答案写在此试卷上，30分）

1、模式识别系统的基本构成单元包括： 模式采集 、 特征提取与选择 和 模式分类 。

2、统计模式识别中描述模式的方法一般使用 特真矢量 ；句法模式识别中模式描述方法一般有 串 、 树 、 网 。

3、聚类分析算法属于 （1） ；判别域代数界面方程法属于 （3） 。

（1）无监督分类 (2)有监督分类 （3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用 （4） 进行相似性度量。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 5、 下列函数可以作为聚类分析中的准则函数的有 （1）（3）（4） 。

（1） （2） (3)

(4)

6、Fisher线性判别函数的求解过程是将N维特征矢量投影在 （2） 中进行 。 （1）二维空间 （2）一维空间 （3）N-1维空间

7、下列判别域界面方程法中只适用于线性可分情况的算法有 （1） ；线性可分

模式识别

Iris数据分类

一、实验简述

Iris以鸢尾花的特征作为数据来源，数据集包含150个样本，分为3类，3类分别为setosa，versicolor，virginica，每类50个样本，每个样本包含4个属性，这些属性变量测量植物的花朵，像萼片和花瓣长度等。本实验通过贝叶斯判别原理对三类样本进行两两分类。假设样本的分布服从正态分布。

二、实验原理

1、贝叶斯判别原理

首先讨论两类情况。用ω1，ω2表示样本所属类别，假设先验概率P(ω1),P(ω2)已知。这个假设是合理的，因为如果先验概率未知，可以从训练特征向量中估算出来。如果N是训练样本的总数，其中有N1，N2个样本分别属于ω1，ω2，则相应的先验概率为P(ω1)=N1/N, P(ω2)=N2/N。

另外，假设类条件概率密度函数P(x|ωi),i=1,2,…,n,是已知的参数，用来描述每一类特征向量的分布情况。如果类条件概率密度函数是未知的，则可以从训练数据集中估算出来。概率密度函数P(x|ωi)也指相对也x的ωi的似然函数。特征向量假定为k维空间中的任何值，密度函数P(x|ωi)就变成的概率，可以表示为P(x|ωi)。

P(ωi|x) = P(x|ωi)P(ωi)/P