模式识别大作业贝叶斯分类

实验二 贝叶斯最小错误率分类器设计

一、实验目的

1. 了解模式识别中的统计决策原理

2. 熟悉并会根据给出的相关数据设计贝叶斯最小错误率分类器。 3. 熟悉并会使用matlab进行相关程序的编写

二、实验原理

分类器的设计首先是为了满足对数据进行分门别类，是模式识别中一项非常基本和重要的任务，并有着极其广泛的应用。其定义是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。

分类器的构造方法很多，主要包括规则归纳、决策树、贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。其中贝叶斯分类方法建立在贝叶斯统计学的基础之上，能够有效地处理不完整数据，并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一。本实验就是基于贝叶斯方法的分类器构造，其中构造的准则是最小错误率。下面，我们对最小错误率的分类器设计做一个简单的回顾。

假设是一个二类的分类问题，有?1,?2两类。若把物体分到?1类中，那么所犯的错误有两种情况，一种是物体本属于?1类，分类正确，错误率为0；另一种情况是，物体本属于?2类，分类错误，错误率就为1-p(?1|x)。因此，要使得错误率最小的话，p(?1|

模式识别大作业

学号：021151** 姓名：** 任课教师:张**

--fisher线性判别和近邻法

I. Fisher线性判别

A. fisher线性判别简述

在应用统计方法解决模式识别的问题时，一再碰到的问题之一是维数问题．在低维空间里解析上或计算上行得通的方法，在高维里往往行不通．因此，降低维数就成为处理实际问题的关键．

我们考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维．这样，必须找一个最好的，易于区分的投影线．这个投影变换就是我们求解的解向量w*．

B.fisher线性判别的降维和判别

1．线性投影与Fisher准则函数

各类在d维特征空间里的样本均值向量：

Mi?1nixk?Xi?xk，i?1,2 (1)

通过变换w映射到一维特征空间后，各类的平均值为：

mi?1niyk?Yi?yk，i?1,2 (2)

映射后，各类样本“类内离散度”定义为：

Si2?yk?Yi?(yk?mi)2，i?1,2 (3)

显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义

我看的论文题目是

What Are We Looking For: Towards statistical modeling of saccadic eye movements and visual saliency 下面是从本论文中了解到的几点：

1.研究目标：通过统计分析的方法（建立一个基于统计方法的框架，模拟人眼扫视过程，进行视觉显著性分析），尝试揭示“图像的哪些部分吸引了视点”（这一问题同“什么属性吸引注意力相似，但更容易研究）。

2.基本思想：该文的基本假设（场景中具有超高斯性的部分，就是人眼视觉处理过程中尝试寻找的部分）从视觉注视点的统计分析得出。得出的基本假设为两点：a：显著性是非常稀疏的，也就是说大多数地方的显著值都是0，而只有图中的很小区域的显著值有很大的值；b：具有很大的显著值的区域的周围区域通常具有丰富结构信息。而超高斯(super-Gaussianity)分布刚好具有这两点特征。 具体分析过程如下：

通过分析人眼注视在自然图像的统计特性,我们发现人类的注意力是稀疏分布,通常部署位置和丰富的结构信息。作者首先直观的研究了两个眼注视数据集（图片上标有人眼注视点），发现了上面说到的两个有意思的现象：

1.显著性是稀疏的。2

《模式识别》实验报告

题目：最小错误率贝叶斯决策

一、 实验内容 1，实验原理

2，实验步骤

1）从

iris.txt 文件（课程邮箱-文件中心）中读取估计参数用的样本，

每一类样本抽出前40个，分别求其均值；

（2）求每类样本的协方差矩阵、逆矩阵以及协方差矩阵的行列式； （3）对三个类别，分别取每组剩下的 10个样本，每两组进行分类。由于每类样本都相等，

且每类选取用作训练的样本也相等，在每两组进行分类时，待分类样本的类

先验概率为0.5。

将各个样本代入判别函数既公式(5)，进行分类。

3，实验要求

（1）复习最小错误率贝叶斯决策原理，写出实验代码，实现对三类样本的分类；

（2）计算分类的正确率，画出三维空间的样本分类图； （3）分析实验结果，完成实验报告。

二、实验代码

（1）， clear

% 原始数据导入 iris=load('iris.txt'); N=40;%每组取N=40个样本 %求第一类样本均值 for i = 1:N for j = 1:4

w1(i,j) = iris(i,j+1); end end

sumx1 = sum(w1,1); for i=1:4

meanx1(1,i)=sumx1(1,i)/N; end

人脸识别实验报告

---- 基于PCA和欧氏距离相似性测度 一、理论知识 1、PCA原理

主成分分析(PCA) 是一种基于代数特征的人脸识别方法,是一种基于全局特征的人脸识别方法,它基于K-L分解。基于主成分分析的人脸识别方法首次将人脸看作一个整体,特征提取由手工定义到利用统计学习自动获取是人脸识别方法的一个重要转变[1]。简单的说,它的

原理就是将一高维的向量,通过一个特殊的特征向量矩阵,投影到一个低维的向量空间中,表示为一个低维向量,并不会损失任何信息。即通过低维向量和特征向量矩阵,可以完全重构出所对应的原来高维向量。特征脸方法就是将包含人脸的图像区域看作是一种随机向量,因此,可以采用K-L变换获得其正交K-L基底。对应其中较大特征值的基底具有与人脸相似的形状,因此又称为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像,因此可以进行人脸识别与合成。识别过程就是将人脸图像映射到由特征脸张成的子空间上,比较其与己知人脸在特征空间中的位置,从而进行判别。

2、基于PCA的人脸识别方法

2.1 计算特征脸

设人脸图像f(x,y)为二维N×M灰度图像,用NM维向量R表示。人脸图像训练集为?Ri|i?1,2,...,P?,其中P为训练集中图

朴素贝叶斯分类

一、朴素贝叶斯分类方法描述

设样本集T有n个属性：A1,A2,....An，可能类别为m个：C1,C2,...,Cm，待分类样本为：

X?{x1,x2,...xn}，分别计算条件概率：P(Ci|X)?P(X|Ci)P(Ci)，（1）

P(X)则条件概率最大的P(Ci|X)对应的类Ci就是X的预测类。

在公式（1）中，计算等式左边的每个条件概率时，右边的分母相同，因此只需要计算分子，然后比较大小即可。其中P(Ci)?|Ci类|Ci类的样本数 ?（2）|T|训练集T中总的样本数另外，用朴素贝叶斯分类时还需假设各属性之间相互独立，此时：

P(X|Ci)?P(x1,x2,...,xn|Ci)?P(x1|Ci)P(x2|Ci)...P(xn|Ci)??P(xj|Ci)(3)

j?1n二、条件概率P(xj|Ci)的估计方法

1、 如果属性Aj为离散型随机变量，则条件概率

P(xj|Ci)?Ci类中属性Aj为xj的样本数Ci类的总样本数 （4）例1 表1是用于构造分类模型的训练集，包含14个样本和5个属性：

，它的取值有三个：Sunny（晴天）、Overcast（阴天）、Rain（下雨）； A1为Outlook（天气）

，它的取值有三个：Ho

2.6给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模式样本，

并对它们进行聚类分析。

迭代次数=1随机选取k个样本作为初始聚类中心聚类数目大于样本个数YN输入聚类数目k得到样本矩阵的大小开始输入样本矩阵绘制样本数据的散点图输入错误，要求重新输入k

判断前后两次聚类中心是否变化NY计算各聚类中心的新向量值迭代次数+1输出迭代次数，聚类中心，聚类结果按最短距离原则分配各点计算各点到聚类中心的距离结束MATLAB程序代码

clear all; clc;

data=input('请输入样本数据矩阵：'); X=data(:,1); Y=data(:,2); figure(1);

plot(X,Y,'r*','LineWidth',3); axis([0 9 0 8]) xlabel('x');ylabel('y'); hold on; grid on; m=size(data,1); n=size(data,2); counter=0;

k=input('请输入聚类数目：'); if k>m

disp('输入的聚类数目过大，请输入正确的k值'); k=input('请输入聚类数目：'

《模式识别导论》期末大作业

2010-2011-2学期 第 3 组

学号 姓名 工作量(%) 08007204 李双 10 08007205 陈书瑜 35 08007218 王健勇 10 08007236 梁文卓 35 08007243 仲红月 10 I

《模式识别》大作业人脸识别方法一

---- 基于PCA和欧几里得距离判据的模板匹配分类器

一、 理论知识

1、主成分分析

主成分分析是把多个特征映射为少数几个综合特征的一种统计分析方法。在多特征的研究中，往往由于特征个数太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。当特征较多时，在高维空间中研究样本的分布规律就更麻烦。主成分分析采取一种降维的方法，找出几个综合因子来代表原来众多的特征，使这些综合因子尽可能地反映原来变量的信息，而且彼此之间互不相关，从而达到简化的目的。主成分的表示相当于把原来的特征进行坐标变换（乘以一个变换矩阵），得到相关性较小（严格来说是零）的综合因子。

1.1 问题的提出

一般来说，如果N个样品中的每个样品有n个特征x1,x2,?xn，经过主成分分析，将

它们综合成n综合变量，即

?y1?c11x1?c12x2

神经网络在特征提取中的应用

于大永

（郑州大学 郑州 450001）

[摘要] 本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据多数信号是非平稳的特点，采用基于小波包分解能量的方法对信号的各频带进行分解，得到信号在不同频带内的能量分布特性．仅根据能量谱并不能完全区分不同类型信号，通过对信号高阶统计特性的分析，提取出高阶谱特征频率，结合这两种方法提取出的特征作为神经网络的输入向量进行模式识别。

关键词:高阶谱、高阶统计量、小波包、神经网络、特征识别 1．概述

机械故障诊断是以机械学为基础的一门综合技术。机械故障诊断的关键是如何从机械故障振动信号中提取故障特征,信号分析和处理是特征提取最常用的方法。机械故障振动信号本质上是非高斯、非平稳信号,近年来,为满足对机器故障进行早期检测、诊断的需要,非高斯、非平稳信号处理方法在机械故障诊断领域受到了广泛的关注。如何确实有效地结合振动信号自身特点,创新性的应用非高斯、非平稳信号处理理论解决机械故障诊断中的信号降噪、故障特征提取等问题是当前机械故障诊断领域迫切需要研究的重点课题之一。基于此，本文提出了一种对非平稳信号进行特征提取及模式识别的方法: 根据信号是非平稳的特点，采用基于小波包分

实现了基于朴素贝叶斯分类算法

基于朴素贝叶斯的数据分类算法的实现

李永超

(南京大学 计算机科学与技术系, 南京 210093)

Implementation of Data Classification Algorithm Based on Naïve Bayesian

Yongchao Li

(Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China)

Abstract: I implemented a data classification algorithm, which is based on Naïve Bayesian. Data classification is an imperative way of analyzing data, it extracts models depicting important data classifications [1]. There are many methods for data classifications, such as Decision Tre