模式识别实验报告感知器算法

实验二 感知器准则与Fisher算法实验

1、【实验目的】

贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计,而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。 在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将未知样本进行分类。这种思路就是判别函数法，最简单的判别函数是线性判别函数。采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。本实验的目的是通过编制程序，实现感知器准则 算法，并实现线性可分样本的分类。

本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握 Fisher 线性判别问题的实质。

2、[实验内容]

1．实验所用样本数据如表2-1 给出（其中每个样本空间（数据）为两维， x 1 表示第一维的值、x 2 表示第二维的值），编制程序实现 ω1、ω 2 类 ω 2、ω 3类的分类。分析分类器算法的性能。

具体要求

1、复习感知器算法；

2、写出实现批处理感知器算法的程序

学号：2013483164专业：网络工程 姓名：周婷婷

Bayes分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 【实验原理】

Bayes分类器的基本思想是依据类别先验概率和条件概率密度，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类别先验概率和条件概率密度将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同；使用哪种准则或方法应根据具体问题来确定。

【实验内容】

分别设计最小错误率的Bayes分类器和最小风险Bayes分类器，并对测试集进行分类，观察代价函数的设置对分类结果的影响；

【实验要求】

理解基于Bayes决策理论的随机模式分类的原理和方法，掌握基于最小错误率的贝叶斯决策和基于最小风险的贝叶斯决策，并能够对贝叶斯规则给出具体的实现。 【实验程序】

最小错误率贝叶斯决策

分类器设计

x=[-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414

信息与通信工程学院

模式识别实验报告

班

级： 名： 号：

姓 学

日 期： 2011年12月 实验一、Bayes分类器设计

一、实验目的：

1.对模式识别有一个初步的理解

2.能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识 3.理解二类分类器的设计原理

二、实验条件：

matlab软件

三、实验原理：

最小风险贝叶斯决策可按下列步骤进行： 1)在已知

P(?i)，

P(X?i)，i=1,?，c及给出待识别的X的情况下，根据贝叶斯公式计

算出后验概率：

P(?iX)?

P(X?i)P(?i)?P(X?)P(?)iij?1c j=1,?，x

2)利用计算出的后验概率及决策表，按下面的公式计算出采取 R(aiX)?ai,i=1,?，a的条件风险

??(a,?ij?1cj)P(?jX),i=1,2,?,a

R(aiX),i=1,?，a进行比较，找出使其条件风险最小的

3)对(2)中得到的a个条件风险值决策则

ak，即Rakx?minRaix

i?1,?a????ak就是最小风险贝叶斯决策。

四、实验内容

假定某个局部区域细胞识别中

感知器算法作业：

图为二维平面中的4个点，x1, x2∈ω1 ，x3，x4∈ω2 ，设计使用感知器算法的线性分类器，步长参数设为1.

x2

x1x4

x3

解：由题知：

1:X1 [ 1,0]TX2 [0,1]T 2:X3 [0， 1]TX4 [10]，T 所有样本写成增广向量形式，进行规范化处理，属于 2的样本乘以-1 X1 [ 1,0,1]TX2 [0,1,1]TX3 [01，， 1]TX4 [ 10，， 1]T 步长c=1，任取W(1) [0,0,0]T

第一轮迭代：

1 =0，TWT(1)X1 [0,0,0] 0 0 ，故 W(2) W(1) X [ 1,0,1]1 1

0 =1，>0，故TWT(2)X2 [ 1,0,1] 1 W(3) W(2) [ 1,0,1] 1

0 = 1，TWT(3)X3 [ 1,0,1] 1 0，故 W(4) W(3) X [ 1,1,0]3 1

1 =1，>0，故TWT(4)X4 [ 1,1,0] 0 W(5) W(4) [ 1,1,0] 1

第二轮迭代：

1 =1，>0，故TWT(5)X1 [ 1,1,0] 0 W(6) W(5) [ 1,1,0

智能信

息技术处理技术实验

学班学成指

生姓名 级 号 绩

XX 电信093 094012003XX

XXX

导教师

电气与信息工程学院 2013年1 月 5日

实验一 感知器实验

一、实验目的

（1）熟悉感知器网络及相关知识。 （2）熟悉matlab相关的知识。

（3）学会利用matlab实现感知器网络，并将输入样本线性划分。

二、实验要求

（1）复习人工智能神经网络中感知器网络的相关内容。 （2）掌握感知器网络的学习算法。 （3）利用matlab建立感知器网络。

三、内容及步骤

设计单一感知器神经元来解决一个简单的分类问题：将4个输入向量分为两类，其中两个输入向量对应的目标值为1，另两个对应的目标值为0。

主要程序程序如下： P=[-1 -0.5 0.3 -0.1 50; -0.5 0.5 -0.5 1.0 35]; T=[1 1 0 0 0]; plotpv(P,T); pause;

net=newp([-1 50; -1 40],1); watchon; cla;

plotpv(P,T);

linehandle=plotpc(net.IW{1},net.b{1}); E=1;

net=init(net);

linehandle=

实验一 Bayes分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。

【实验原理】

最小风险贝叶斯决策可按下列步骤进行：

(1)在已知P(?i)，P(X?i)，i=1,…，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率： P(?iX)?P(X?i)P(?i)?P(X?)P(?)iij?1c j=1,…，x

(2)利用计算出的后验概率及决策表，按下面的公式计算出采取ai,i=1,…，a的条件风险

R(aiX)???(a,?ij?1cj)P(?jX),i=1,2,…,a

(3)对(2)中得到的a个条件风险值R(aiX),i=1,…，a进行比较，找出使其条件风险最小的决策ak，即

R?akx??minR?aix?

i?1,a则ak就是最小风险贝叶斯决策。

【实验内容】

假定某个局部区域细胞识别中正常（?1）和非正常（?2）两类先验概率分别为 正常状态：P（?1）=0.9； 异常状态：P（?2）=0.1。

现有一系列待观察的细胞，其观察值为x：

-3.9847 -3.5549 -1.2401 -0.9780 -0.

智能信

息技术处理技术实验

学班学成指

生姓名 级 号 绩

XX 电信093 094012003XX

XXX

导教师

电气与信息工程学院 2013年1 月 5日

实验一 感知器实验

一、实验目的

（1）熟悉感知器网络及相关知识。 （2）熟悉matlab相关的知识。

（3）学会利用matlab实现感知器网络，并将输入样本线性划分。

二、实验要求

（1）复习人工智能神经网络中感知器网络的相关内容。 （2）掌握感知器网络的学习算法。 （3）利用matlab建立感知器网络。

三、内容及步骤

设计单一感知器神经元来解决一个简单的分类问题：将4个输入向量分为两类，其中两个输入向量对应的目标值为1，另两个对应的目标值为0。

主要程序程序如下： P=[-1 -0.5 0.3 -0.1 50; -0.5 0.5 -0.5 1.0 35]; T=[1 1 0 0 0]; plotpv(P,T); pause;

net=newp([-1 50; -1 40],1); watchon; cla;

plotpv(P,T);

linehandle=plotpc(net.IW{1},net.b{1}); E=1;

net=init(net);

linehandle=

实验一 Bayes分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。

【实验原理】

最小风险贝叶斯决策可按下列步骤进行：

(1)在已知P(?i)，P(X?i)，i=1,…，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率： P(?iX)?P(X?i)P(?i)?P(X?)P(?)iij?1c j=1,…，x

(2)利用计算出的后验概率及决策表，按下面的公式计算出采取ai,i=1,…，a的条件风险

R(aiX)???(a,?ij?1cj)P(?jX),i=1,2,…,a

(3)对(2)中得到的a个条件风险值R(aiX),i=1,…，a进行比较，找出使其条件风险最小的决策ak，即

R?akx??minR?aix?

i?1,a则ak就是最小风险贝叶斯决策。

【实验内容】

假定某个局部区域细胞识别中正常（?1）和非正常（?2）两类先验概率分别为 正常状态：P（?1）=0.9； 异常状态：P（?2）=0.1。

现有一系列待观察的细胞，其观察值为x：

-3.9847 -3.5549 -1.2401 -0.9780 -0.

模式识别实验报告

姓名： 班级： 学号： 提交日期：

模式识别实验

实验一 线性分类器的设计

一、 实验目的：

掌握模式识别的基本概念，理解线性分类器的算法原理。 二、 实验要求

（1）学习和掌握线性分类器的算法原理；

（2）在MATLAB环境下编程实现三种线性分类器并能对提供的数据进行分类； （3） 对实现的线性分类器性能进行简单的评估（例如算法使用条件，算法效率及复杂度等）。 三、 算法原理介绍

（1）判别函数：是指由x的各个分量的线性组合而成的函数：

g(x)?wtx?w0w:权向量w0:阈值权若样本有c类，则存在c个判别函数，对具有g(x)?wtx?w0形式的判别函数的一个两类线性分类器来说，要求实现以下判定规则：

?g(x)?0,yi??1 ?g(x)?0,y??i2?方程g(x)=0定义了一个判定面，它把两个类的点分开来，这个平面被称为超平面，如

下图

感知器模型及其学习算法

1 感知器模型

? 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。

? Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 2 单层感知器模型的学习算法

? 算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。 ? 为简单起见，仅考虑只有一个输出的简单情况。设xi(t)是时刻t感知器的输入（i=1,2,......,n），ωi(t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为0。 3 线性不可分问题

? 单层感知器不能表达的问题被称为线性不可分问题。 1969年，明斯基证明了“异或”问题是线性不可分问题： “异或”（XOR）运算的定义如下：

由于单层感知器的输出为

y(x1,x2)=f(