模式识别实验报告

学号：2013483164专业：网络工程 姓名：周婷婷

Bayes分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 【实验原理】

Bayes分类器的基本思想是依据类别先验概率和条件概率密度，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类别先验概率和条件概率密度将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同；使用哪种准则或方法应根据具体问题来确定。

【实验内容】

分别设计最小错误率的Bayes分类器和最小风险Bayes分类器，并对测试集进行分类，观察代价函数的设置对分类结果的影响；

【实验要求】

理解基于Bayes决策理论的随机模式分类的原理和方法，掌握基于最小错误率的贝叶斯决策和基于最小风险的贝叶斯决策，并能够对贝叶斯规则给出具体的实现。 【实验程序】

最小错误率贝叶斯决策

分类器设计

x=[-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 ] pw1=0.9 ; pw2=0.1 e1=-2; a1=0.5 e2=2;a2=2

m=numel(x) %得到待测细胞个数

pw1_x=zeros(1,m) %存放对w1的后验概率矩阵 pw2_x=zeros(1,m) %存放对w2的后验概率矩阵 results=zeros(1,m) %存放比较结果矩阵 for i = 1:m

pw1_x(i)=(pw1*normpdf(x(i),e1,a1))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)) %计算在w1下的后验概率

pw2_x(i)=(pw2*normpdf(x(i),e2,a2))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)) %计算在w2下的后验概率 end

for i = 1:m

if pw1_x(i)>pw2_x(i) %比较两类后验概率 result(i)=0 %正常细胞 else

result(i)=1 %异常细胞 end end

1

学号：2013483164专业：网络工程 姓名：周婷婷

a=[-5:0.05:5] %取样本点以画图 n=numel(a)

pw1_plot=zeros(1,n) pw2_plot=zeros(1,n) for j=1:n

pw1_plot(j)=(pw1*normpdf(a(j),e1,a1))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)) %计算每个样本点对w1的后验概率以画图

pw2_plot(j)=(pw2*normpdf(a(j),e2,a2))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)) end

figure(1) hold on

plot(a,pw1_plot,'k-',a,pw2_plot,'r-.') for k=1:m

if result(k)==0

plot(x(k),-0.1,'b*') %正常细胞用*表示 else

plot(x(k),-0.1,'rp') %异常细胞用五角星表示 end; end;

legend('正常细胞后验概率曲线','异常细胞后验概率曲线','正常细胞','异常细胞') xlabel('样本细胞的观察值') ylabel('后验概率')

title('后验概率分布曲线') grid on return ;

实验内容仿真

x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 ] disp(x) pw1=0.9 pw2=0.1

[result]=bayes(x,pw1,pw2)

最小风险贝叶斯决策

分类器设计

function [R1_x,R2_x,result]=danger(x,pw1,pw2) m=numel(x) %得到待测细胞个数

R1_x=zeros(1,m) %存放把样本X判为正常细胞所造成的整体损失 R2_x=zeros(1,m) %存放把样本X判为异常细胞所造成的整体损失 result=zeros(1,m) %存放比较结果 e1=-2

2

学号：2013483164专业：网络工程 姓名：周婷婷

a1=0.5 e2=2 a2=2

%类条件概率分布px_w1:（-2，0.25） px_w2（2,4） r11=0 r12=2 r21=4 r22=0

%风险决策表

for i=1:m %计算两类风险值

R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))

R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)) end

for i=1:m

if R2_x(i)>R1_x(i)%第二类比第一类风险大 result(i)=0 %判为正常细胞（损失较小），用0表示 else

result(i)=1 %判为异常细胞，用1表示 end end

a=[-5:0.05:5] %取样本点以画图 n=numel(a)

R1_plot=zeros(1,n) R2_plot=zeros(1,n) for j=1:n

R1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))

R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))

%计算各样本点的风险以画图 end

3

学号：2013483164专业：网络工程 姓名：周婷婷

figure(1) hold on

plot(a,R1_plot,'b-',a,R2_plot,'g*-') for k=1:m

if result(k)==0

plot(x(k),-0.1,'b^')%正常细胞用上三角表示 else

plot(x(k),-0.1,'go')%异常细胞用圆表示 end; end;

legend('正常细胞','异常细胞','Location','Best') xlabel('细胞分类结果') ylabel('条件风险') title('风险判决曲线') grid on return

实验内容仿真

x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 ] disp(x) pw1=0.9 pw2=0.1

[R1_x,R2_x,result]=danger(x,pw1,pw2) 【实验结果和数据】 最小错误率贝叶斯决策

后验概率曲线与判决结果在一张图上：后验概率曲线如图所示，带*的绿色曲线为判决成异常细胞的后验概率曲线；另一条平滑的蓝色曲线为判为正常细胞的后验概率曲线。根据最小错误概率准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈”代表异常细胞。

各细胞分类结果：

0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 1 0为判成正常细胞，1为判成异常细胞

4

学号：2013483164专业：网络工程 姓名：周婷婷

后验概率分布曲线1.2 1正常细胞异常细胞0.8后验概率0.60.40.20-0.2 -5-4-3-2-101细胞的观察值2345

图1 基于最小错误率的贝叶斯判决

最小风险贝叶斯决策

风险判决曲线如图2所示，其中带*的绿色曲线代表异常细胞的条件风险曲线；另一条光滑的蓝色曲线为判为正常细胞的条件风险曲线。根据贝叶斯最小风险判决准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈“代表异常细胞。 各细胞分类结果：

1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 1 其中，0为判成正常细胞，1为判成异常细胞

5

学号：2013483164专业：网络工程 姓名：周婷婷

风险判决曲线43.532.5正常细胞异常细胞 条件风险21.510.50-0.5 -5-4-3-2-101细胞分类结果2345

图2 基于最小风险的贝叶斯判决

【思考题】

问：按照最小错误率的贝叶斯决策规则和最小风险的贝叶斯决策规则对测试集中的样本分类，结果一致吗？

答：由最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出的图形中的分类结果可以看出，样本-3.9934、-3.9847在前者中被分为“正常细胞”，在后者中被分为“异常细胞”，分类结果截然不同。因为在给予最小风险的贝叶斯判决中，影响决策结果的因素多了一个“损失”。可以看出，在图1中，这两个样本点下两类决策的后验概率相差很小，当结合最小风险贝叶斯决策表进行计算时，“损失”就起了主导作用，导致出现了相反的结果。

另外，最小错误率贝叶斯决策就是在0-1损失函数条件下的最小风险贝叶斯决策，即前者是后者的特例。

6

本文来源：https://www.bwwdw.com/article/iuxv.html