bp神经网络算法实验报告

作业8

编程题实验报告

（一）实验内容：

实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理：

1）前向传播：

以单隐层神经网络为例（三层神经网络），则对于第k个输出节点，输出结果为：

在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项，所以，在上式中：

x0?1,wj0?b(l)

在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。

2）BP算法：

a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值；

c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差；

d) 更新每层加权系数：

(l)

其中，?i(l)?(yi?di)?h'(ai(l)),?(l?1)??(?i?wji?h'(ai)，???j最后一层其它层

e) 重复c)，d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束，得到神经网络的各层加权系数。 （三）实验数据及程序：

1）实验数

作业8

编程题实验报告

（一）实验内容：

实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理：

1）前向传播：

以单隐层神经网络为例（三层神经网络），则对于第k个输出节点，输出结果为：

在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项，所以，在上式中：

x0?1,wj0?b(l)

在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。

2）BP算法：

a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值；

c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差；

d) 更新每层加权系数：

(l)

其中，?i(l)?(yi?di)?h'(ai(l)),?(l?1)??(?i?wji?h'(ai)，???j最后一层其它层

e) 重复c)，d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束，得到神经网络的各层加权系数。 （三）实验数据及程序：

1）实验数

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

计算智能实验报告

实验名称：BP神经网络算法实验

班级名称：专 业：姓 名：学 号：

级软工三班 软件工程 李XX

2010 XXXXXX2010090

一、 实验目的

1）编程实现BP神经网络算法；

2）探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；

3）修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求

按照下面的要求操作，然后分析不同操作后网络输出结果。 1）可修改学习因子

2）可任意指定隐单元层数

3）可任意指定输入层、隐含层、输出层的单元数 4）可指定最大允许误差ε

5）可输入学习样本（增加样本）

6）可存储训练后的网络各神经元之间的连接权值矩阵；

7）修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理

1 明确BP神经网络算法的基本思想如下：

在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架

反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结

计算智能实验报告

实验名称：BP神经网络算法实验

班级名称：专 业：姓 名：学 号：

级软工三班 软件工程 李XX

2010 XXXXXX2010090

一、 实验目的

1）编程实现BP神经网络算法；

2）探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；

3）修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求

按照下面的要求操作，然后分析不同操作后网络输出结果。 1）可修改学习因子

2）可任意指定隐单元层数

3）可任意指定输入层、隐含层、输出层的单元数 4）可指定最大允许误差ε

5）可输入学习样本（增加样本）

6）可存储训练后的网络各神经元之间的连接权值矩阵；

7）修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理

1 明确BP神经网络算法的基本思想如下：

在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架

反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结

标准的带有反馈层得BP神经网络算法的MATLAB程序,方便大家一起学习。

%严格按照BP网络计算公式来设计的一个matlab程序,对BP网络进行了优化设计
%yyy，即在o(k)计算公式时，当网络进入平坦区时(<0.0001)学习率加大， 出来后学习率又还原
%v(i,j)=v(i,j)+deltv(i,j)+a*dv(i,j); 动量项

clear all
clc
inputNums=3; %输入层节点
outputNums=3; %输出层节点
hideNums=10; %隐层节点数
maxcount=1000; %最大迭代次数
samplenum=3; %一个计数器，无意义
precision=0.001; %预设精度
yyy=1.3; %yyy是帮助网络加速走出平坦区

alpha=0.01; %学习率设定值
a=0.5; %BP优化算法的一个设定值，对上组训练的调整值按比例修改 字串9
error=zeros(1,maxcount+1); %error数组初始化；目的是预分配内存空间
errorp=zeros(1,samplenum); %同上

v=rand(inputNums,hideNums); %3*10;v初始化为一个3*10的随机归一矩阵; v表输入

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF

I SN 1 0— 0 4 S 9 3 4 0

E— i e u@C C . e.n mal d f C Cn t : ch t:ww d z . e.n t/ w. n sn t p/ c T l 8— 5— 6 0 6 5 99 4 e: 6 5 5 9 9 3+ 1 6 0 6

C m u n we g n e h oo y电脑知识与技术 o p￣r o l ea d T c n l K d gVo ., . Fe r a y 2 0,P 9— 3 15 No4, b r 0 9 P.33 9 5 u

B P神经网络的算法改进及应用王爽张吕 .鹰，瑞霞(华师范大学计算机学院，西四川南充 6 7 0 ) 3 0 2

摘要：章介绍了目前人工神经网善领域中 B文 P神经网络的特点及其算法原理， B以 P网络算法的缺点为出发点，不同方面对 B 从 P算法进行改进 .而加快了网络的收敛速度，化了网络的拓扑结构，从优最后对 BP网络在实际 q的主要应用进行了讨论。 -

关键词：工神经网络；P算法；法改进人 B算中图分类号： P 9 T 33文献标识码： A文章编号： 0 9 3 4 ( 0 9 0— 9 3 0 1 0— 0 42 0

BP神经网络原理

BP网络模型处理信息的基本原理是：输入信 号Xi通过中间节点(隐层点)作用于输出节 点，经过非线形变换，产生输出信号Yk,网 络训练的每个样本包括输入向量X和期望输出 量t,网络输出值Y与期望输出值t之间的偏差， 通过调整输入节点与隐层节点的联接强度取 值和隐层节点与输出节点之间的联接强度Tjk 以及阈值，使误差沿梯度方向下降，经过反 复学习训练，确定与最小误差相对应的网络 参数(权值和阈值),训练即告停止。此时 经过训练的神经网络即能对类似样本的输入 信息，自行处理输出误差最小的经过非线形 转换的信息。

BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、 误差计算模型和自学习模型。 (1)节点输出模型 隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1) 输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2) f-非线形作用函数；q -神经单元阈值。

2作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲 强度的函数又称刺激函数，一般取为(0,1)内连续 取值Sigmoid函数： f(x)=1/(1+e-x)

( 3)误差计算模型 误差计算模型是反映神经网络期望输出与计算输出 之间误差大小