神经网络实验心得

人工神经网络学习心得

时间如白马过隙，很快八周的人工神经网络学习即将结束，仿佛昨天才刚刚开始学习这门课程，在这段时间的学习中，我有起初对神经网络的不了解到现在的熟悉和掌握，这其中的变化，是我知识提高的过程。我在这个过程中有一些自己的体会和感想。

我是一名学习控制科学和工程的研究生，起初对于神经网络的认识很肤浅，由于我相应知识的欠缺，想要理解神经网络的结构会很不容易。在开始的几节课中，老师给我们讲了神经网络的发展史、结构和原理，当时感觉有压力、紧张。因为我感觉和生物的神经学差不多，一开始接触觉得它不是一门智能控制学，而是一门生物学，所以只能慢慢学习和理解，最终完成课程的学习。虽然相比于其他学过的课程，我对这门学科的了解稍微逊色点，但我还不是一个害怕困难的人，越是困难我越是会迎头前进的，不会倒下，去努力掌握这些知识。

接下来的几周，是老师的授课过程，说实话老师讲的论文我听的不太懂，讲的软件的应用也是一知半解……有种痛苦的感觉，好像什么也没学到，问了其他同学，他们也有同样的感觉，哦，原来都一样啊，没事，那就继续坚持吧……

过了这个彷徨期，该是呐喊的时候了，该写期末作业了，开始做题的时候还挺紧张，害怕题很难做，找了很多资料，照葫芦画瓢，硬着头皮写，写

计算智能实验报告

实验名称：BP神经网络算法实验

班级名称：专 业：姓 名：学 号：

级软工三班 软件工程 李XX

2010 XXXXXX2010090

一、 实验目的

1）编程实现BP神经网络算法；

2）探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；

3）修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求

按照下面的要求操作，然后分析不同操作后网络输出结果。 1）可修改学习因子

2）可任意指定隐单元层数

3）可任意指定输入层、隐含层、输出层的单元数 4）可指定最大允许误差ε

5）可输入学习样本（增加样本）

6）可存储训练后的网络各神经元之间的连接权值矩阵；

7）修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理

1 明确BP神经网络算法的基本思想如下：

在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架

反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结

人工神经网络实验指导《人工神经网络》

实验指导

北京工商大学信息工程学院《人工神经网络》课程组编写

1 / 22

人工神经网络实验指导

目录

第一部分实验准备 (1)

第1章NeuDesk软件 (2)

1.1NeuDesk软件概述 (2)

1.2NeuDesk软件使用说明 (2)

1.2.1样本的输入 (2)

第2章Matlab神经网络工具箱 (6)

2.1 MATLAB 神经网络工具箱概述 (6)

2.1.1神经网络工具箱的帮助和安装 (6)

2.2 MATLAB 神经网络工具箱函数 (6)

2.2.1 网络创建函数 (6)

2.2.2 网络应用函数 (7)

2.2.3 权函数 (7)

2.2.4 网络输入函数 (7)

2.2.5 转移函数 (7)

2.2.6 初始化函数 (8)

2.2.7 性能分析函数 (8)

2.2.8 学习函数 (8)

2.2.9 自适应函数 (8)

2.2.10 训练函数 (8)

2.2.11 分析函数 (8)

2.2.12 绘图函数 (8)

2.2.13 符号变换函数 (9)

2.2.14 拓扑函数 (9)

2.3 MATLAB使用说明 (9)

2.3.1MATLAB界面 (9)

2.3.2在MATLAB环境下运行程序 (9)

第二部分实验 (13)

第3章BP网络的设计 (1

计算智能实验报告

实验名称：BP神经网络算法实验

班级名称：专 业：姓 名：学 号：

级软工三班 软件工程 李XX

2010 XXXXXX2010090

一、 实验目的

1）编程实现BP神经网络算法；

2）探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；

3）修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求

按照下面的要求操作，然后分析不同操作后网络输出结果。 1）可修改学习因子

2）可任意指定隐单元层数

3）可任意指定输入层、隐含层、输出层的单元数 4）可指定最大允许误差ε

5）可输入学习样本（增加样本）

6）可存储训练后的网络各神经元之间的连接权值矩阵；

7）修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理

1 明确BP神经网络算法的基本思想如下：

在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架

反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结

作业8

编程题实验报告

（一）实验内容：

实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理：

1）前向传播：

以单隐层神经网络为例（三层神经网络），则对于第k个输出节点，输出结果为：

在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项，所以，在上式中：

x0?1,wj0?b(l)

在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。

2）BP算法：

a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值；

c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差；

d) 更新每层加权系数：

(l)

其中，?i(l)?(yi?di)?h'(ai(l)),?(l?1)??(?i?wji?h'(ai)，???j最后一层其它层

e) 重复c)，d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束，得到神经网络的各层加权系数。 （三）实验数据及程序：

1）实验数

作业8

编程题实验报告

（一）实验内容：

实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理：

1）前向传播：

以单隐层神经网络为例（三层神经网络），则对于第k个输出节点，输出结果为：

在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项，所以，在上式中：

x0?1,wj0?b(l)

在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。

2）BP算法：

a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值；

c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差；

d) 更新每层加权系数：

(l)

其中，?i(l)?(yi?di)?h'(ai(l)),?(l?1)??(?i?wji?h'(ai)，???j最后一层其它层

e) 重复c)，d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束，得到神经网络的各层加权系数。 （三）实验数据及程序：

1）实验数

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

第十九章 神经网络模型

§1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及

功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这 里我们仅讨论最基本的网络模型及其学习算法。

1.1 人工神经元模型

下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本 单元的神经元模型，它有三个基本要素：

（，连接强度由各连接上的权值表示，权 i）一组连接（对应于生物神经元的突触）值为正表示激活，为负表示抑制

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF