常见的神经网络模型大总结

第十九章 神经网络模型

§1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及

功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这 里我们仅讨论最基本的网络模型及其学习算法。

1.1 人工神经元模型

下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本 单元的神经元模型，它有三个基本要素：

（，连接强度由各连接上的权值表示，权 i）一组连接（对应于生物神经元的突触）值为正表示激活，为负表示抑制

第十九章 神经网络模型

§1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及

功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这 里我们仅讨论最基本的网络模型及其学习算法。

1.1 人工神经元模型

下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本 单元的神经元模型，它有三个基本要素：

（，连接强度由各连接上的权值表示，权 i）一组连接（对应于生物神经元的突触）值为正表示激活，为负表示抑制

1 通过神经网络滤波和信号处理，传统的sigmoid函数具有全局逼近能力，而径向基rbf函数则具有更好的局部逼近能力，采用完全正交的rbf径向基函数作为激励函数，具有更大的优越性，这就是小波神经网络，对细节逼近能力更强。 BP网络的特点

①网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题。我们无需建立模型，或了解其内部过程，只需输入，获得输出。只要BPNN结构优秀，一般20个输入函数以下的问题都能在50000次的学习以内收敛到最低误差附近。而且理论上，一个三层的神经网络，能够以任意精度逼近给定的函数，这是非常诱人的期望；

②网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力； ③网络具有一定的推广、概括能力。 bp主要应用

回归预测（可以进行拟合，数据处理分析，事物预测，控制等）、 分类识别（进行类型划分，模式识别等），在后面的学习中，都将给出实例程序。

但无论那种网络，什么方法，解决问题的精确度都无法打到100%的，但并不影响其使用，因为现实中很多复杂的问题，精确的解释是毫无意义的，有意义的解析必定会损失精度。 BP注意问题

第4 4卷第8期2 0 1 3年8月

东北

农

业

大

学

学

报

4 J 4 ( 8 ): 1 3 3 - 1 3 7Au g . 2 01 3

J o u r n a l o f No r t h e a s t Ag r i c u l t u r i a U n i v e r s i t y

网络出版时间 2 0 1 3— 8— 1 9 1 6: 4 1: 0 0

【 U R L] h t t p:// w w w . c n k i . n e t/ k c m s/ d e t a i l/ 2 3 . 1 3 9 1 . S . 2 0 1 3 0 8 1 9 . 1 6 4 1 . 0 1 3 . h t m l

基于改进 B P神经网络的价格预测模型研究孙红敏，吴静婷，李晓明(东北农业大学电气与信息学院，哈尔滨 1 5 0 0 3 0)

摘

要：人工神经网络是一种人工智能算法，具有强大功能，可任意逼近非线性连续函数。面对畜产品价格

变化的复杂因素，文章运用MA T L A B实现各种 B P神经网络的设计和训练，利用改进的神经网络算法即在权值中引入动量项，输入层至隐含层的传递函数采用 S型曲线，隐含层至输出层的传递函数采用线性函数，对东北地区畜

人工神经网络学习心得

时间如白马过隙，很快八周的人工神经网络学习即将结束，仿佛昨天才刚刚开始学习这门课程，在这段时间的学习中，我有起初对神经网络的不了解到现在的熟悉和掌握，这其中的变化，是我知识提高的过程。我在这个过程中有一些自己的体会和感想。

我是一名学习控制科学和工程的研究生，起初对于神经网络的认识很肤浅，由于我相应知识的欠缺，想要理解神经网络的结构会很不容易。在开始的几节课中，老师给我们讲了神经网络的发展史、结构和原理，当时感觉有压力、紧张。因为我感觉和生物的神经学差不多，一开始接触觉得它不是一门智能控制学，而是一门生物学，所以只能慢慢学习和理解，最终完成课程的学习。虽然相比于其他学过的课程，我对这门学科的了解稍微逊色点，但我还不是一个害怕困难的人，越是困难我越是会迎头前进的，不会倒下，去努力掌握这些知识。

接下来的几周，是老师的授课过程，说实话老师讲的论文我听的不太懂，讲的软件的应用也是一知半解……有种痛苦的感觉，好像什么也没学到，问了其他同学，他们也有同样的感觉，哦，原来都一样啊，没事，那就继续坚持吧……

过了这个彷徨期，该是呐喊的时候了，该写期末作业了，开始做题的时候还挺紧张，害怕题很难做，找了很多资料，照葫芦画瓢，硬着头皮写，写

第52卷 第4期2000年 11月

有 色 金 属

NONFERROUSMETALS

Vol.52,No.4November 2000

遗传神经网络预测模型在选矿中的应用

景广军,梁雪梅,李松仁

(中南大学矿物工程系,长沙 410083)

摘 要:分析遗传算法(GA)及BP神经网络(NN)的理论基础,提出了GA与NN结合的主要方式和步骤。讨论了基

于遗传神经网络的建模思路,主要针对矿石可选性预测、选矿生产指标预报问题,建立相应的遗传神经网络模型。论述了选矿数据预处理的方法和GA-BP神经网络的设计。通过实例验证,模型的预测精度达到90%以上。

关键词:选矿;遗传算法;神经网络;预测模型

中图分类号:TD91 文献标识码:A 文章编号:1001-0211(2000)04-0027-06

神经网络在矿业工程中的应用是从90年代才开始的。主要应用于水力旋流器、磨矿回路、浮选回路、碳金浸出过程、试验研究这几个方面非线性建模及控制。采用的神经网络一般为多层前馈模型,BP学习算法。由于神经网络具有鲁棒性、强适应性、可处理含噪信息等特点,预计将在选矿领域得到更加广泛的应用。

遗传算法在国外已得到广泛应用,特别适合于解决其它优化方法不能解决或

BP神经网络

摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性能，可广泛应用于多输入多输出的非线性系统。

1. 绪论

1.1人工神经网络概述

人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。

神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点： 1）能逼近任意L2范数上的非线性函数；

2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力；

5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。

同时

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF