BP神经网络技术的研究与应用

目 录

第一章 引言 ........................................... - 1 -

1.1 神经网络的概述 .............................................. - 1 - 1.2人工神经网络的研究目的和意义 ................................ - 1 - 1.3神经网络的发展与研究现状 .................................... - 2 - 1.3.1神经网络的发展 .......................................... - 2 - 1.3.2神经网络的研究现状 ...................................... - 3 - 1.4神经网络研究目前存在的问题 .................................. - 3 - 1.5 神经网络的应用领域 .......................................... - 4 -

第二章BP神经网络概述 ................................. - 5 -

2.1 BP神经网络介绍 ............................................. - 5 - 2.2 神经元 ..................................................... - 5 - 2.2.1人工神经元 .............................................. - 5 - 2.2.2生物神经元 .............................................. - 9 - 2.3 BP神经网络原理 ............................................. - 9 - 2.4 BP神经网络的主要功能 ...................................... - 11 - 2.5 BP神经网络的优点和缺点 .................................... - 12 -

第三章BP神经网络的应用 .............................. - 15 -

3.1基于MATLAB的BP神经网络工具箱函数 ...................... - 15 - 3.1.1 MATLAB工具箱介绍 .................................... - 15 - 3.1.2 BP网络创建函数 ........................................ - 16 - 3.1.3 神经元上的传递函数 ..................................... - 16 - 3.1.4 BP网络学习函数 ........................................ - 17 - 3.1.5 BP网络训练函数 ........................................ - 17 - 3.2 BP网络在函数逼近中的应用 ................................. - 17 - 3.2.1 问题的提出 ............................................. - 17 - 3.2.2 基于BP神经网络逼近函数 ............................... - 17 - 3.2.3 不同频率下的逼近效果 ................................... - 21 - 3.2.4 讨论 .................................................. - 23 - 3.3 仿真实验 .................................................. - 23 - 3.3.1 BP神经网络MATLAB设计 ............................... - 23 - 3.3.2 各种BP学习算法MATLAB仿真 .......................... - 25 - 3.3.3 各种算法仿真结果比较与分析 ............................. - 27 -

3.3.4 调整初始权值和阈值的仿真 ............................... - 28 - 3.3.5 其他影响因素仿真 ....................................... - 31 - 3.4 BP神经网络在样本分类中的应用 .............................. - 31 - 3.4.1问题的提出 ............................................. - 31 - 3.4.2 基于BP神经网络的样本分类 ............................. - 32 -

结束语 .................................... 错误！未定义书签。 致 谢 .................................... 错误！未定义书签。 参考文献 .............................................. - 36 - 附录A .................................................... 40

第一章 引言

1.1神经网络的概述

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经元网络是机器学习学科中的一个重要部分，用来classification或者regression。思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1.信息是通过神经元上的兴奋模式分布存储在网络上；2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

1.2人工神经网络的研究目的和意义

人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。

- 1 -

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

1.3神经网络的发展与研究现状 1.3.1神经网络的发展

神经网络诞生半个世纪以来，经历了五个阶段：

（1）奠基阶段：早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作，从人脑信息处理观点出发，采用数理逻辑模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第 一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们认识到了模拟大脑可用于逻辑运行的网络，有一些结点及结点与结点之间相互联系，构成一个简单神经网络模型。其主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能，从而开创了神经网络的研究。这一革命性的思想，产生了很大影响。

（2）第一次高潮阶段：1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节

正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。

（3）坚持阶段：神经网络理论那遥远但并非遥不可及的目标着实吸引了很多人的目光，美国军方认为神经网络工程应当比“原子弹工程”更重要，并对它的投资兴趣非常大，而对其实践的效果也比较满意。

（4）第二次高潮阶段：Kohonen提出了自组织映射网络模型，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例所展示的自适应学习效果显著。他认为有可能推广到更高维的情况。

（5）新发展阶段：从神经网络理论的发展史看，它的高潮阶段是很容易度过

- 2 -

的。IJCNN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神经网络到了新发展阶段，需要不断完善和突破，使其技术和应用得到有力的支持。

1.3.2神经网络的研究现状

进入20世纪90年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。

1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。

2）充分发挥两种技术各自的优势是一个有效方法。

3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。

1.4神经网络研究目前存在的问题

人工神经网络理论本身也在完善和发展中。如神经的稳定性和收敛性问题有待进一步研究。神经网络结构和神经元数量的确定还没有成熟的理论等。如广泛使用的BP网络就存在：

(1)收敛速度慢，且收敛速度与初始权值选取有关 (2)网络结构设计，即隐层及接点数的选择尚无理论指导 (3)新加人的样本会影响已训练好的样本 (4)存在局部最小问题

人工神经网络自身的问题直接影响其应用。包括在经济领域的应用。随着人工神经网络研究和应用的不断深入。一些改进算法和技术，如模拟退火算法、遗传算法(GA)、模糊技术、小波分析等和神经网络逐步融合，提高了神经网络模型的工作性能。例如运用模糊技术克服一般神经网络学习过程复杂、收敛速度慢的弱点，并提高了模型的精度。将小波分析良好的局域化性质与神经网络的自适应学习和非线性映射能力相结合，使神经网络具有极佳的函数逼近能力，这为非线性长期预报提供了新的思路和方法。遗传算法是近来发展起来的一种随机多点搜索算法。具有很强的自适应性、鲁棒性，它在全局寻优上的能力可以防止神经网络在寻优过程中陷人局部最小点。

一个经济活动或现象往往是多种因素合力的结果，各个因素之间往往存在耦合，在实际中往往难以对各个因素进行合理的量化。同时神经网络的评估精度主要取决于训练样本的数量和质量，而在实际中难以一次性获得足够的理想样本，这要在使用过程中逐步积累，通过不断的学习使网络趋于完善。

- 3 -

1.5神经网络的应用领域

神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：

(1)自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、PID参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。典型的例子是20世纪60年代初，美国“阿波罗”登月计划中，Kilmer和MeClloch等人根据脊椎动物神经系统中网状结构的工作原理，提出了一个KMB 模型，以使登月车在远距离复杂环境下具有一定的自制能力。

(2)处理组合优化问题。最典型的例子是成功地解决了TSP问题，即旅行推销员问题（Travelling Salesman Problem），另外还有最大匹配问题、装箱问题和作业调度等。

(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。

(4)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (5)传感器信号处理。传感器输出非线性特性的矫正、传感器故障检测、滤波与除噪、环境影响因素的补偿、多传感信息融合。

(5)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。

(6)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。

(7)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。

(8)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用M&N。

(9)经济。能对商品价格、股票价格MDN和企业的可信度等进行短期预测。 (10)化工领域。能对制药、生物化学和化学工程等进行分析。如：进行蛋白质结构分析、谱分析和化学反应分析等。

(11)焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。

(12)地理领域。在遥感图像分类中有广泛的应用，在GIS方面应用人工神经网络理论，提高系统对数据进行复杂的综合分析的功能。

(13)另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。

- 4 -

第二章 BP神经网络概述

2.1 BP神经网络介绍

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。如图2-1。

图2-1 BP网络模型结构图

2.2神经元 2.2.1人工神经元

归纳一下生物神经元传递信息的过程：生物神经元是一个多输入、单输出单元。常用的人工神经元模型可用图2-2模拟。

- 5 -

图2-2 人工神经元（感知器）示意图

当神经元j有多个输入xi(i=1，2,?,m)和单个输出yj时，输入和输出的关系可表示为:

m??sj??wijxi??j ?i?1?yj?f(sj)? 其中j为阈值，wij为从神经元i到神经元j的连接权重因子，f( )为传递函数，或称激励函数。

神经网络连接的几种基本形式： 1）前向网络

前向网络结构如图2-3所示，网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。神经元分层排列，分别组成输入层、中间层（也称为隐含层，可以由若干层组成）和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。感知器网络和BP网络均属于前向网络。

图2-3 前向网络结构

2）从输出到输入有反馈的前向网络

其结构如图2-4所示，输出层对输入层有信息反馈，这种网络可用于存储某种模式序列，如神经认知机和回归BP网络都属于这种类型。

- 6 -

图2-4 有反馈的前向网络结构

3) 层内互连前向网络

其结构如图2-5所示，通过层内神经元的相互结合，可以实现同一层神经元之间的横向抑制或兴奋机制。这样可以限制每层内可以同时动作的神经元素，或者把每层内的神经元分为若干组，让每一组作为一个整体进行运作。例如，可利用横向抑制机理把某层内的具有最大输出的神经元挑选出来，从而抑制其他神经元，使之处于无输出状态。

图2-5 有相互结合的前向网络结构

4) 相互结合型网络

相互结合型网络结构如图2-6所示，这种网络在任意两个神经元之间都可能有连接。Hopfield 网络和Boltzmann 机均属于这种类型。在无反馈的前向网络中，信号一旦通过某神经元，该神经元的处理就结束了。而在相互结合网络中，信号要在神经元之间反复传递，网络处于一种不断变化状态的动态之中。信号从某初始状态开始，经过若干次变化，才会达到某种平衡状态。根据网络的结构和神经元的特性，网络的运行还有可能进入周期振荡或其他如混沌平衡状态。

- 7 -

图2-6 结合型网络结构

综上，可知神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等四种结构，其神经网络模型有感知器网络，线性神经网络，BP神经网络，径向基函数网络，反馈神经网络等，本文主要学习研究了BP神经网络，以及BP神经网络在函数逼近和样本含量估计两个实例中的应用分析。

人工神经网络主要具备以下几方面的基本特征：

1.并行分布能力：神经网络具有高度的并行结构和并行处理能力。这特别适用于实时控制和动态控制。

2.人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。人工神经网络是一种具有下列特征的有向图：

（1）对于每个节点i存在一个状态变量ix； （2）从节点j至节点i存在一个连接权系统数ijw; （3）对于每个节点i存在一个阈值iq;

（4）对于每个节点I,定义一个变换函数,,()iiijfxwi，ij；对于最一般的情况，此函数取()iijjj,fwxiq-?形式。

3.通过训练进行学习：神经网络是通过所研究系统过去的数据进行训练的。是一个经过适当训练的神经网络，具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程。

4适应与集成：神经网络能适应在线运行，并能同时进行定量和定性操作。这些特性特别适用于复杂、大规模和多变量的控制。

5.硬件实现：神经网络不仅能够通过软件而且借助软件实现并行处理。由于超大规模集成电路的硬件实现，使得神经网络具有快速和大规模处理能力的实现网络。

6.具有联想存储功能：利用人工神经网络的反馈网络就可以实现这种联想。 7.有高速寻找优化解的能力：利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

8.具有很强的鲁棒性和容错性。在神经网络中，信息的存储是分布在整个网络

- 8 -

本文来源：https://www.bwwdw.com/article/g4s8.html