bp神经网络的基本原理预测数据

5.4 BP神经网络的基本原理

BP（Back Propagation）网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结

构包括输入层（input）、隐层(hide layer)和输出层(output layer)（如图5.2所示）。 5.4.1 BP神经元

图5.3给出了第j个基本BP神经元（节点），它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。其中x1、x2?xi?xn分别代表来自神经元1、2?i?n的输入；wj1、wj2?wji?wjn则分别表示神经元1、2?i?n与第j个神经元的连接强度，即权值；bj为阈值；f(·)为传递函数；yj为第j个神经元的输出。

第j个神经元的净输入值为：

（5.12）

其中：

若视，，即令及包括及，则

于是节点j的净输入可表示为

BP神经网络原理

BP网络模型处理信息的基本原理是：输入信 号Xi通过中间节点(隐层点)作用于输出节 点，经过非线形变换，产生输出信号Yk,网 络训练的每个样本包括输入向量X和期望输出 量t,网络输出值Y与期望输出值t之间的偏差， 通过调整输入节点与隐层节点的联接强度取 值和隐层节点与输出节点之间的联接强度Tjk 以及阈值，使误差沿梯度方向下降，经过反 复学习训练，确定与最小误差相对应的网络 参数(权值和阈值),训练即告停止。此时 经过训练的神经网络即能对类似样本的输入 信息，自行处理输出误差最小的经过非线形 转换的信息。

BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、 误差计算模型和自学习模型。 (1)节点输出模型 隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1) 输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2) f-非线形作用函数；q -神经单元阈值。

2作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲 强度的函数又称刺激函数，一般取为(0,1)内连续 取值Sigmoid函数： f(x)=1/(1+e-x)

( 3)误差计算模型 误差计算模型是反映神经网络期望输出与计算输出 之间误差大小

x=[54167 55196 56300 57482 58796 60266 61465 62828 64653 65994 67207 66207 65859 67295 69172 70499 72538 74542 76368 78534 80671 82992 85229 87177 89211 90859 92420 93717 94974 96259 97542 98705 100072 101654 103008 104357 105851 107507

109300 111026 112704 114333 115823 117171 118517 119850 121121 122389 123626 124761 1

BP神经网络原理及应用

1 人工神经网络简介

1.1生物神经元模型

神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相 互信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有1010 1011个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。

1.2人工神经元模型

神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成 组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。目前人们提出的神经元模型已有很多，其中提出最早且影响最大的是1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础。

Yj(t) f( wjixi

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF

龙源期刊网 http://www.qikan.com.cn

基于BP神经网络的矿山GPS数据时间序列预测分析

作者：赵永未 杨力纲 袁兴明

来源：《科技创新导报》2011年第34期

摘 要：随着全球经济的发展，天然资源受到了过度的开采，使得地质灾害日益严重。而地面变形塌陷灾害是一种很重要的地质灾害。为了减少矿区周围危害的发生，本论文利用GPS对矿山地表岩移观测得到的数据，采用MATLAB神经网络方法建立GPS数据时间序列预测模型，并且成功的预测出了未来一期的地表移动变化。应用结果表明，神经网络是很好的处理非线性动态数据，能够反映出要素之间的非线性关系，计算精度高，预测准确度高，具有较强的实用性。

关键词：GPS数据时间序列 地表移动 神经网络 变形监测 TP183

Abstract:With the global economic development, natural resources have been over-exploitation, the increasingly serious geological disasters. In order to redu

BP神经网络

摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性能，可广泛应用于多输入多输出的非线性系统。

1. 绪论

1.1人工神经网络概述

人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。

神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点： 1）能逼近任意L2范数上的非线性函数；

2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力；

5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。

同时

计算智能实验报告

实验名称：BP神经网络算法实验

班级名称：专 业：姓 名：学 号：

级软工三班 软件工程 李XX

2010 XXXXXX2010090

一、 实验目的

1）编程实现BP神经网络算法；

2）探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；

3）修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求

按照下面的要求操作，然后分析不同操作后网络输出结果。 1）可修改学习因子

2）可任意指定隐单元层数

3）可任意指定输入层、隐含层、输出层的单元数 4）可指定最大允许误差ε

5）可输入学习样本（增加样本）

6）可存储训练后的网络各神经元之间的连接权值矩阵；

7）修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理

1 明确BP神经网络算法的基本思想如下：

在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架

反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结