遗传算法优化bp神经网络原理

%读取数据

data=xlsread('');

%训练预测数据

data_train=data(1:113,:);

data_test=data(118:123,:);

input_train=data_train(:,1:9)';

output_train=data_train(:,10)';

input_test=data_test(:,1:9)';

output_test=data_test(:,10)';

%数据归一化

[inputn,mininput,maxinput,outputn,minoutput,maxoutput]=premnmx(input_train,output_ train); %对p和t进行字标准化预处理

net=newff(minmax(inputn),[10,1],{'tansig','purelin'},'trainlm');

%网络训练

net=train(net,inputn,outputn);

%数据归一化

inputn_test = tramnmx(input_test,mininput,maxinput);

an=sim(net,inputn);

test_simu=postmnmx(an,minoutput,maxoutput)

基于遗传算法的BP神经网络的应用

----非线性函数拟合

摘要 人工神经网络在诸多领域得到应用如信息工程、自动控制、电子技术、目标识别、数学建模、图像处理等领域，并且随着神经网络算啊发的不断改进以及其他新算法的结合，使其应用的领域越来越广。BP神经网络是目前神经网络领域研究最多应用最广的网络，但BP神经网络学习算法易陷入局部极小的缺陷，本文采用遗传算法来优化BP神经网络的性能。首先采用遗传算法来优化BP神经网络的权值和阈值，然后将这些优化值赋给网络得到优化的BP神经网络，最后用MATLAB仿真平台，对非线性函数的逼近拟合和极值寻优问题进行实验。数值仿真结果表明：经遗传算法优化的BP神经网络能有效地避免原始BP神经网络容易出现的局部极小的缺陷，且具有收敛速度快和精度高等优点。

关键词：BP神经网络 遗传算法 MATLAB 结构优化

Abstract— In recent years, artificial neural network gradually attention has been paid into the hot area of research in

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

第4章nnToolKit神经网络工具包

4.1 nnToolKit简介

?nnToolKit神经网络工具包是基于MATLAB神经网络工具箱自行开发的一组神经网络算法函数库

?可在MATLAB环境下均独立运行，也可打包成DLL组件，直接被VB、VC、C++ 、C#、JAVA或其他支持COM的语言所调用

?本工具包中增加了一些MATLAB中没有的神经网络算法，如模糊神经网络、小波神经网络、遗传神经网络算法等

4.2 nnToolKit函数库算法函数名LmTrainLmSimu LmTrain2LmSimu2SofmTrain功能LM神经网络训练函数（不带归一化处理）LM神经网络仿真函数（不带反归一化处理）LM神经网络训练函数（带归一化处理）LM神经网络仿真函数（带反归一化处理）自组织特征映射网络训练函数LM神经网络算法SofmSimu自组织特征映射网络SofmIntensity SofmHistSofmProcessSofmRec模糊神经网络FnnTrain FnnSimu 自组织特征映射网络仿真函数图像增强处理函数绘制直方图函数自组织特征映射网络处理函数图像识别函数模糊神经网络训练函数模糊神经网络仿真函数4.2nnToolKit函数库算法函数名Wnn

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

BP神经网络原理

BP网络模型处理信息的基本原理是：输入信 号Xi通过中间节点(隐层点)作用于输出节 点，经过非线形变换，产生输出信号Yk,网 络训练的每个样本包括输入向量X和期望输出 量t,网络输出值Y与期望输出值t之间的偏差， 通过调整输入节点与隐层节点的联接强度取 值和隐层节点与输出节点之间的联接强度Tjk 以及阈值，使误差沿梯度方向下降，经过反 复学习训练，确定与最小误差相对应的网络 参数(权值和阈值),训练即告停止。此时 经过训练的神经网络即能对类似样本的输入 信息，自行处理输出误差最小的经过非线形 转换的信息。

BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、 误差计算模型和自学习模型。 (1)节点输出模型 隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1) 输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2) f-非线形作用函数；q -神经单元阈值。

2作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲 强度的函数又称刺激函数，一般取为(0,1)内连续 取值Sigmoid函数： f(x)=1/(1+e-x)

( 3)误差计算模型 误差计算模型是反映神经网络期望输出与计算输出 之间误差大小

2012年“挑战杯”大学生

课外学术科技作品竞赛及创业设计大赛

作品名称：基于遗传算法改进作品类别：社会科学类项目成员：刘知发联系电话： BP神经网络的短期风电功

率预测研究

陈 军 母桑妮 向亚军 唐艳利 15196009869 完成时间： 2012 年 3 月 20 日0

基于遗传算法改进BP神经网络的短期风电功率预测研究

摘 要

风能发电作为21世纪重要的研究课题之一，是清洁、可再生资源的之首。对降低污染，舒缓能源消耗带来的压力有着至关重要的作用。本文通过时间序列、遗传算法和BP神经网络等方法建立了4个风电功率预测模型。通过Matlab编程，得出了不同方法预测结果，并对其准确性进行比较。

本文首先对国内外风电产业发展现状做了分析。在此基础上，第2章确定以移动平均预测法、随机时间序列预测法、BP神经网络预测法对问题进行探讨，通过Excel与

Matlab混合编程，得出移动平均预测法、随机时间序列预测法、BP神经网络预测法的

准确率分别为82%、70%、84%，合格率分别为85%、65%、92%。得出BP神经网络预测法明显优越于其他两种方法。接着运用BP神经网络预测出的数据做了预测的相对误差分析，从中得出了6组预测值的相对误差（见表3

BP神经网络原理及应用

1 人工神经网络简介

1.1生物神经元模型

神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相 互信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有1010 1011个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。

1.2人工神经元模型

神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成 组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。目前人们提出的神经元模型已有很多，其中提出最早且影响最大的是1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础。

Yj(t) f( wjixi

标准的带有反馈层得BP神经网络算法的MATLAB程序,方便大家一起学习。

%严格按照BP网络计算公式来设计的一个matlab程序,对BP网络进行了优化设计
%yyy，即在o(k)计算公式时，当网络进入平坦区时(<0.0001)学习率加大， 出来后学习率又还原
%v(i,j)=v(i,j)+deltv(i,j)+a*dv(i,j); 动量项

clear all
clc
inputNums=3; %输入层节点
outputNums=3; %输出层节点
hideNums=10; %隐层节点数
maxcount=1000; %最大迭代次数
samplenum=3; %一个计数器，无意义
precision=0.001; %预设精度
yyy=1.3; %yyy是帮助网络加速走出平坦区

alpha=0.01; %学习率设定值
a=0.5; %BP优化算法的一个设定值，对上组训练的调整值按比例修改 字串9
error=zeros(1,maxcount+1); %error数组初始化；目的是预分配内存空间
errorp=zeros(1,samplenum); %同上

v=rand(inputNums,hideNums); %3*10;v初始化为一个3*10的随机归一矩阵; v表输入

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF