BP神经网络的算法改进及应用

I SN 1 0— 0 4 S 9 3 4 0

E— i e u@C C . e.n mal d f C Cn t : ch t:ww d z . e.n t/ w. n sn t p/ c T l 8— 5— 6 0 6 5 99 4 e: 6 5 5 9 9 3+ 1 6 0 6

C m u n we g n e h oo y电脑知识与技术 o p￣r o l ea d T c n l K d gVo ., . Fe r a y 2 0,P 9— 3 15 No4, b r 0 9 P.33 9 5 u

B P神经网络的算法改进及应用王爽张吕 .鹰，瑞霞(华师范大学计算机学院，西四川南充 6 7 0 ) 3 0 2

摘要：章介绍了目前人工神经网善领域中 B文 P神经网络的特点及其算法原理， B以 P网络算法的缺点为出发点，不同方面对 B 从 P算法进行改进 .而加快了网络的收敛速度，化了网络的拓扑结构，从优最后对 BP网络在实际 q的主要应用进行了讨论。 -

关键词：工神经网络；P算法；法改进人 B算中图分类号： P 9 T 33文献标识码： A文章编号： 0 9 3 4 ( 0 9 0— 9 3 0 1 0— 0 42 0 )4 0 3— 3

BP Ne r l t r g rt m mp o e e t n p i a i n u a Ne wo k Al o i h I r v m n d Ap l t a c oW AN G hu n ZH AN G i, S a g, Y ngLV Zl -xa l d- i

( hn e r l i r t C m ue U g, n h n 3 0 2 C ia C ia s No ma Unv s y o 【 Co e e Na c o g6 7 0, hn ) W t e i rAbs r c:Thea t l srbe he c r n ri ca u￣ ne wor si hefed of ta t ri edec c i st ure ta t ilne r i f t k n t l ne a t o k ag i i BP urlnew r l ort nd i haa trsisS st hm a t c r ce tc O a o s ites h horc tomi gsoft n heBP t o k ag it s山 e satngpo n r m hedi ee s cso l rt m .S st pe d u’ on r ne w r lor hm a tri i tfo

t f r ntape t fBP ago h i O a o s e p he c ve -

g nc t or nd o i z hene o k t po o y S r t r,t ato eBP ew or n t em an a tc ppiai nsa eds u s d e eof w ka pt ne i m e t t r o l g tucu e hels ft w h nt k i h i prci a a lc to r ic se . l K e o ds a i ca urlnew or; y w r:r f ilne a t ti ks BP lort;ag rt ag i hm l o ihm m p ov m e t i r e n

1引言人工神经网络是一种信息处理系统，有很多种模型。其中有一种用误差传播学习算法 ( r r akPo aa o它 E r c rp gtn即 B oB i P算法 )进行训练的多层前馈神经网络，称为 B简 P网络。B P神经网络模型是人工神经网络的重要模型之一，文字识别、式分类、在模文字到声音的转换、像压缩、策支持等方面都有广泛的应用。图决 通常， P算法是通过一些学习规则来调整神经元之间的连接权值，学习过程中，习规则以及网络的拓扑结构不变。然而， B在学 个神经网络的信息处理功能不仅取决于神经元之间的连接强度，且与网络的拓扑结构 (经元的连接方式)经元的输入输出而神神一

特性和神经元的阀值有关。因而，经网络模型要加强自身的适应和学习能力，该知道如何合理地自组织网络的拓扑结构，变神应改神经元的激活特性以及在必要时调整网络的学习参数等。

2B P神经网络的结构及原理B P网络是一种无反馈前向网络，由一组相互连接的运算单元组成，中每一个连接都有相对应的权值。网络结构如图 l以它其 (三层网络为例 )示，包括输入层节点、出层节点，层或多层隐含层节点。在 B所它输一 P网络中，与层之间采用全互连方式，层同一层的节点之间不存在相互连接。 B P算法简单的来说，把训练样本从输入层输入，过每个节点对应的阈值、数以及节点之间连接权值的运算，过

输入层、是通函经 隐含层传播到输出层得到计算输出，输出和其对应的期望输出比较，出误差。如果误差不符合要求，误差沿输入相反的方向该得将 进行传播并沿误差降低方向调节权值和函数的阈值。用多个训练样本对网络进行反复的训练，至误差符合要求。直

B P神经网络的算法又称为误差逆传播算法，个算法的学习过程由正这向传播过程与反向传播过程组成。正向传播过程是依据学习样本的输入向量从输入层分隐含层分输出层逐次修改权值矩值认 w。两个过程反复交替，至收敛为止。直

3BP算法存在的问题及其改进 31BP算法的局限性 .

在实际应用中，P算法普遍存在以下问题： B 1误差下降缓慢，整时间长，代次数多，响收敛速度，成收敛 )调迭影造速度慢，加快收敛速度易产生振荡。若

输麟

髓齿龌

镱魁鬻

图 1三层网络结构图

2存在局部极小问题，得不到全局最优。训练会因陷入某个局部极小点而不能自拔， )但使训练难以收敛于给定的误差。 3隐节点数和初始值的选取缺乏理论指导。 )4泛化能力差。 ) 5未考虑样本选择对系统学习的影响。 )

32对 B算法的改进 . P B P算法改进方法可以分为两类：是基于非线性无约束极值理论的算法改进，是基于新理论的算法改进。一二 321基于非线性无约束极值理论的算法改进 ..

神经网络连接权值的学习过程看作非线性无约束极值的求解过程，于这一理论的算法改进构成了算法改进的主流。而这些基算法改进细分为两大类：

收稿日期：0 8 2 2 2 0—1 -2

本栏目责任编辑：唐~东

*

人工留能及识别技术 *9 3 3

C m u r nw de n cnly电脑知识与技术 o p￣ Ko l g dT ho g e a e o

第 5卷第 4期

(0 9年 2月) 20

1在梯度法的基础上改进 B ) P网络的学习算法。中，进误差函数和学习步长 1的自适应调整是两个主要途径。进误差函其改 1改数的方法有熵函数法，外还有基于最大似然法对标准 B另 P算法的

误差函数的改进，及分析了常用的 L以 S型误差函数并基于一个结构性定理，出了构造特殊能量函数的一般方法等等。学习步长 1的自适应调整方法有很多，可以通过 Hess阵直接求解；给 1 s矩 e 另外利用非单调线性搜索的基本方法，引入一个自适应预估和调整学习步长的策略。 2基于其它无约束极值求解方法的算法改进。可以采用非线性无约束极值求解和其它方法，如，扼梯度法、尺度法、长 1例共变步加速法和单纯形法等来改进 B P网络的学习算法。标准 B P算法和大部分的改进算法实质上都属于非线性无约束极值求解方法。学习步长的调整也吸收了非线性无约束极值求解方法的成熟理论。考察梯度法在求解非线性无约束极值问题中的实现恬’,以得 可出结论：准 B标 P算法收敛速度慢的根本原因在于算法本身，梯度法的基础上改进 B在 P网络的学习算法收敛速度不会有太明显的提高。322基于新理论的算法改进 ..

通过深入分析 B P网络的结构特点和体会误差反向传播算法的实，结合其它领域已成熟的优化算法和参数估计理论，出并提 各种基于新理论的反向传播算法。其中比较好的算法改进有：用推广卡尔曼滤波来实现 B利 P网络的学习算法改进、于同伦论中基 零点路径跟踪概念的算法改进、于正交投影算法线性优化方法的算法改进等等。除了这些以外还有一部分专门用于克服局部极基小的改进算法，这方面人们所作的工作不多，在比较有效的方法有模拟退火和遗传算法。这两种方法的学习时间比较长而且算法需进一步改善，以利用非线性函数总体极值方法来找到全局极小点。可

4B神经网络的应用 P4 1人脸识别 .

对人脸识别是人类最伟大的视觉功能之一，经网络受动物神经系统启发，用大量简单处理单元互联而构成的复杂系统， 神利以解决复杂模式识别和行为控制问题。 B将 P网络用于人脸识别，立了人脸识别模型，过对输入图像实行图像压缩、建通图像抽样及输

入矢量标准化等

图像预人图像实行图像压缩、图像抽样及输入矢量标准化等图像预处理，将标准化矢量输人 B P伸经网络进行 l l i t l练。B P网络用于人脸识别时，络的每一个输入节对应样本的一个特征，网而输出节点数等于类别数，个输出节点对应一个类。一 在训练阶段，果输入训练样本的类别标点是 i则训练时的期望输出假设第 i节点为 1而其余输出节点均为 0如，个，。在识别阶段，当个未知类别样本作用到输入端时 .察各输出节点对应的输出，考并将这个样本类别判定为具有最大值的输出节点对应的类别。如果有最大值的输出节点与其它节点之间的距离较小 (于某个阈值 )则作出拒绝判断。经过竞争选择，得识别结果。小，获一

42图像压缩编码 .

利用 B P网络实现数据编码的原理是：一组输入模式通过少量的隐层节点映射到一组输出模式，使输出模式等同与输入模把并式。中间隐层的节点数比输入模式维数少时，意味着隐层能更有效地表现输入模式，把这种表现传给输出层。这个过程中，当就并在 输入层和隐层的变换可以看成是压缩编码的过程：隐层和输出层的变换可以看成是解码过程。用多层前馈网实现图象压缩时 .而只需一个隐层，络结果如图 2所示。入层和输出层均含有 n n个神经元，个神经元对应于 n n个图像分块中的一个像素。层神网输 x每 x隐经元的数量由图像压缩比决定，如 n 1= 6时，取隐层神经元数为 m=,可将 2 6素的图像块压缩为 8像素。用于学习的图像 8则 5像设有 N N个像素，训练时从中随机抽取 n n图像块作为训练样本， x x 并使教师模式和输入模式相等。通过调整权值使训练集图像的重建误差达到最小，练后的网络就可以用来执行图像的数据压缩训

任务了，时隐层输出向量便是数据压缩结果，输出层的输出此而 向量便是图像重建结果。43最优预测 .瓤豁德壤臻 瀚糠

前景预测已经成为许多行业不可避免的一个难题 .于预测由涉及的因素很多，往很难建立一个合理

的模型。人工神经网络往

图 2用于图像压缩编码的 B网 p

模拟人的大脑活动，有极强的非线性逼近、规模并行处理、具大自训练学习、错能力以及外部环境的适应能力 .以利用人工神经容所网络进行预测已经成为许多项目首选的方法。目前利用 B P网络进行预测的应用已经很多，如，以用来建立公共卫生事件监测例可与预警系统、游业趋势预测系统、流预测系统、源调度系统等方面。旅物资 B P网络在应用于预测预报前需要一个网络学习过程，学习过程包括信息正向传播和误差反向传播两个反复交替的过程。网其络根据输入的训练 (习 )本进行自适应、学样自组织，定各神经元的连接权 w和阈值‘经过多次训练后，络就具有了对学习样确 p,网本的记忆和联想的能力44函数拟合 .

B P网络可以看成是输入到输出的高度非线性映射， GR— R gy x对于样本集合，入 y∈R、出 x∈R可以认为存即：n m, ), (:输 i n输 i m,在某一映射 h使 hy= i=,, n。须求出映射 g常在最小二乘意义下， h的最佳逼近。经网络通过对简单的非线性函， ()x( 1…,现 i I 2 ),通 g是神数进行数次复合，近似任意复杂的函数或映射。可

4 .障诊断 5故对于故障诊断而言，核心技术是故障模式识别，人工神经网络由于其本身信息处理特点，并行性、其而如自学习、自组织性、联想记忆等使得能够出色地解决那些传统模式识别难以圆满解决的问题，以故障诊断是人工神经网络的重要应用领域之一。总的所说来，经网络在诊断领域的应用研究主要集中在两个方面：是从模式识别的角度应用作为分类器进行故障诊断，基本思想是神一其以故障征兆作为人工神经网络的输入，断结果作为输出；是将神经网络与其他诊断方法相结合而形成的混合诊断方法。对用解诊二析方法难以建立系统模型的诊断对象，人工神经网络有着很好的研究和应用前景。

5结论B P网络是当前应用最为广泛的一种人工神经网络，论在

理论研究上还是在实际应用中都取得了突飞猛进的发展。因此，无针94 3人工智能及识别技术本栏目责任编辑：唐一东

对B P算法的不足，种改进算法的研究也较多。本文通过给出几种人工神经网络 B各 P算法的改进方法以及几个应用方面， B对 P神经网络算法有了更多的认识，而提高了学习速度，加了算法的可行性信人工神经网络必将会得到越来越广泛的应用和迅猛从增相发展。

参考文献：f1大奇，慧 .工神经网络原理及应用[】京：学出版社， 0 . l朱史人 M.北科 2 6 0 【1力群 .工神经网络理论、计及应用[ . 2韩人设 M】北京：学工业出版社，0 4化 20 . f1俊英，有为 .于 B 3甘张基 P神经网络的人脸识别『.统工程与电子技术， 0,5 . J系] 2 3 0) 0 2 『李金屏，苗，明军， .高 B 4 1何刘等提 P小波神经网络收敛速度的研究[模式识别与人工智能，0 21() 8 3 . 2 0,51:~ 5 2

f吴建昱，小荣.于过程建模的 B 5 1何用 P网络的 M训练法及其改进 f.算机与应用化学，0 11() 7— 7 . J计] 2 0,8: 3 4 6 54

王爽 (9 6 )女，南南阳人，士，究方 18一，河硕研向：算机网络、算机应用。计计

(接第 9 3页 )上 2 用径向基函数作为隐单元的“”构成含层空间。隐含层对输入向量进行变换，低维空间的模式变虱高维空间中，低维基，将 使空间中的不可分问题在高维空问中变得可分。 算法思想： ’ 1找到分类中心向量，称基向量，般用 K均值法，态聚类法等)假定分类中心向量个数为个，也就决定隐层神经元的 )也 f 一动，这

个数。 2算出输入样本到各个分类中心向量的距离 d利用基函数 x自变量为 d得到隐层输出，有离分类中心最近的向量得到较 ), ),,只大的输出。.

一

i 1=2

: m k 1” =2

P是输入样本个数，是聚类中心的个数，样本和聚类中心向量的维数。 j k是

L e{, x一㈤:p L3最后通过隐层到输出层的线性变

换得到最终的输出 .: )则=

i

∑’—o’ 0 C》, l_】

学习算法： 1利用无导师机制选取分类中心向量： )

2利用有导师信号修正隐层到输出层的权值， )权值的修正仍用类似 B P神经网络的梯度下降算法。 径向基函数网络对于输入层向隐层的变换是非线性的。隐层到输出层变换进线性的 .确定中心结点时，采用无导师的聚而在可

类机制，当修正隐层到输出层的权值时可采用有导师机制，两种方法结合即可发现输入样本中的内在规律，可利用导师信号进此又行约束从而提高分类的精度和缩短学习的时间。

3结论利用神经网络进行分类时，果可以得到导师信号，采用径向基神经网络， B如可或 P神经网络，向基神经网络收缩速度快，径不容易陷入局部极小值，解决分类时和般优越于 B在 P神经网络，果无法得到导师信号，可采用自组织神经网络 S M网络，常如则 O通 S M也可以用在径向基神经网络的选用中心向量问题上。 O

参考文献：(韩力群 .工神经网络理论、计及应用[ . .京：学工业出版社， 0 . 1】人设 M】 2版北化 2 7 0 【侯媛彬，京义，梅. 2]杜汪神经网络[]安：安电子科技大学出版社， 0 . M.西西 2 7 0 ’

【徐强恩， 3】罗四维，李建瑜.径向基神经网络的一种在线学习算法【. J北方交通大学学报， 0 (:—4] 2 3 )29 . 0 29

郭小燕 ( 9 6 )女，肃天水人，师，要研 17一，甘讲主

究方向：据库，算机网络。数计

本栏目责任编辑：唐一东

*

人工智能及识另技术口

95 3

本文来源：https://www.bwwdw.com/article/q9u4.html