神经网络历史发展及应用综述个人整理

人工神经网络历史发展及应用综述

1、引言

人类为了生存在改造探索自然的过程中，学会利用机械拓展自身的体力，随着对自然认识的不断深入，创造语言，符号，算盘、计算工具等来强化自身脑力。复杂的数字计算原本是靠人脑来完成的，为了摆脱这种脑力束缚发明了计算机。其数字计算能力比人脑更强，更快、更准。计算机的出现，人类开始真正有了一个可以模拟人类思维的工具，期盼可以实现人工智能，构造人脑替代人类完成相应工作。

要模拟人脑的活动，就要研究人脑是如何工作的，要怎样模拟人脑的神经元。人脑的信息处理具有大规模并行处理、强容错性和自适应能力、善于联想、概括、类比和推广的特点，多少年以来，人们从生物学、医学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图获悉人脑的工作奥秘，寻求神经元的模拟方法。在寻找上述问题答案的研究过程中，从20世纪40年代开始逐渐形成了一个新兴的边缘性交叉学科，称之为“神经网络”，是人工智能、认知科学、神经生理学、非线性动力学、信息科学、和数理科学的“热点”。关于神经网络的研究包含众多学科领域，涉及数学、计算机、人工智能、微电子学、自动化、生物学、生理学、解剖学、认知科学等学科，这些领域彼此结合、渗透，相互推动神经网络研究和应用的发展。 2、定义

思维学普遍认为，人类大脑的思维有三种基本方式，分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维。逻辑性的思维是根据逻辑规则进行推理的过程，这一过程可以写成指令，让计算机执行，获得结果。而直观性（形象）的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的有以下两个特点：一是信息通过神经元上的兴奋模式分布储在网络上；二是信息处理通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟第二种人类思维方式。人工神经网络是由大量具备简单功能的人工神经元相互联接而成的自适应非线性动态系统。虽然单个神经元的结构和功能比较简单，但大量神经元连接构成的网络系统行为却异常复杂。人工神经网络基本功能模仿了人脑行为的若干基本特征，反映了人脑的基本功能，但并非人脑的真实写照，只是某种对人脑模仿、简化和抽象。人工神经网络具有并行信息处理特征，依靠网络系统的复杂程度，通过调整内部大量节点之间相互连接的关系，适应环境、总结规则、完成某种运算、识别或过程控制，从而达到处理信息的目的。

人工神经网络作为模拟人脑活动的理论化算法数学模型，Hecht—Nielsen于1988年给人工神经网络下了如下定义：

人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元（PE---Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。

按照Rumellhart，McClelland，Hinton的PDP （Parallel Distributed Processing）理论框架（简称PDP模型），对人工神经网络的描述包含八个要素： 1）一组处理单元（PE或AN）； 2）处理单元的激活状态（ai）； 3）每个处理单元的输出函数（fi）； 4）处理单元之间的联接模式； 5）传递规则（∑wijoi）；

6）把处理单元的输入及当前状态结合起来产生激活值 的激活规则（Fi）；

7）通过经验修改联接强度的学习规则； 8）系统运行的环境（样本集合）。

以上定义详细且复杂，为了方便使用，Simpson于1987年从神经网络的拓扑结构出发，下了一个不太严谨却简明扼要的定义：

人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。

关键点：

1）信息的分布表示

2）运算的全局并行与局部操作 3）处理的非线性特征 对大脑基本特征的模拟：

1）形式上：神经元及其联接；BN对AN 2）表现特征：信息的存储与处理

人工神经网络最开始实际上是没有任何规则，根据学习规则把预先准备的输入与输出相互对应的数据进行分析，了解所给数据蕴含的基本规则，这过程也就是所谓的“学习”和“适应”， 经过训练（反复地学习）后掌握所给数据的规则，依据规则用新输入的数据快捷地推算出所需的结果。 3、特征

人工神经网络是通过模仿人脑神经系统的组织结构和部分活动机理进行信息处理的新型网络系统。可见人工神经网络的性能是由本身的结构特征和人工神经元的特性所决定的,同时也与其学习算法相关。下面从网络结构、性能、能力和实现方式四个方面阐述神经网络的基本特征。

3.1网络结构特征：并行处理、分布存储、神经元联接，结构可塑。

一个人工神经网络通常由多个人工神经元广泛联接而成，神经网络的拓朴结构是模拟生物神经细胞的互连方式。人工神经元是一个局部信息处理单元，接受来自其它人工神经元的信息，并根据自身当前“状态”以某种形式与方式输出结果给其它人工神经元，而且，它对信息的处理是非线性的。把人工神经元抽象为一个简单的数学模型。虽然单个人工神经元的功能简单，但大量简单处理单元的并行活动令网络出现功能的多样化和高效的处理速度。为满足网络结构的并行性，神经网络采取分布式的信息存储，将信息分布在网络中的连接权。显然神经网络可存储大量信息，单个人工神经元的连接权存储的是整个神经网络信息的一部分。神经网络内在的并行性与分布性表现在其信息的存储与处理过都是空间上分布、时间上并行的。

3.2性能特点：非线性、容错性、模糊性

(1) 非线性映射逼近能力。作为模拟人脑的人工神经网络，人工神经元的互联与并行处理使神经网络呈现明显的非线性特征。理论已证明，任意的连续非线性函数映射关系可由某一多层神经网络以任意精度加以逼近。单元简单、结构有序的神经网络模型显然是非线性系统建模的有效框架模型。

(2) 强大的容错能力。存储的分布使神经网络具备了一种特殊的功能---容错能力。一是在少量人工神经元被破坏的情况下，仍可保证信息被存取，保证网络系统在一定程度损伤的情况下整体性能不受影响。二是输入信息出现模糊、残缺或变形时，神经网络仍然能够对不完整的信息输入进行正确识别。如果人工神经元具有阈值必然使神经网络具有更好的性能，可以提高容错性和存储容量。

(3)计算的模糊性。人工神经网络特有的信息处理方式，对连续模拟信号以及不精确的、不完整的模糊信息的运算处理是不精确的。人工神经网络在被训练后，对输入信息的微小变

化是不反应的。凡事都有其两面性，在高精度计算的情况下，这种不精确性是一个缺陷，但某些场合却可以利用这所谓的缺陷获取良好的系统性能。例如模式识别时可将这不精确性表现成“去噪音、容残缺”的能力，对实现良好地识别效果至关重要。需要注意的是，人工神经网络的这种特性不是通过隐含在专门设计的计算机程序中的人类的智能肺炎实现的，而是其自身的结构所固有的特性所给定的。

3.3能力特征：并行分布优化、非常定性、联想存储

(1) 对信息的并行分布式综合优化处理能力。人工神经网络的大规模互联网络结构,使其能兼容定性和定量信息,高速地并行实现全局性的实时信息处理,并协调多种输入信息之间的关系,其速度远高于串行结构的冯?诺依曼计算机。神经网络的工作状态是以动态系统方程式描述的，将优化约束信息（与目标函数有关）存储于神经网络的连接权矩阵之中，设置一组随机数据作为起始条件，当系统状态趋于稳定时，神经网络方程的解作为优化结果输出。这种优化计算能力在自适应控制设计中是十分有用的。

(2)非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且非线性动力本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。也就是说，人工神经网络可在学习和训练过程中改变连接权重值，根据所在的环境去改变它的行为。可见自适应性是神经网络的一个重要特征。经过充分训练的神经网络具有潜在的自适应模式匹配功能,能对所学信息加以分布式存储和泛化。神经网络的自学习是当外界环境发生变化时，经过一段时间的训练或感知，神经网络自动调整网络结构参数，使得输入产生期望的输出。人工神经元系统在外部刺激下按一定规则调整人工神经元之间的连接权值，逐渐构建起神经网络，整个构建过程就是神经网络的自组织。神经网络的自组织能力与自适应性相关，自适应性是通过自组织实现的。

(4) 联想存储能力。人工神经元之间的大量连接模拟了人脑的非局限性。联想存储就是非局限性的典型例子，就像人脑具有联想能力。存储分布和处理并行令神经网络具备对外界输入信息和模式联想存储的能力。人工神经元之间的协同结构与信息处理方式构成的整体行为是实现联想存储有效形式。神经网络是通过连接权值和连接结构来表达信息的记忆，这种存储的分布使神经网络能够存储大量的复杂模式和恢复存储的信息。用人工神经网络的反馈网络就可以实现类似的联想。

3.4实现方式：易于集成实现和计算模拟

神经网络的活动规律能够用数理逻辑工具描述，并且人工神经网络的网络结构是人工神经元的大规模组合,特别适合用大规模集成电路实现,其途径有半导体电子器件、光学器件和分子器件。同时，神经网络也适合于用现有计算技术进行模拟实现。由于传统的计算机运算

方式与神经网络所要求的并行运算和分布存储方式是完全不相同的,所以两者在运算时间上必然存在着显著差异。 4、回顾发展历史

神经网络是人工智能的一个发展分支，从诞生以来经历了五个阶段：

(1)启蒙期：20世纪40年代初，神经解剖学、神经生理学、心理学对人脑神经元的电生理的研究等做了不少工作，且都富有成果。其中，W.S.McCulloch（神经生物学家、心理学家）提倡数字化具有特别意义。他与W.Pitts（青年数理逻辑学家）合作，从人脑信息处理观点出发，采用数理逻辑模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称M-P模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能。M-P模型的结点构成的网络计算能力很强，为用元器件、计算机程序实现人工神经网络打下了坚实基础，从而开创了人工神经网络研究的时代。这一革命性的思想，产生了很大影响，但在当时整个科学界并未给予重视，认为仅是一种纯理论上的探索。只有Kleene（数学家）在此基础上抽象成一种有限自动机理论。

1949年D.O.Hebb（神经生物学家、心理学家）的论著The Organization of Behavior，对大脑神经细胞、学习与条件反射提出了大胆地假设：神经元之间突触联系是可变的假说。基本思想是，两个神经元的突触的联接强度当两个神经元处于同状态时因对问题响应的一致性而增强，当神经元所处状态不同时因对问题响应的不一致性而减弱。Hebb规则是人工神经网络学习训练算法的起点，对神经网络的发展起到了里程碑作用，至今仍然被人们引证。 50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度的方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功。Minsky（人工智能的主要创始人之一）于1954年对神经系统如何能够学习进行了研究，后来他深入分析了Rosenblatt建立的感知（Perceptron)的学习模型作。

(2)兴盛时期：1958年F.Rosenblatt（计算机科学家）基于M-P模型，增加了学习机制，推广了M-P模型，第一个具有学习型神经网络特点的模式识别装置，即代号为M a r k Ｉ的感知器（Perceptron），感知器模型是神经网络理论首次付诸工程实现，这一重大事件是神经网络研究进入第二阶段的标志。感知器是一种学习和自组织的心理学模型，学习规则是突触强化律，其结构体现了神经生理学的知识，但只能进行线性分类，不能识别复杂字符与输入模式等。F.Rosenblatt之举激发了许多学者对神经网络研究的极大兴趣。美国上百家有影响的实验室纷纷投入这个领域，军方给予巨额资金资助，神经网络形成了首次热潮。

1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型，是一种连续取值的线性网络，要求输入输出是线性关系。这是第一个对实际问题起作用的神经网络，学习能力强，较早商用。Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力，80年代他们得到了一种多层学习算法。

1962年Rosenblatt对他的感知器作了总结。还有些科学家采用其它数学模型，例如，我国中科院生物物理所在1965年提出用矩阵法描述一些神经网络模型，重点研究视觉系统信息传递过程和加工的机理以及建立有关数学模型。

60年代中、后期，Grossberg从信息处理的角度，研究了思维和大脑结合的理论问题，运用数学方法研究自组织性、自稳定性和自调节性以及直接存取信息的有关模型。他建立了一种神网络结构，即：他给出的内星（instar)、外星（outstar)和雪崩（avalanche)为最小的结构。他提出的雪崩网可用于空间模式的学习和回忆以及时间模式的处理方面，如：执行连续语音识别和控制机器人手臂的运动。日本神经网络理论家Amari注重生物神经网络的行为与严格的数学描述相结合，尤其是对信任分配问题的研究。Willshaw等人提出了一种模型：存贮输入信号和只给出部分输入，恢复较完整的信号，即全息音(holophone)模型。这为利用光学原理实现神经网络奠定了理论基础，为全息图与联想记忆关系的本质问题的研究开辟了一条新途径。Nilsson对多层机，即具有隐层的广义认知机作了精辟论述，他认为网络计算过程实质上是一种坐标变换或是一种映射。虽然对这类系统的结构和功能认识比较清楚，但他没有给出实用的学习算法。当时，尚无人知道训练由多层阈值逻辑单元(TLUs)组成的多层机的实用方法。

(3) 反思时期：在神经网络备受瞩目时， Minsky警觉到人工智能的发展与前途问题。以顺序离符号推导为其基本特征与神经网络大相径庭。他从感知器的功能及局限性入手，从数学分析，证明了感知器不能实现XOR 逻辑函数问题，也不能实现其它的谓词函数。他认识到感知器式的简单神经网络对认知群不变性无能为力。1969年Minsky和Papert在MIT出版了一本论著Percertrons，对当时与感知器有关的研究及其发展产生了恶劣的影响，却推动了人工智能的发展，使它占据主导地位。美国在此后15年里从未资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研究的课题。 虽然如此，仍然有少数坚定的科学家在研究神经网络理论，别的科学家了在此期间投入到这个领域，带来了新的活力。他们取得了一系列重要理论成果：

Holland在1960年卷入基因遗传算法及选择问题的数学方法分析和基本理论的研究中建立了遗传算法理论。Marr D.提出小脑自动机（Cerellation），其能调各各种指令系列，需要插入，动作缓慢，需要复杂的控制输入。1976年Grossberg提出自适应共振理论(ART)，

这是感知器较完善的模型，即superrised学习方式。随后Grossberg与Carpenter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征。

类似的有：Werbos提出的BP理论以及提出的反向传播原理；Fukushima提出了视觉图象识别的Neocognitron模型，后来他重新定义了Neocognitron；Amari对神经网络的数学理论研究受到一些学者的关注；Rechenber提出了进化随机策略，并成功的应用到物体风洞试验中；Kohonen出版了一本专著Associative Memory-A System Theoretic Approach (1977年)，他阐述了全息存储器与联想存储器的关系，详细讨论了矩阵联想存储器，这两种存储都是线性的，并以互联想的方式工作，实现起来比较容易。

上述研究成果的影响不断扩大，神经网络理论家的坚持研究，为第二次高潮作好了准备。可以说，神经网络理论在反思期不仅有活力，且独立性强，其成果必将逐步融入科学知识中。 (4) 复兴时期：Kohonen提出了自组织映射网络模型，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行模拟，通过实例展示自适应学习效果显著。1982年Hopfield（生物物理学家）详细阐述了它的特性，他对网络存储器描述得更加精细，他认识到这种算法是将联想存储器问题归结为求某个评价函数极小值的问题，适合于递归过程求解，并引入Lyapunov函数进行分析，给出网络稳定判据。在网络中，节点间以一种随机异步处理方式相互访问，并修正自身输出值，可用神经网络来实现，从而这类网络的稳定性有了判据，其模式具有联想记忆和优化计算的功能。并给出系统运动方程，即Hopfield神经网络的神经元模型是一组非线性微分方程。他构造出Lyapunov函数，并证明了在Tij=Tji情况下，网络在平衡点附近的稳定性，并以电子线路来实现这种模型。1982年Hopfield向美国科学院提交了关于神经网络的报告，其主要内容是，建议收集和重视以前对神经网络所做的许多研究工作，他指出了各种模型的实用性。从此，复兴高潮的序幕拉开了。

Marr D.开辟了视觉和神经科学研究的新篇章，他的视觉计算理论对视觉信息加工的过程进行了全面、系统和深刻的描述，对计算理论、算法、神经实现机制及其硬件所组成3个层次作了阐述。1982年Marr的著作Vision使许多学者受益，在Marr D.的理论框架的启示下，Hopfield在1982年至1986年提出了神经网络集体运算功能的理论框架。随后，引起许多学者研究Hopfield 网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。

1983年Kirkpatrick等人首先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这个有

效的近似算法是基于Monte Carlo迭代法的一种启发式随机搜索算法。在1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。它是一种神经网络连接模型，即由有限个被称之为单元的神经元经一定强度的连接构成，又是一种神经计算机模型。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。这些成为随机神经网络的基本理论。

Poggio等人以Marr D.视觉理论为基础，对视觉算法进行了研究，在1984 年和1985年他提出了初级视觉的正则化方法，使视觉计算的研究有了突破性进展．我国生物物理学家汪云九提出了视觉神经元的广义Gabor函数(EG)模型，以及有关立体视觉、纹理检测、运动方向检测、超视觉度现象的计算模型。汪云九等人还建立了初级视觉神经动力学框架，他们开辟了一条新的途径。

Hecht-Nielsen在1979年制定Motorola神经计算的研究与发展计划，在此为基础于1983年又进一步制定了TRW的计划，构造了一种对传网络的多层模式识别神经网络，主要适用图象压缩和统计分析，他还成功设计了一种神经计算机称为TRW MarkⅢ，1987年将它投入商业应用，并且设计了Grossberg式时空匹配滤波器。他在1988年证明了反向传播算法对于多种映射的收敛性。

1986年Rumelhart和McClelland合著的Parallel Distributed Processing：Exploration in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推动作用。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法。

此外，我国系统科学家钱学森在80年代初倡导研究“思维科学”。1986年他主编的论文集《关于思维科学》出版，书中有关神经网络方面的论文：刘觐龙对“思维神经基础”的探讨；洪加威对“思维的一个确定型离散数学模型”的研究；陈霖的长篇文章“拓扑性质检测”。这本书引起了国内学术界有关人士的极大反响。

1987年在圣地雅哥召开了首届国际神经网络大会。然后INSS创办的刊物Journal Neural Networks问世，还诞生十几种国际著名的神经网络学术刊物。神经网络理论经过半个多世纪的发展，人们看到它已经硕果累累。于是，美国国防部高级预研计划局(DARPA)组织了一批专家、教授进行调研，走访了三千多位有关研究者和著名学者，在1988年9月完成了一份长达三百多页的神经网络研究计划论证报告。并从11月开始执行一项发展神经网络及其应用的八年计划，投资4亿美元。美国国家科学基金会(NSF)1987年拨款50万美元，

1989年NSF、ONR &AFOSR投资1千万美元.DARP A的看法是，神经网络是解决机器智能的唯一希望。世界上一些著名大学纷纷成立神经网络研究所、制订有关教育计划。许多国家相应成立了神经网络学会，定期召开国际性、区域性会议，如1990年欧洲召开首届国际会议Parallel Problem Solving from Nature (PPSN), 1994年IEEE神经网络学会主持召开了第一届进化计算国际会议。

我国学术界大约在80年代中期关注神经网络领域，如中科院生物物理所科学家汪云九，姚国正和齐翔林等；北京大学非线性研究中心在 1988年9月发起举办了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach。INNS秘书长Szu博士在会议期间作了神经网络一系列讲座，后来这些内容出版了。从这时起，我国有些数学家和计算机科学开始对这一领域产生兴趣，开展了一定的研究工作。

1988年Chua和Yang提出了细胞神经网络（CNN)模型，它是一个大规模非线性计算机仿真系统，具有细胞自动机的动力学特征。它的出现对神经网络理论的发展产生了很大的影响。另外，Kosko建立了双向联想存储模型（BAM)，它具有非监督学习能力，是一种实时学习和回忆模式，并建立了它的全局稳定性的动力学系统。

Mead是VLSI系统的创建者，他和Conway、Mahowald等人合作，研制一种动物神经系统的电子电路模拟，即称硅神经系统。如，在一方阵中含几千个光敏单元的VLSI芯片，它是以人的视网膜中锥体细胞的方式来连接一块VLSI芯片。对此，他在1989年出版了专著Analog VLSI and Neural System Mead。Muhlenbein提出了一种进化系统理论的形式模型，是一种遗传神经网络模型。其基本思想是来源于Waddington1974年发表的论文，对基因型与表型关系进行了描述。Aleksander提出了概率逻辑基于Markov chain 理论，对其收敛性、结构以及记忆容量等研究，为概率逻辑神经元网络的发展提供了新的方法和途径。 神经网络的复兴从此拉开序幕，这次研究热潮吸引了许多科学家来研究神经网络理论，论著优秀，成果丰硕，新的应用领域受到工程技术人员的极大赞赏。

(5) 新发展时期：从神经网络理论的热潮是容易退去的。IJCNN91大会主席Rumelhart意识到这一点，在开幕词中有一个观点，神经网络的发展已到转折时期，它的范围正在不断扩大，其应用领域几乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神经网络到了新发展阶段，需要不断完善和突破，使其技术和应用得到有力的支持。

90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelman提出了Darwinism模型，其主要3种形式是DarwinismⅠ、Ⅱ、Ⅲ。他建立了一种神经网络系统理

论，例如 ，DarwinismⅢ的结构，其组成包括输入阵列、Darwin网络和Nallance网络，并且这两个网络是并行的，而它们又包含了不同功能的一些子网络。他采用了Hebb权值修正规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标。

1994年廖晓昕（控制与系统理论专家）对细胞神经网络建立了新的数学理论与基础，得出了一系列成果。如，耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等。

神经网络的光学方法，能充分发挥光学强大的互连能力和并行处理能力，提高神经网络实现的规模，从而加强网络的自适应功能和学习功能，因此近来引起不少学者重视。Wunsch 在90 OSA年会提出一种Annual Meeting，用光电执行ART，它的主要计算强度由光学硬件完成，光电ART单元的基本构件为双透镜组光学相关器，并采用光空间调节器完成二值纯相位滤波和输入图象的二维Fourier变换，它的学习过程有自适应滤波和推理功能，可以把光学有机组合在其中，具有快速和稳定的学习的特点，网络所需神经元数目大量减少，而且人为调节参数也减少很多。1995年Jenkins等人研究了光学神经网络(PNN)，建立了光学二维并行互连与电子学混合的光学神经网络系统，实现了光学神经元，它是解决光学实现相减和取阈问题的新动向。值得重视的是，90年代初，McAulay，Jewel等许多学者致力于电子俘获材料应用于光学神经网络的研究，在光存储等方面取得一定成果，受到人们的关注。最近，阮昊等人采用他们研制的Cas (Eu, Sm)电子浮获材料实现IPA( Interpattern Association)和Hopfield等那些互联权重不变的神经网络模型，他们认为，采用这种方式还可实现如感知器等那些通过学习来改变互联权重的网络模型。这些，对光学神经网络的发展起到很大的推动作用。

对于不变性模式识别机制的理解，是对理论家的一大挑战，尤其是对于多目标的旋转不变分类识别问题的研究，具有广泛的应用前景。最近，申金媛、母国光等人提出一种新方法，即基于联想存储级联WTA模型的旋转不变识别。当识别多个模式时就可联想出一个模式，针对该问题，他们采用了全单极形式，对互连权重进行二值化截取，并把联想存储模型与WTA模型级联起来，从而提高了存储容量和容错性，实现了多目标旋转不变分类识别。他们选择四大类型飞行器作为仿真模拟，其方法可行和有效。

此外，Haken在1991年出版了一本论著Synergetic and Cognition：A Top-Down Approach to Neural Nets。他把协同学（Synergetics）引入神经网络。在他的理论框架中，强调整体性，认知过程是自发模式形成的，并断言：模式识别就是模式形成。他猜测感知发动机模式的形成问题可以绕开模式识别。他仍在摸索着如何才能使这种方法识别情节性景象和处理多意模式。

值得重视的是，吴佑寿等人提出了一种激励函数可调的神经网络模型，对神经网络理论的发展有重要意义。可以认为，先验知识不充分利用岂不可惜，但问题是先验知识有时不一定抓住了实质，存在一定局限性。因此，在设计激励函数可调网（TAF)时要谨慎。他们针对一个典型的模式分类难题，即双螺线问题来讨论TAF网络的设计、激励函数的推导及其网络训练等，其实验结果表明这种网络方法的有效性和正确性，尤其对一些可用数学描述的问题。 90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题，已取得了突出的成果，在1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP 参数在线调节方法，制定了一种新的辨识与控制方案。

Miller等人基于Albus在1975年提出的小脑模型关节控制器（CMAC)，研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的特点，可用于实时控制方面，但存在一个缺陷，即采用了间断超平面对非线性超曲的逼近，有时出现精度不够，也有可能得不到相应的导数估计。这种方法一开始就被Miller成功地应用于商用机器人的实时动态轨迹的跟踪控制中。Touretzky也成功应用于非线性时间序列分析上。1992年Lane对它作了改进，他采用高阶B—样条，使逼近超平面的光滑性更好，虽然计算量有所增加，但在容忍范围之内，逼近精度有一定提高。1993年Bulsari提出以乘积Sigmoidal函数作为激发函数，给出了非线性系统用神经网络逼近的构造性描述，得到了节点数目的一个上界估计。最近，朱文革引入小波变换，并对其性质进行了分析。在Lp范数下，他也构造性证明了单个隐层前馈神经网络逼近定理。1997年罗忠等人对CMAC的收敛性以及hash编码对它的影响作了矩阵分析和证明。另外，部分学者通过神经网络的训练来实现非线性系统的状态反馈控制，其学习算法为非线性系统的学习控制提供了有效的方法。但算法需要全状态反馈信息，实际应用有一定的困难，同时算法学习收敛速度有待提高。

1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。近几年有些学者对它进行了改进，如：蔚承建等人在随机搜索过程中引入区域指引，并采用Cauchy变异替换Gaussian变异产生后代，使算法的可收敛性及速度有所提高。他们将这种方法成功的应用于转动圆桌平衡摆盘问题的求解。值得一提的是1997年张讲社等人将Markov链表示遗传算法，并引进模拟退火的方法。还有类似的混合法及其改进，如提高收敛速度，避免过早收敛，同时避免陷进局部极值的情况。

必须认识到神经网络的计算复杂性分析具有重要意义。1991年Hertz探讨了神经计算

理论。1992年Anthony出版了一本论著Computational Learing Theory。1995年阎平凡讨论了神经网络的容量、推广能力、学习性及其计算复杂性。神经网络的计算复杂性理论成果越多，对应用的作用就越大。

从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因此也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。 5、人工神经网络的信息处理基本原理与连接框架 5.1人工神经网络信息处理的基本原理

人工神经网络（articles neural network，ANN）结构和工作机理基本上以人脑的组织结构（大脑神经元网络）和活动规律为模仿对象，仅反映了人脑的某些基本特征，是一定程度的抽象、简化或模仿。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

人工神经网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。信息处理是由一组功能简单的单元通过相互作用完成。每个单元向其他单元发送刺激信号或是抑制信号。人工神经网络通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。 5.2人工神经网络连接框架

人工神经网络作为智能信息处理的工具之一,有着很强的适应性、高度的容错性及强大的功能等优点,在医学统计中有着广阔的应用前景。它是模仿人的大脑神经系统信息处理功能的智能化系统,由简单处理单元(神经元) 联接构成的规模庞大的并行分布式处理器,根据其网络拓扑结构,可分为四种类型: 前向网络、有反馈的前向网络、相互结合型网络和混合型网络。

（1）前向网络。 网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

（2）反馈网络。 网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

（3）相互结合型网络它属于网状结构。构成网络中各个神经元都可能相互双向联接, 所有的神经元既作输入, 同时也用于输出. 这种网络对信息处理与前向网络不一样. 在前向网络中, 信息处理是从输入层依次通过中间层(隐层) 到输出层, 处理结束. 而在这种网络中, 如果在某一时刻从神经网络外部施加一个输入, 各个神经元相互作用, 直到使网络所有神经元的活性度或输出值, 收敛于某个平均值为止作为信息处理的结束。

（4）混合型网络。上述的前向网络和相互结合型网络分别是典型的层状结构网络和网络结构网络. 介于这两种网络中间的一种联接方式, 在前向网络的同一层间神经元有互联的结构, 称为混合型网络. 这种在同一层内的互联, 目的是为了限制同层内神经元同时兴奋或抑制的神经元数目, 以完成特定的功能。 6、网络类型、学习类型与规则

实践中常用的基本神经网络模型有：感知器神经网络、线性神经网络、BP神经网络、径向基神经网络、自组织神经网络、反馈网络等。 1、感知器神经网络

——它是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元。原始的感知器神经网络只有一个神经元。主要用来模拟人脑的感知特征，由于采取阈值单元作为传递函数，所以只能输出两个值，适合简单的模式分类问题。当感知器用于两类模式分类时，相当于在高维样本空间用一个超平面将两类样本分开，但是单层感知器只能处理线性问题，对于非线性或者线性不可分问题无能为力。假设p是输入向量，w是权值矩阵向量，b为阈值向量，由于其传递函数是阈值单元，也就是所谓的硬限幅函数，那么感知器的决策边界就是wp+b，当wp+b>=0时，判定类别1，否则判定为类别2。

——感知器网络的学习规则：假设p为输入向量，e为学习误差，t为目标向量，则学习的基本原理描述如下：

权值增量——^W=(t-a)p'=ep'；阈值增量——^b=(t-a)(1)=e；权值更新——W(n+1)=W(n)+^W；阈值更新——b(n+1)=b(n)+^b；

由学习规则可以发现，学习规则严重的受到输入向量p的大小变化影响。当输入向量的样本数据包含奇异点时，往往会导致感知器神经网络的学习训练时间加长，为了消除训练时间对于奇异样本的敏感性，工程上常采用归一化的感知器算法。即^W=(t-a)p'/||p||。 ——感知器模型简单易于实现，缺点是仅能解决线性可分问题。解决线性不可分问题途径：

一是采用多层感知器模型，二是选择功能更加强大的神经网络模型。 2、线性神经网络：

——线性神经网络是比较简单的一种神经网络，由一个或者多个线性神经元构成。采用线性函数作为传递函数，所以输出可以是任意值。线性神经网络可以采用基于最小二乘LMS的Widrow－Hoff学习规则调节网络的权值和阈值，和感知器一样，线性神经网络只能处理反应输入输出样本向量空间的线性映射关系，也只能处理线性可分问题。目前线性神经网络在函数拟合、信号滤波、预测、控制等方面有广泛的应用。线性神经网络和感知器网络不同，它的传递函数是线性函数，输入和输出之间是简单的纯比例关系，而且神经元的个数可以是多个。只有一个神经元的线性神经网络仅仅在传递函数上和感知器不同，前者是线性函数的传递函数，后者是阈值单元的传递函数，仅此而已。 ——线性神经网络的学习规则：

W(k+1)=W(k)+yita(t(k)-p(k))p(k)'=W(k)+yita*e(k)*p(k)';

b(K+1)=b(k)+yita*e(k);yita是学习速率，yita比较大的时候，学习速率加快，但是有可能使得网络的学习进程变得不稳定，反之亦然。

——线性神经网络的局限性：线性神经网络只能反应输入和输出样本向量空间的线性映射关系。由于线性神经网络的误差曲面是一个多维抛物面，所以在学习速率足够小的情况下，对于基于最小二乘梯度下降原理进行训练的神经网络总是可以找到一个最优解。尽管如此，对线性神经网络的训练并不能一定总能达到零误差。线性神经网络的训练性能要受到网络规模、训练集大小的限制。若神经网络的自由度（所有权值和阈值的总个数）小于样本空间中输入－输出向量的个数，而且各样本向量线性无关，则网络不可能达到零误差，只能得到一个使得网络的误差最小的解。反之，如果网络的自由度大于样本集的个数，则会得到无穷多个可以使得网络误差为零的解。 3、BP神经网络：

——BP神经网络通常指的是基于误差反向传播算法的多层前向神经网络。是目前应用最为广泛的神经网络模型的学习算法。BP神经网络的神经元采用的传递函数一般是sigmoid型的可微函数，所以可以实现输入输出之间的任意非线性映射，这一特点使得BP神经网络在函数逼近、模式识别、数据压缩等领域有着更为广泛的应用，事实上，目前实际应用的90％的神经网络系统都是基于BP算法的。

——与其他神经元模型不同的是，BP神经元模型的传递函数采取了可微单调递增函数，如sigmoid的logsig、tansig函数和线性函数pureline。BP网络的最后一层神经元的特性决定了整个网络的输出特性。当最后一层神经元采用sigmoid类型的函数时，那么整个神经元

的输出都会被限制在一个较小的范围内，如果最后一层的神经元采用pureline型函数，则整个网络的输出可以是任意值。BP网络采用的就是基于BP神经元的多层前向结构。BP网络一般具有一个或者多个隐层，隐层神经元一般采用sigmoid型的传递函数，而输出层一般采用pureline型的传递函数。理论已经证明，当隐层神经元数目足够多时，可以以任意精度逼近任何一个具有有限个断点的非线性函数。

——BP网络的学习规则：采用误差反向传播算法，实际上是Widrow－Hoff算法在多层前向神经网络中的推广。和Widrow－Hoff算法类似，BP算法中，网络的权值和阈值通常是沿着网络误差变化的负梯度方向进行调节，最终使得网络的误差达到极小值或者最小值，也就是说，在这一刻，误差梯度是0。由于梯度下降算法的固有缺陷，标准的BP算法收敛速度慢，容易陷入局部最小值，所以后来又有许多的改进算法：动量因子学习算法、变速率学习算法、弹性学习算法、共扼梯度学习算法等等。对于不同的具体问题，选择学习算法对网络进行训练时，不仅要考虑算法本身大额性能，还要考虑问题的复杂度、样本集的大小、网络规模、网络误差目标以及要解决问题的类型。如果待解决的问题属于模式分类，常用的弹性学习算法（收敛快，占用存贮空间小）、共扼梯度法（收敛快，性能稳定，占用存贮空间一般，尤其适合较大规模的网络）。

——BP网络的局限性：BP网络客服了感知器、线性神经网络的局限性，可以实现任意线性或者非线性的函数映射，然而在实际的设计过程中往往需要反复试凑隐层神经元的个数，分析隐层神经元的作用机理，不断进行训练才可能得到比较满意的结果，这一点现在是BP网络研究的一个难点。 4、径向基函数网络：

——径向基函数RBF网络是以函数逼近理论为基础构造的一类前向网络，这类网络的学习等价于在多维空间寻找训练数据的最佳拟合平面。径向基函数网络的每一个隐层都构成拟合平面的一个基函数，网络也因此得名。径向基函数网络是一个局部逼近网络，也就是说，对于输入空间的某一个局部区域只存在少数的神经元用于决定网络的输出。前面讲的的BP网络是典型的全局逼近网络，即对于每一个输入输出数据对，网络所有的参数都要调整。由于两者的构造本质不同，径向基函数网络与BP网络相比规模一般比较大，但是径向基网络的学习速度比较快，网络的函数逼近能力、模式识别能力以及分类能力都大大优于BP网络。径向基函数网络一般以广义回归网络、概率神经网络应用比较多。

——径向基函数网络的神经元模型：前面的3种神经元模型中输入向量的每一个分量分别和每一个神经元以对应的连接权乘积的累加作为传递函数的输入，而在径向基函数神经元模型中，多了一个||dist||，表示输入向量和权重向量的距离，模型采用高斯函数作为神经网络

的传递函数，传递函数的输入是输入向量p和权重向量w的距离乘以阈值b，传递函数的一般表达式：f(x)=exp(-x*x).中心与宽度是径向基函数神经元的两个重要参数。神经元的权重向量w确定了径向基函数的中心，当输入向量p和w重合时，径向基神经元的输出达到最大值1，当输入向量和w的距离比较远时，神经元的输出就比较小。神经元的阈值b确定了径向基函数的宽度，b越大，输入向量在远距w时的函数衰减幅度就越大。

——径向基函数网络结构：典型的径向基函数网络包括两层，即隐层和输出层。需要设计的是隐层神经元的个数以及输出神经元的个数。假如输入是R维向量，有S1个隐层神经元，有S2个输出单元，则径向基层的网络权重向量矩阵为S1×R，p为R×1维向量，径向基层阈值b为S1×1维向量，输入向量和径向基层的权重向量的距离||dist||为S1×1，经过传递函数处理后为S1×1维的输出向量，由于有S2个输出单元，所以输出层的神经元个数是S2个，权重向量矩阵维S2×S1维，输出层的阈值是S2×1维向量，输出层一般采用线性函数作为传递函数，以便输出可以为任意值。

——广义回归网络GRNN结构：与径向基函数网络的结构类似，该网络的显著特点就是网络的隐层和输出层的神经元个数都和输入样本向量的个数相同，其输出层是特殊的线性层，即隐层的输出向量和输出权值向量进行规则化内积，也就是说，对于内积所得的向量中的每一个元素分别除以隐层输出向量中的各个元素的总和，从这一点来说，GRNN实际上就是一种规则化的径向基函数网络，常用于函数逼近问题。当隐层神经元足够多的时候，该网络能够以任意精度逼近一个平滑函数，缺点是当输入样本很多的时候，网络十分庞大，计算复杂，不适合用于训练样本过多的情况。

——概率神经网络结构：是径向基神经网络的另外一种重要变形。该网络的隐层神经元的个数与输入样本向量的个数相同，输出层神经元的个数等于训练样本数据的种类个数。该网络的输出层属于竞争层，输出层的每一个神经元对应一个数据类别，输出层的传递函数的功能就是找出输入向量中各个元素的最大值，并且使得与最大值对应的类别的神经元的输出为1，其他的输出为0。这种网络的分类效果能够达到最大的正确概率。概率神经网络经常用来解决分类问题。当样本数据足够多的时候，概率神经网络收敛于一个贝叶斯分类器，而且推广性能良好。缺点就是当输入样本庞大的时候，网络复杂，计算速度比较慢。 5、自组织网络：

——在生物神经细胞中存在一种特征敏感细胞，这种细胞只对外界信号刺激的某一特征敏感，并且这种特征是通过自学习形成的。在人脑的脑皮层中，对于外界信号刺激的感知和处理是分区进行的，有学者认为，脑皮层通过邻近神经细胞的相互竞争学习，自适应的发展称为对不同性质的信号敏感的区域。根据这一特征现象，芬兰学者Kohonen提出了自组织特征

映射神经网络模型。他认为一个神经网络在接受外界输入模式时，会自适应的对输入信号的特征进行学习，进而自组织成不同的区域，并且在各个区域对输入模式具有不同的响应特征。在输出空间中，这些神经元将形成一张映射图，映射图中功能相同的神经元靠的比较近，功能不同的神经元分的比较开，自组织特征映射网络也是因此得名。

——自组织映射过程是通过竞争学习完成的。所谓竞争学习是指同一层神经元之间相互竞争，竞争胜利的神经元修改与其连接的连接权值的过程。竞争学习是一种无监督学习方法，在学习过程中，只需要向网络提供一些学习样本，而无需提供理想的目标输出，网络根据输入样本的特性进行自组织映射，从而对样本进行自动排序和分类。

——竞争学习网络的结构：假设网络输入为R维，输出为S个，典型的竞争学习网络由隐层和竞争层组成，与径向基函数网络的神经网络模型相比，不同的就是竞争传递函数的输入是输入向量p与神经元权值向量w之间的距离取负以后和阈值向量b的和，即ni=-||wi-p||+bi。网络的输出由竞争层各神经元的输出组成，除了在竞争中获胜的神经元以外，其余的神经元的输出都是0，竞争传递函数输入向量中最大元素对应的神经元是竞争的获胜者，其输出固定是1。

——竞争学习网络的训练：竞争学习网络依据Kohonen学习规则和阈值学习规则进行训练，竞争网络每进行一步学习，权值向量与当前输入向量最为接近的神经元将在竞争中获胜，网络依据Kohonen准则对这个神经元的权值进行调整。假设竞争层中第i个神经元获胜，其权值向量Wi将修改为：Wi(k)=Wi(k-1)-alpha*(p(k)-Wi(k-1))。按照这一规则，修改后的神经元权值向量将更加接近当前的输入。经过这样调整以后，当下一此网络输入类似的向量时，这一神经元就很有可能在竞争中获胜，如果输入向量与该神经元的权值向量相差很大，则该神经元极有可能落败。随着训练的进行，网络中的每一个节点将代表一类近似的向量，当接受某一类向量的输入时，对应类别的神经元将在竞争中获胜，从而网络就具备了分类功能。 ——自组织特征映射网络：

自组织特征映射网络SOFM的构造时基于人类大脑皮质层的模仿。在人脑的脑皮层中，对外界信号刺激的感知和处理是分区进行的，因此自组织特征映射网络不仅仅要对不同的信号产生不同的响应，即与竞争学习网络一样具有分类功能。而且还要实现功能相同的神经元在空间分布上的聚集。因此自组织特征映射网络在训练时除了要对获胜的神经元的权值进行调整之外，还要对获胜神经元邻域内所有的神经元进行权值修正，从而使得相近的神经元具有相同的功能。自组织特征映射网络的结构域竞争学习网络的结构完全相同，只是学习算法有所区别而已。

稳定时，每一邻域的所有节点对某种输入具有类似的输出，并且这聚类的概率分布与输入模

式的概率分布相接近。

——学习向量量化网络：学习向量量化网络由一个竞争层和一个线性层组成，竞争层的作用仍然是分类，但是竞争层首先将输入向量划分为比较精细的子类别，然后在线性层将竞争层的分类结果进行合并，从而形成符合用户定义的目标分类模式，因此线性层的神经元个数肯定比竞争层的神经元的个数要少。

——学习向量量化网络的训练：学习向量量化网络在建立的时候，竞争层和线性层之间的连接权重矩阵就已经确定了。如果竞争层的某一神经元对应的向量子类别属于线性层的某个神经元所对应的类别，则这两个神经元之间的连接权值＝1，否则2者之间的连接权值为0，这样的权值矩阵就实现了子类别到目标类别的合并。根据这一原则，竞争层和线性层之间的连接权重矩阵的每一列除了一个元素为1之外，其余元素都是0。1在该列中的位置表示了竞争层所确定的子类别属于哪一种目标类别（列中的每一个位置分别表示一种目标类别）。在建立网络时，每一类数据占数据总数的百分比是已知的，这个比例恰恰就是竞争层神经元归并到线性层各个输出时所依据的比例。由于竞争层和线性层之间的连接权重矩阵是事先确定的，所以在网络训练的时候只需要调整竞争层的权值矩阵。 6、反馈网络：

前面介绍的网络都是前向网络，实际应用中还有另外一种网络——反馈网络。在反馈网络中，信息在前向传递的同时还要进行反向传递，这种信息的反馈可以发生在不同网络层的神经元之间，也可以只局限于某一层神经元上。由于反馈网络属于动态网络，只有满足了稳定条件，网络才能在工作了一段时间之后达到稳定状态。反馈网络的典型代表是Elman网络和Hopfield网络，Elman网络主要用于信号检测和预测方面，Hopfield网络主要用于联想记忆、聚类以及优化计算等方面。

——Elman网络由若干个隐层和输出层构成，并且在隐层存在反馈环节，隐层神经元采用正切sigmoid型函数作为传递函数，输出层神经元传递函数为纯线性函数，当隐层神经元足够多的时候，Elman网络可以保证网络以任意精度逼近任意非线性函数。

——Hopfield网络主要用于联想记忆和优化计算。联想记忆是指当网络输入某一个向量之后，网络经过反馈演化，从网络的输出端得到另外一个向量，这样输出向量称为网络从初始输入向量联想得到的一个稳定的记忆，也就是网络的一个平衡点。优化计算是指某一问题存在多个解法的时候，可以设计一个目标函数，然后寻求满足折椅目标的最优解法。例如在很多情况下可以把能量函数看作是目标函数，得到最优解法需要使得能量函数达到极小值，也就是所谓的能量函数的稳定平衡点。总之，Hopfield网络的设计思想就是在初始输入下，使得网络经过反馈计算，最后达到稳定状态，这时候的输出就是用户需要的平衡点。

神经网络的学习和训练有无教师学习和有教师学习两大类。 神经网络的学习规则：

1) 联想式学习——Hebb 规则; 2) 误差传播式学习——Delta 学习规则; 3) 概率式学习; 4) 竞争式学习。 7、发展现状、应用方向 7.1神经网络发展现状

在近十年神经网络理论研究趋向的背景下，神经网络理论的主要前沿领域包括： (1) 对智能和机器关系问题的认识将进一步增长。

研究人类智力一直是科学发展中最有意义，也是空前困难的挑战性问题。人脑是我们所知道的唯一智能系统，它具有感知识别、学习、联想、记忆、推理等智能，80年代中期出现了“联结主义”的革命，或“并行分布处理(PDP)”，它又被普遍地称为神经网络，具有自学习、自适应和自组织的特点，也是神经网络迫切需要增强的主要功能。进一步研究调节多层感知器的算法，使建立的模型和学习算法成为适应性神经网络的有力工具，构建多层感知器与自组织特征图级联的复合网络，是增强网络解决实际问题能力的一个有效途径。重视联结的可编程性问题和通用性问题的研究，从而促进智能科学的发展。我们通过不断探索人类智能的本质以及联结机制，并用人工系统复现或部分复现，制造各种智能机器，这样，可使人类有更多的时间和机会从事更为复杂、更富创造性的工作。

神经网络是由大量处理单元组成的非线性、自适应、自组织系统，它是现代神经科学研究成果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种新的机器，使之具有人脑风格的信息处理能力。智能理论所面对的课题来自“环境—问题—目的”，有极大的诱惑力与压力，它的发展方向就将是，把基于联结主义的神经网络理论、基于符号主义的人工智能专家系统理论和基于进化论的人工生命这三大研究领域，在共同追求的总目标下，自发而有机的结合起来。在21世纪初，智能的机器实现问题的研究将有新的进展和突破。 (2) 神经计算和进化计算将有重大的发展。

计算和算法是人类自古以来十分重视的研究领域，本世纪30年代，符号逻辑方面的研究非常活跃。例如Church、Kleene、Godel、Post、Turing等数学家都给出了可计算性算法的精确数学定义，对后来的计算和算法的发展影响很大。50年代数学家Markov发展了Post系统，80年代以后，神经网络理论在计算理论方面取得了引人注目的成果，形成了神经计算和进化计算新概念，激起了许多理论家的强烈兴趣，如前所述，大规模平行计算是对基于Turing机的离散符号理论的根本性的冲击，但90年代人们更多的是批评的接受它，并将两者结合起来，近年来，神经计算和进化计算领域很活跃，有新的发展动向，在从系统层次向

细胞层次转化里，正在建立数学理论基础。随着人们不断探索新的计算和算法，将推动计算理论向计算智能化方向发展，在21世纪人类将全面进入信息社会，对信息的获取、处理和传输问题；对网络路由优化问题；对数据安全和保密问题等等将有新的要求，这些将成为社会运行的首要任务，因此，神经计算和进化计算与高速信息网络理论联系将更加密切，并在计算机网络领域中发挥巨大的作用，例如，大范围计算机网络的自组织功能实现就要进行进化计算。

现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转交给了学习算法来完成，具体说，增加处理机数目一般不能明显增加近似求解的规模。可以说，有些神经网络模型的计算(学习)时间与神经元有多少事实上关系不太大，却与学习的样本有明显的依赖关系。值得注意的是，尽管采用大规模并行处理机是神经网络计算的重要特征，但我们还应寻找其它有效方法，建立具有计算复杂性、网络容错性和坚韧性的计算理论。

人类的思维方式正在转变：从线性思维转到非线性思维。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，我们在计算智能的层次上研究非线性动力系统、混沌神经网络以及对神经网络的数理研究。进一步研究自适应性子波、非线性神经场的兴奋模式、神经集团的宏观力学等。因为，非线性问题的研究是神经网络理论发展的一个最大动力，也是它面临的最大挑战。此外，神经网络与各种控制方法有机结合具有很大发展前景，建模算法和控制系统的稳定性等研究仍为热点问题，而容忍控制、可塑性研究可能成为新的热点问题。开展进化并行算法的稳定性分析及误差估计方面的研究将会促进进化计算的发展。把学习性并行算法与计算复杂性联系起来，必须分析这些网络模型的计算复杂性以及正确性，从而确定计算是否经济合理。关注神经信息处理和脑能量两个方面以及它们的综合分析研究的最新动态，吸收当代脑构象等各种新技术和新方法。例如，在1994年Science杂志上，生物化学家Adleman发表了一篇论文：Molecular Computation of Solutions to Combinatorial Problems，他采用超并行的DNA求解组合问题，他是DNA计算的创建者之一，随后，他制造的超并行DNA计算机TT-100取得了技术上的突破。这一具有重大价值的理论和方法，是对NP完全问题和数据加密标准系统等发起了最猛烈的攻击。因此，神经网络在DNA序列分析上的应用会更受人们的关注。

很明显，离散符号计算、神经计算和进化计算相互促进。从道理上说，也许最终导致这3种计算统一起来，这算得上是我们回避不了的一个重大难题。预计在21世纪初，关于这个领域的研究会产生新的概念和方法，尤其是视觉计算方面会得到充分地发展。我们应当抓住这个机会，力求取得重大意义的理论和应用成果。 (3) 神经网络结构和神经元芯片的作用将不断扩大。

神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的物理前提。它体现了算法和结构的统一，是硬件和软件的混合体，这种硬软混合结构模型可以为意识的作用和基本机制提供解释。未来的研究主要是针对信息处理功能体，将系统、结构、电路、器件和材料等方面的知识有机结合起来，建构有关的新概念和新技术，如，结晶功能体、量子效应功能体、高分子功能体等。在硬件实现上，研究材料的结构和组织，使它具有自然地进行信息处理的能力，如，神经元系统、自组织系统等。目前有些学者正在研究从硬件技术到应用之间的映射理论，将会出现一些新的方法。

神经计算机的主要特征是具有并行分布式处理、学习功能，这是一种提高计算性能的有效途径，使计算机的功能向智能化发展，与人的大脑的功能相似，并具有专家的特点，比普通人的反应更敏捷，思考更周密。光学神经计算机具有神经元之间的连接不仅数量巨大而且结合强度可以动态控制，因为光波的传播无交叉失真，传播容量大，并可能实现超高速运算，这是一个重要的发展领域，其基础科学涉及到激光物理学、非线性光学、光紊乱现象分析等，这些与神经网络之间在数学构造上存在着类似性。近年来，人们采用交叉光互连技术，保证了它们之间没有串扰，它有着广阔的发展前景。在技术上主要有超高速、大规模的光连接问题和学习的收敛以及稳定性问题，可望使之得到突破性进展；另一种是采用LSI技术制作硅神经芯片，以及二维VLSI技术用于处理具有局部和规则连接问题。在未来一、二十年里半导体神经网络芯片仍将是智能计算机硬件的主要载体，而大量的神经元器件，如何实现互不干扰的高密度、高交叉互连，这个问题可望尽早得到解决。此外，生物器件的研究正处于探索之中，研究这种模型的理论根据是，当硅集成块和元件间的距离如果接近0.01微米时，电子从邻近元件逸入的概率将很有限，便产生“隧道效应”的现象，它是高集成电路块工作不可靠的原因之一。而生物芯片由于元件是分子大小的，其包装密度可成数量级增加，它的信号传播方式是孤电子，将不会有损耗，并且几乎不产生热。因此，它有更诱人的前景。随着大量神经计算机和神经元芯片应用于高科技领域，给神经网络理论和方法赋予新的内容，同时也会提出一些新的理论课题，这是神经网络迅速发展的一个动力。 7.2神经网络应用方向

神经网络的应用已经涉及到各个领域，且取得了很大的进展。 自动控制领域

主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。 处理组合优化问题

成功解决了旅行商问题，另外还有最大匹配问题，装箱问题和作业调度问题。

模式识别

手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。 图像处理

对图像进行边缘监测，图像分割，图像压缩和图像恢复。 信号处理

能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 机器人控制

对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。 卫生保健医疗

在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进，疾病诊断模型等方面均有应用。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 焊接领域

国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。 经济

能对商品价格、股票价格和企业的可信度等进行短期预测

另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。 8、结论

人工神经网络从诞生到现在已有六十多年，业已成为一门日趋成熟，应用领域日趋广泛的新兴学科。随着神经网络理论研究的深入以及网络计算能力的不断提高, 神经网络的应用领域将会不断扩大, 应用水平将会不断提高, 最终达到神经网络系统可用来帮人做事的目的, 这也是神经网络研究的最终目标。神经网络研究在近十几年取得了引人注目的进展, 从而激起了不同学科与领域的科学家和企业家的巨大热情和浓厚的兴趣。可以预见, 神经网络将使电子科学和信息学产生革命性的变革, 来自神经网络理论研究的一些新理论和新方法必将给21世纪科学研究带来源源不断的动力。

虽然神经网络理论研究有着非常广阔的发展前景,但历来这个领域的研究就是既充满诱惑又不乏挑战的,没有人能肯定它的发展不会再经受挫折,也没有人知道一旦成功实现最终

目标会给科技界带来多大的辉煌和巨变。不过,我们有理由相信,只要我们坚持不懈地努力,来自神经网络理论研究的一些新理论和新方法必将给21 世纪科学研究带来源源不断的动力。

本文来源：https://www.bwwdw.com/article/ljx7.html