第4章 SOM自组织特征映射神经网络

第4章 SOM自组织特征映射神经网络

生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。

据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。

4.1 竞争学习算法基础[6]

4.1.1 自组织神经网络结构

1．定义

自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。

2．结构

层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。

?竞争层输入层?

图4-1 自组织神经网络结构

· 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。

竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。

4.1.2 自组织神经网络的原理

1．分类与输入模式的相似性

分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。

2．相似性测量

神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。

（1）欧式距离法

设X,Xi为两向量，其间的欧式距离

d?X?Xi?d (X?Xi)(X?Xi)T （4-1）

越小，X与Xi越接近，两者越相似，当d?0时，X?Xi；以d?T（常数）为判据，可对输入向量模式进行聚类分析：

由于d12,d23,d31均小于T，d45,d56,d46均小于T,而d1i?T(i?4,5,6), d2i?T(i?4,5,6), 故将输入模式X1,X2,X3,X4,X5,X6d3i?T(i?4,5,6)，

（2）余弦法

设X,Xi为两向量，其间的夹角余弦

cos??XXXT分为类1和类2两大类，如图4-2所示。

Xi （4-2）

?越小，X与Xi越接近，两者越相似；当?＝0时，cos?＝1，X?Xi；同样以???0为

判据可进行聚类分析。

X2X1X4X5X6X3类1T类2

图4-2 基于欧式距离法的模式分类

3．竞争学习原理

竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All，WTA）。竞争学习规则就是从神经细胞的侧抑制现象获得的。它的学习步骤为：

（1）向量归一化

对自组织网络中的当前输入模式向量X、竞争层中各神经元对应的内星权向量

?： ?和Wwj(j?1,2,?,m)，全部进行归一化处理，如图4-3所示，得到Xj??XXX??Wj （4-3） , WjWjyjjW1jWijX1Wnjk??XnXi

图4-3 向量归一化

（2）寻找获胜神经元

?(j?1,2,?,m)进行相似性比较。最相似?与竞争层所有神经元对应的内星权向量W将Xj?*： 的神经元获胜，权向量为Wj??X?Wj*?minj?{1,2,?,n}???W?Xj?

??W?*??Xj??W*)(X??W*)T?(Xjj?X?XT?*X??2WjT?*W?*T??Wjj?*X?T) 2(1?Wj?*X?T?max(W?X?T) （4-4） ?Wjjj（3）网络输出与权调整

按WTA学习法则，获胜神经元输出为“1”，其余为0。即：

??1yj(t?1)????0j?j*j?j* （4-5）

只有获胜神经元才有权调整其权向量Wj。其权向量学习调整如下：

*?*(t)??W*?W?*(t)??(X??W?*)?W*(t?1)?Wjjjj?j （4-6） ?*?j?j??Wj(t?1)?Wj(t)0???1为学习率，?一般随着学习的进展而减小，即调整的程度越来越小，趋于聚类中心。

（4）重新归一化处理

归一化后的权向量经过调整后，得到的新向量不再是单位向量，因此要对学习调整后的向量重新进行归一化，循环运算，直到学习率?衰减到0。

为了更好地说明竞争学习算法的聚类分析效果，下面以一具体实例进行计算[6]。

【例4-1】用竞争学习算法将下列各模式分为两类

X1?(0.8,0.6)， X2?(0.1736,?0.9848)， X3?(0.707,0.707)， X4?(0.342,?0.9397)， X5?(0.6,0.8)，

学习率?＝0.5。

【解】 将上述输入模式转换为极坐标形式：X1?1?36.89?，X2?1??80?，

X3?1?45?，X4?1??70?，X5?1?53.13?。如图4-4所示。

X5X3X1W2W1X4X2

图4-4 模式向量图

要求将各模式分为两类，则竞争层为两个神经元，设两个权向量，随机初始化为单元向量：W1(0)?(1,0)?1?0?，W2(0)?(?1,0)?1??180?，其竞争学习过程如下：

（1）X1

d1?X1?W1(0)?1?36.89，d2?X1?W2(0)?1?216.89 d1?d2，神经元1获胜，W1调整。

W1(1)?W1(0)??(X1?W1(0))?0?0.5?36.89?1?18.43W2(1)?W2(0)?1??180????

（2）X2

d1?X2?W1(1)?1?98.43，d2?X2?W2(1)?1?100 d1?d2，神经元1获胜，W1调整。

W1(2)?W1(1)??(X2?W1(1))?18.43?0.5?(?80?18.43)?1??30.8W2(2)?W2(1)?1??180????

（3）X3

d1?X3?W1(2)?1?75.8，d2?X3?W2(2)?1?225 d1?d2，神经元1获胜，W1调整。

W1(3)?W1(2)??(X3?W1(2))??30.8?0.5?(45?30.8)?1?7???

1000个训练步时降为0，即只含获胜神经元。每训练200步记录一次权值，观察其在训练过程中的变化情况。给出训练结束后，5个输入模式在输出平面上的映射图。并观察下列输入向量映射区间。

F1?[1F4?[001001]，F2?[11]，F5?[011011]，F3?[01]。

110]，

4．介绍一例自组织SOM神经网络的具体应用。

4.6 参 考 文 献

[1] Kohonen T. Content-addressable memories. Second Edition. Spring Verlag，1987 [2] Kohonen T. Self-Organization and associative memory. Third Edition. Spring Verlag，1989 [3] Kohonen T. An introduction to neural network. Neural Networks，1988，1(1):3~16 [4] Kohonen T. Learning vector quantization. Neural Networks，1988，1(4):290~303 [5] Kohonen T. The self-organizing map. Proc. IEEE，1990，pp.1464~1480 [6] 韩力群. 人工神经网络的理论、设计及应用. 北京：化学工业出版社，2002 [7] 朱大奇. 电子设备故障诊断的原理与实践. 北京：电子工业出版社，2004

[8] 王磊，袁慎芳. Kohonen神经网络在复合材料损伤主动监测技术中的应用. 材料科学与工程，2002，20(4):513~516

[9] 马野，李楠. 应用自组织映射神经网络进行模拟电路故障诊断的仿真研究. 系统仿真学报，2001，13(5):582~584

本文来源：https://www.bwwdw.com/article/qlrh.html