BP神经网络实验报告
更新时间:2024-04-02 20:25:01 阅读量: 综合文库 文档下载
作业8
编程题实验报告
(一)实验内容:
实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试,观察层数增加和隐层数增加是否会造成过拟合。 (二)实验原理:
1)前向传播:
以单隐层神经网络为例(三层神经网络),则对于第k个输出节点,输出结果为:
在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项,所以,在上式中:
x0?1,wj0?b(l)
在实验中,就相应的需要注意矢量形式表达式中,矢量大小的调整。
2)BP算法:
a) 根据问题,合理选择输入节点,输出节点数,确定隐层数以及各隐层节点数; b) 给每层加权系数,随机赋值;
c) 由给定的各层加权系数,应用前向传播算法,计算得到每层节点输出值,并计算对于所有训练样本的均方误差;
d) 更新每层加权系数:
(l)
其中,?i(l)?(yi?di)?h'(ai(l)),?(l?1)??(?i?wji?h'(ai),???j最后一层其它层
e) 重复c),d)迭代过程,直至迭代步数大于预设值,或者每次迭代误差变化值小于预设值时,迭代结束,得到神经网络的各层加权系数。 (三)实验数据及程序:
1)实验数据处理:
a) 训练样本输入节点数据:在实验中,所用数据中自变量x的取值,为0—1的25个随机值,为了后续实验结果的分析,将其从小到大排序,并加上偏差项,神经网络的输出节点最终训练结果,即为训练得到的回归结果;
b) 训练样本标签值:在实验中,采用的激励函数为logistic sigmoid function,其值域为[0,1],所以,在神经网络训练前,需要对训练样本标签值进行归一化处理;
c) 神经网络输出节点值:对训练样本标签值进行了归一化处理,相应的,对于输出节点,需要反归一化处理。
2)实验程序:
实现函数:[Theta]=BP(input_layer_size,hidden_layer_size,hidden_layer_num,num_labels,Niter,leta,X,Y) 输入参数:input_layer_size:输入节点数;
hidden_layer_size:隐层节点数(对于单隐层,输入值为一数值,对于多隐层,为一矢量);
hidden_layer_num:隐层数;
num_labels:输出节点数; Niter:为预设的迭代步数; leta:学习速率,即更新步长;
X,Y:分别为训练样本输入特征值以及标签值。
输出参数:Theta:各层加权系数,在程序中,以一个细胞数组的形式保存。
(四)实验结果分析和讨论: a) 隐层数对回归的性能影响:
在实验中,对于单隐层的神经网络,实现前馈神经网络的反向传播学习算法后,分别采用不同的隐层节点数,并对一个不同于任何一个训练样本的测试样本,进行测试,得到图 1:
图1 隐层节点数对神经网络性能的影响
图中,‘*’表示测试样本的标签值。 分析:由图中可以明显的看出:
(1) 当隐层节点数较小时,类似于降维,损失了信息,对于神经网络,回归出现欠拟合; (2) 当隐层节点数较大时,训练出的模型更加复杂,回归出现过拟合;
b)隐层数对回归的性能影响:
在实验中,对于每层隐层节点数均取N=10,实现前馈神经网络的反向传播学习算法后,分别采用不同的隐层数,并对一个不同于任何一个训练样本的测试样本,进行测试,得到图 2:
图 2隐层数对神经网络性能的影响
分析:由图中可以看出:
当隐层数为4时,训练出的模型更加复杂,回归出现过拟合。
图 3 隐层数为4时,对于训练样本的回归结果
图3中,画出了隐层数为4时,对于100个训练样本的训练结果平均,易看出出现了过拟合。
正在阅读:
BP神经网络实验报告04-02
学生学习新时代好少年心得体会范文08-01
焊 接 施 工 记 录 表01-27
农村大学生入党申请书800字范文09-08
申请安全生产许可证资料全12-26
八年级课外文言文阅读训练及答案03-30
艺术系党支部党员“一帮一”结对活动方案10-30
- 多层物业服务方案
- (审判实务)习惯法与少数民族地区民间纠纷解决问题(孙 潋)
- 人教版新课标六年级下册语文全册教案
- 词语打卡
- photoshop实习报告
- 钢结构设计原理综合测试2
- 2014年期末练习题
- 高中数学中的逆向思维解题方法探讨
- 名师原创 全国通用2014-2015学年高二寒假作业 政治(一)Word版
- 北航《建筑结构检测鉴定与加固》在线作业三
- XX县卫生监督所工程建设项目可行性研究报告
- 小学四年级观察作文经典评语
- 浅谈110KV变电站电气一次设计-程泉焱(1)
- 安全员考试题库
- 国家电网公司变电运维管理规定(试行)
- 义务教育课程标准稿征求意见提纲
- 教学秘书面试技巧
- 钢结构工程施工组织设计
- 水利工程概论论文
- 09届九年级数学第四次模拟试卷
- 神经网络
- 实验
- 报告
- 儿少题库完整版
- 爱岗敬业道德讲堂主持词
- 2015年双特异性抗体回顾
- 物权法试题第4卷(含答案)
- 小学英语人教版(PEP)五年级上册Unit5--There-is-a-big-bed-PartA
- 唐山长城钢铁集团松汀钢铁有限公司8万m3转炉煤气柜工程安全设施
- 2012年广安市中考数学模拟试卷及答案(1)
- 第六课求索真理的历程
- 广州历年重点中学小升初入学数学汇总 - 图文
- 2013年四川上半年真题
- 童心幼儿园预防水污染事件及传染病应急处理预案
- 毛概老师推荐阅读的哲学经典著作
- 温州职业技术学院《数控机床电气控制》期中考试试卷(含参考答案
- 2013高考语文核按钮重庆版参考答案
- 中国石油四川石化炼化一体化工程
- 健康促进学校会议记录 - 图文
- 会计业务知识竞赛题库讲解
- 浙江省市场标准
- XX年扫黑除恶专项斗争工作总结精选8篇
- 2016年苏州中考化学复习专题《探究题》及答案