(强烈推荐)无约束最优化问题的拟牛顿法毕业论文设计

题目：无约束最优化问题的拟牛顿法

诚信声明

本人声明：

1、本人所呈交的毕业设计（论文）是在老师指导下进行的研究工作及取得的研究成果；

2、据查证，除了文中特别加以标注和致谢的地方外，毕业设计（论文）中不包含其他人已经公开发表过的研究成果，也不包含为获得其他教育机构的学位而使用过的材料；

3、我承诺，本人提交的毕业设计（论文）中的所有内容均真实、可信。

作者签名：日期：年月日

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：日期： -

指导教师签名：日期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：日期：

学位论文原创性声明

本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。

作者签名：日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：日期：年月日

导师签名：日期：年月日

指导教师评阅书

指导教师评价：

一、撰写（设计）过程

1、学生在论文（设计）过程中的治学态度、工作精神

□优□良□中□及格□不及格

2、学生掌握专业知识、技能的扎实程度

□优□良□中□及格□不及格

3、学生综合运用所学知识和专业技能分析和解决问题的能力□优□良□中□及格□不及格

4、研究方法的科学性；技术线路的可行性；设计方案的合理性□优□良□中□及格□不及格

5、完成毕业论文（设计）期间的出勤情况

□优□良□中□及格□不及格

二、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格

2、是否完成指定的论文（设计）任务（包括装订及附件）？□优□良□中□及格□不及格

三、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义

□优□良□中□及格□不及格

2、论文的观念是否有新意？设计是否有创意？

□优□良□中□及格□不及格

3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

建议成绩：□优□良□中□及格□不及

格

（在所选等级前的□内画“√”）

指导教师：（签名）单位：（盖章）

年月日

评阅教师评阅书

评阅教师评价：

一、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？□优□良□中□及格□不及格

二、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义□优□良□中□及格□不及格

2、论文的观念是否有新意？设计是否有创意？

□优□良□中□及格□不及格3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

建议成绩：□优□良□中□及格□不及

格

（在所选等级前的□内画“√”）

评阅教师：（签名）单位：（盖章）

年月日

教研室（或答辩小组）及教学系意见

教研室（或答辩小组）评价：

一、答辩过程

1、毕业论文（设计）的基本要点和见解的叙述情况

□优□良□中□及格□不及格2、对答辩问题的反应、理解、表达情况

□优□良□中□及格□不及格3、学生答辩过程中的精神状态

□优□良□中□及格□不及格

二、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？□优□良□中□及格□不及格

三、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义□优□良□中□及格□不及格

2、论文的观念是否有新意？设计是否有创意？

□优□良□中□及格□不及格3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

毕

业

设

计

（论文）任务书

题目： 无约束优化问题的拟牛顿法 姓名 xx 院（系） xx 专业 信息与计算科学 班级 xx 学号 xx

指导老师 xx 职称 讲师 教研室主任 xx

一、 基本任务及要求：

1．基本任务： 在牛顿法基础上提出拟牛顿法，设计拟牛顿法的算法，了解拟牛顿法的优点及

用途。在一定的条件下证明该算法的合理性并对其收敛性进行分析。讨论算法的收敛

速度 ，通过数值试验对算法的有效性进行验证。 2．基本要求： 对拟牛顿法给出合理的算法；利用理论知识对算法合理性进行证明 对其收敛

评定成绩：□ 优 □ 良 □ 中 □ 及格 □ 不及

格

（在所选等级前的□内画“√”）

教研室主任（或答辩小组组长）： （签名） 年 月 日 教学系意见： 系主任： （签名） 年 月 日

性以及收敛速度进行分析证明。写出毕业设计说明书，完成全部研究工作和毕业论文。

二、进度安排及完成时间：

第一阶段 (第1－4周) ：进行调研，查阅相关资料，撰写开题报告，并于第4周星期五

交开题报告；

第二阶段 (第5－12周): 在指导教师的指导下，对课题进行研究，按预定要求获得毕业

论文开题报告中的预期结果（即进行算法设计，研究算法的合理性，实现算法

等工作），并撰写毕业论文，第12周五之前交初稿；

第三阶段 (第13－14周): 指导教师对毕业论文进行批阅，提出修改意见并指导学生进行

毕业论文的修改,并检查算法的实现情况（如程序的可行性和通用性等）；

第四阶段 (第15周): 指导教师指导学生将毕业论文定稿，并准备毕业论文答辩；

第五阶段 (第16周): 进行毕业论文答辩。

目录

摘要 (1)

前言 (2)

第1章最优化基础 (4)

1.1 无约束最优化问题的最优性条件 (4)

1.2 收敛概念 (5)

1.3Wolfe准则和Armijo准则 (7)

第2章拟牛顿法算法设计 (9)

2.1 拟牛顿法条件 (9)

2.2 算法设计 (11)

第3章收敛性证明 (12)

3.1 总体收敛 (12)

3.2 局部超线性收敛 (16)

第4章数值验算 (21)

4.1 问题模型 (21)

4.2 数值结果 (23)

总结 (24)

致谢 (25)

参考文献 (26)

附录 (27)

无约束最优化问题的拟牛顿法

摘要：拟牛顿法是求解无约束最优化问题最常用的方法之一，拟牛顿法是在牛顿法的基础上提出来的。牛顿法成功的关键是利用了Hesse矩阵提供的曲率信息,但计算Hesse矩阵工作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出。拟牛顿法通过函数的一阶导数构造出曲率的近似,从而避免了求函数的Hesse矩阵,不需要求函数的二阶导数,从而大大的减小了计算的复杂度。同时拟牛顿法还具有超线性收敛以及收敛速度快的优点。拟牛顿算法在求解无约束优化问题中占有不可取代的地位。同时也是很多学者研究的课题。本论文将依靠前人的基础,对拟牛顿法进行介绍并对其收敛性进行证明,同时给出数值分析。

关键词：拟牛顿法，无约束优化，收敛性。

A quasi-newton method for Unconstrained

optimization

Abstract:Newton method is to solving unconstrained optimization problem of one of the most commonly used methods.Quasi-newton method is in Newton put forward on the basis of law.Newton method the key to success is the use of the Hesse matrix the curvature of the information but provide Hesse matrix calculation workload is big, and some of the objective function Hesse matrix is difficult to calculate, even bad work out.Quasi-newton method through the first derivative constructed out of the curvature approximate avoid a for the Hesse matrix couldn't ask the second order derivatives.Thus greatly reduced the complexity of the calculation and quasi-newton method also algorithms in solving unconstrained optimization in also many scholars research project of this

paper will be depend on the basis of predecessors' to be Newton method and the convergence proof and presents numerical analysis.

Key words:Quasi-newton,Unconstrained optimization ,Convergence

前言

最优化方法是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。本章将介绍最优化方法的研究对象、特点，以及最优化方法模型的建立和模型的分析、求解、应用。主要是线性规划问题的模型、求解（线性规划问题的单纯形解法）及其应用――运输问题；以及动态规划的模型、求解、应用――资源分配问题。

无约束优化问题是最优化问题的基础，是数值计算领域中十分活跃的研究课题之一，历时较长，获得的成果也较多，有关的方法和理论比较成熟。其中非线性无约束最优化方法在科学计算和工程分析中起着越来越重要的作用。牛顿法作为求解最优化问题最有效的方法之一。它的基本思想是利用目标函数的二次泰勒展开，并将其极小化。在非线性无约束最优化问题中，对于正定的二次函数，牛顿法一步即可达到最优解。对于非二次函数，牛顿法并不能保证经有限次迭代求得最优解，但由于目标函数在极小点附近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是很快的，因此这种方法得到了很多人的认可与利用。但牛顿法中每次迭代都需要计算Hessian矩阵，但计算Hessian矩阵工作量大，并且有的很难计算，甚至不好求，而以拟牛顿方程为基础构造的拟牛顿算法克服了牛顿法的这一不足。因此拟牛顿法被广泛的认可，她的应用相当广泛。

可以剞劂很多问题。并有很多人多拟牛顿法做了研究。

对于拟牛顿法的算法设计，也已经有不少学者提出过，早年袁亚湘与孙文瑜合作《最优化理论与方法》一书中对其进行了详细的设计，而后也有不少学者对其进行研究。

对于拟牛顿法的收敛性证明，时平平在2008年其硕士论文《关于无约束最优化问题的拟牛顿算法研究》中详细的做了证明。

第1章最优化基础

在这一章里我们首先简要介绍判断无约束最优化问题的最优解常用的最优性条件，接着给出拟牛顿算法的概述，最后说明本文的主要工作．1.1无约束最优化问题的最优性条件

最优化理论与方法是一门应用性很强的年轻学科，它研究某些数学上定义的问题的最优解，即对于给出的实际问题，从众多的方案中找出最符合要求的最佳方案．在电子计算机的推动下，最优化理论与方法在经济计划、工程设计、生产管理、交通运输等方面得到了广泛应用，成为一门十分活跃的学科．

最优化问题根据有无约束条件可分为约束和无约束最优化问题．现实生活中存

在的主要是有约束的问题，但我们可以通过某些处理将有约束的问题转化为无约束的问题处理，并且无约束最优化问题的求解相对容易的多，而解法的基本思想又常常可以推广到一般有约束的情况，因此使得研究无约束最优化问题的计算方法显得尤为重要，人们对它的研究情况也十分重视．对于无约束问题

, . （1.1）的最优性条件可以分为一阶条件和二阶条件．设的一阶导数和二阶导数存

在，且分别表示为

f

x

G

x

g?

=,

?

=

x

f

)

(

)

(2x

(

)

(

),

则我们有以下定理．

定理1.1(一阶必要条件)设：寸R1在开集上连续可微。若 (1．0)的局部极小点，则

.

定理1.2(二阶必要条件)设：在开集上二阶连续可微，若

是(1．O)的局部极小点，则

.

定理1.3(二阶充分条件)设：在开集D上二阶连续可微，则

是的一个严格局部极小点充分条件是

，是正定矩阵.

满足的点称为函数的平稳点或驻点，一般目标函数的平稳点不

定是极小点，但若目标函数是凸函数，则其平稳点就是其极小点，且为总体极小点．

定理1.4(凸充分性定理)设：是凸函数，且。则是总体极小点的充分必要条件是

.

1.2收敛概念

收敛速度是迭代方法的又一重要性质。对于一个不可能在有限步内找到最优解的最优化方法，我们不仅要求它收敛，还要要求它有较快的收敛速度，这是因为一个收敛很慢的方法往往需要很长的时间才能得到满足精度要求的最优解的近似。因而不是一个有效的方法。设向量序列收敛于，定义误差序列

,

如果存在常数和使成立

.

就说序列以为因子阶收敛于。最常见的为和的情形，当，时称为线性收敛，这是的误差序列具有以下性能：

.

依最简单的情形，在上式中取等号，设初始误差为1，如果=0.5，则误差序列为

1，0.5，0.25，0.125，0.0625，…，

如果，则误差序列为

1，0.1，0.01，0.001，…，

可以看出越小，收敛越快。如果从同一初始点开始，收敛快的算法可以用较少的迭代次数达到预定的精度，而收敛慢的算法则需要较多的迭代次数才能得到相同精度要求的点。

当时，称序列超线性收敛于，超线性收敛是一种比线性收敛快的收敛，多数的最有化方法具有超线性收敛的特性，在上述收敛率的定义中，所有的收敛独属于超线性收敛。事实上，由

, 有

0l i m l i m l i m 1111=?==-∞→-+∞→+∞→r k k r k r k k k k k k e C e e e e e .

称时的收敛为二次收敛，这时误差序列的性能可以用下述不等式表示 .

二次收敛是一种更快的收敛，还要考察上式取等式时的情形，设初始误差

为1，，则误差序列为

可以看到，二次收敛的方法每一次迭代近似解得精度就增加一倍。 一个理想的算法终止准则为

.

然而由于是未知的，这样的准则并不具有任何实用价值。但是由于

.

01*)()

()1(*

)(*

)()()1(*

)(*)()()1(*)(*

)1(≥---=----≥--+-=--++++x x x x x x x x x x x x x x x x x x x x k k k k k k k k k k k k k 在序列{}超线性收敛于时，我们可以得到

.

上式表明对于一个超线性收敛的算法是的一个估计。因此对于超线性收敛速度的方法，

.

是一个比较合适的终止准则。

1.3Wolfe 准则和Armijo 准则

Wolfe 准则为

k T k k k k k k d g a x f d a x f ρ+≤+)()(

.

其中，。

Armijo 准则为：

给定，，，设是使得下述不等式A ：

本文来源：https://www.bwwdw.com/article/cn5e.html