最优化牛顿法MATLAB程序

题目：分别用最速下降法、FR共轭梯度法、DFP法和BFGS法求解问题：

22minf(x)?x1?2x1x2?4x2?x1?3x2

取初始点x(1)?(1,1)T，通过Matlab编程实现求解过程。 公用函数如下：

1、function f= fun( X ) %所求问题目标函数

f=X(1)^2-2*X(1)*X(2)+4*X(2)^2+X(1)-3*X(2); end

2、function g= gfun( X ) %所求问题目标函数梯度

g=[2*X(1)-2*X(2)+1,-2*X(1)+8*X(2)-3]; end

3、function He = Hess( X ) %所求问题目标函数Hesse矩阵 n=length(X); He=zeros(n,n); He=[2,-2; -2,4];

End

解法一：最速下降法

function [ x,val,k ] = grad( fun,gfun,x0 ) %功能：用最速下降法求无约束问题最小值

%输入：x0是初始点，fun和gfun分别是目标函数和梯度 %输出：x、val分别是最优点和最优值，k是迭代次数 maxk=5000;%最大迭代次数 rho=0.5;sigm

最优化方法及其matlab程序设计 马昌凤版 课后答案 杭电课件

最优化方法-习题解答

张彦斌计算机学院2014年10月20日

Contents

1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、42第二章线搜索算法-P27习题2、4、63第三章最速下降法和牛顿法P41习题1，2，34第四章共轭梯度法P51习题1，3，6(1)5第五章拟牛顿法P73-26第六章信赖域方法P86-8

7第七章非线性最小二乘问题P98-1，2，68第八章最优性条件P112-1，2,5,6

9第九章罚函数法P132，1-(1)、2-(1)、3-(3),610第十一章二次规划习题11P178-1（1），5

14710121418232629

1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4

1.验证下列各集合是凸集:

(1)S={(x1,x2)|2x1+x2≥1,x1 2x2≥1};需要验证：

根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1 λ)y∈S.

即,(λx1+(1 λ)y1,λx2+(1 λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，

{

2x1+x2≥1,x1 2x2≥1

(1)

题目：无约束最优化问题的拟牛顿法

诚信声明

本人声明：

1、本人所呈交的毕业设计（论文）是在老师指导下进行的研究工作及取得的研究成果；

2、据查证，除了文中特别加以标注和致谢的地方外，毕业设计（论文）中不包含其他人已经公开发表过的研究成果，也不包含为获得其他教育机构的学位而使用过的材料；

3、我承诺，本人提交的毕业设计（论文）中的所有内容均真实、可信。

作者签名：日期：年月日

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：日期： -

指导教师签名：日期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，

联系电话13327011431

MATLAB在最优化模型求解中的应用

摘要 最优化模型是较常见的数学模型，本文介绍了MATLAB软件在求解最优化模型方面的几点应用，给出了几种解决优化模型的函数格式和范例 关键词 最优化模型;MATLAB;命令 1 前言

优化问题，一般是指用“最好”的方式，使用或分配有限的资源，即劳动力、原材料、机器、资金等，使得费用最小或者利润最大。最优化模型就是根据优化问题的具体情况建立的数学模型。求解此类模型，一方面需要具有较好的数学知识和较强的计算机编程能力，另一方面，也可以利用成熟的算法求解。本文将介绍MATLAB在最优化模型求解中的几个应用。

2 利用MATLAB的优化工具箱求解最优化模型

MATLAB是Mathworks公司推出的一套功能强大的工程计算及数值分析软件, 目前它已经成为世界上应用最广泛的工程计算软件之一。其优化工具箱的应用包括: 线性、非线性最小化、方程求解、曲线拟合、二次规划等中大型课题的求解方法, 为优化方法在工程中的实际应用提供了更方便、快捷的途径。 2.1求解线性规划模型

利用MATLAB软件求解线性模型：

minz?cX

AX?b??s.t.?Aeq?X?beq ?vlb?X?vub?可使

复制代码

在这里使用启发式算法GA（遗传算法）来进行参数寻优，用网格划分(grid search)来寻找最佳的参数c和g，虽然采用网格搜索能够找到在CV意义下的最高的分类准确率，即全局最优解，但有时候如果想在更大的范围内寻找最佳的参数c和g会很费时，采用启发式算法就可以不必遍历网格内的所有的参数点，也能找到全局最优解。

关于遗传算法这里不打算过多介绍，想要学习的朋友可以自己查看相关资料。

使用GA来进行参数寻优在在libsvm-mat-2.89-3[FarutoUltimate3.0]工具箱中已经实现gaSVMcgForClass.m（分类问题参数寻优）、gaSVMcgForRegress.m（回归问题参数寻优）。

1.

2. 3. 4. 5. 6. 7.

利用GA参数寻优函数(分类问题):gaSVMcgForClass [bestCVaccuracy,bestc,bestg,ga_option]= gaSVMcgForClass(train_label,train,ga_option) 输入：

train_label:训练集的标签，格式要求与svmtrain相同。 train:训练集，格式要求与svmtrain相同。

ga_optio

复制代码

在这里使用启发式算法GA（遗传算法）来进行参数寻优，用网格划分(grid search)来寻找最佳的参数c和g，虽然采用网格搜索能够找到在CV意义下的最高的分类准确率，即全局最优解，但有时候如果想在更大的范围内寻找最佳的参数c和g会很费时，采用启发式算法就可以不必遍历网格内的所有的参数点，也能找到全局最优解。

关于遗传算法这里不打算过多介绍，想要学习的朋友可以自己查看相关资料。

使用GA来进行参数寻优在在libsvm-mat-2.89-3[FarutoUltimate3.0]工具箱中已经实现gaSVMcgForClass.m（分类问题参数寻优）、gaSVMcgForRegress.m（回归问题参数寻优）。

1.

2. 3. 4. 5. 6. 7.

利用GA参数寻优函数(分类问题):gaSVMcgForClass [bestCVaccuracy,bestc,bestg,ga_option]= gaSVMcgForClass(train_label,train,ga_option) 输入：

train_label:训练集的标签，格式要求与svmtrain相同。 train:训练集，格式要求与svmtrain相同。

ga_optio

[设计]罚函数法MATLAB程序

一、进退法、0.618法、Powell法、罚函数法的Matlab程序设计罚函数法(通用)

function y=ff(x,k)

y=-17.86*0.42*x(1)/(0.8+0.42*x(1))*(1-exp(-

2*(0.8+0.42*x(1))/3))*exp(-1.6)*x(2)-22.

99*x(1)/(0.8+x(1))*(1-exp(-2*(0.8+x(1))/3))*x(3)+k*(x(2)-

(1.22*10^2*(9517.8*exp(-1

.6-2*0.42*x(1)/3)*x(2)+19035.6*exp(-

2*x(1)/3)*x(3)))/(1.22*10^2+9517.8*exp(-1.6-2

*0.42*x(1)/3)*x(2)+19035.6*exp(-2*x(1)/3)*x(3)))^2+k*(x(3)-exp(-0.8-2*x(1)/3)*x(3)

-exp(-2.4-2*0.42*x(1)/3)*x(2))^2; % 主函数，参数包括未知数的个数n，惩罚因子q，惩罚因子增长系数k，初值x0，以及允许的误差r function G=FHS(x0,q,k,n,r,h,a) l=1;

while

第六章 最优化问题数学模型

§1 最优化问题 1．1 最优化问题概念 （1）最优化问题

在工业、农业、交通运输、商业、国防、建筑、通信、政府机关等各部门各领域的实际工作中，我们经常会遇到求函数的极值或最大值最小值问题，这一类问题我们称之为最优化问题。而求解最优化问题的数学方法被称为最优化方法。它主要解决最优生产计划、最优分配、最佳设计、最优决策、最优管理等求函数最大

值最小值问题。

最优化问题的目的有两个：①求出满足一定条件下，函数的极值或最大值最小值；

②求出取得极值时变量的取值。

最优化问题所涉及的内容种类繁多，有的十分复杂，但是它们都有共同的

关键因素：变量，约束条件和目标函数。

（2）变量

变量是指最优化问题中所涉及的与约束条件和目标函数有关的待确定的量。一般

来说，它们都有一些限制条件（约束条件），与目标函数紧密关联。

设问题中涉及的变量为x1,x2,?,xn；我们常常也用X?(x1,x2,?,xn)表示。 （3）约束条件

在最优化问题中，求目标函数的极值时，变量必须满足的限制称为约束条件。 例如，许多实际问题变量要求必须非负，这是一种限制；在研究电路优化设计问题时，变量必须服从电路基本定律，这也是一种限制等等。在研究问题时，

课程名称：设计题目：

学 号：姓 名：

完成时间：

程 设 计

数值分析

2014.11.18

课

题目一： 解线性方程组的直接法 设方程组Ax?b，其中

?1x0?1x1A?????1x5?2x05?x0?x15?， ?5?x5??x122x5矩阵中xk?1?0.1k(k?0,1,,5)，b由相应的矩阵元素计算，使解向量

x?(1,1,,1)T。

(1) A不变，对b的元素b6加一个扰动10?4，求解方程组；

(2) b不变，对A的元素a22和a66分别加一个扰动10?6，求解方程组； (3) 对上述两种扰动方程组的解做误差分析。

一.数学原理：

本计算采用直接法中的列主元高斯消元法，高斯列主元消元法原理如下： 1、设有n元线性方程组如下：

?a11???a?n1a1n???ann???x1???x?n??b1???＝???b??n??? ??2、

第一步：如果a11!=0, 令

li1= a

1.用斐波那契法求函数f(t)=t2?6t+2的近似极小点和极小值，要求缩短后的区间不大于区间[0,10]的5% 。

解：由题意??5%，由斐波那契数列Fn?1?，则n=7， a0?0，b0?10

t1=b0?F6F80130 , (b0?a0)= , t1'?a0?6(b0?a0)?21F7F721'将t1和t1'代入函数，比较大小有f(t1)?f(t1)

则有a1?a0?0，t2?t1?'F8013050'，b1?t1? ，t2?b1?5(b1?a1)? ， 2121F621''将t2和t2代入函数，比较大小有f(t2)?f(t2) ,

则有a2?a1?0，t3?t2?'F508030'，b2?t2? ，t3?b2?4(b2?a2)?， 2121F521''将t3和t3代入函数，比较大小有f(t3)?f(t3)，

则有a3?t3?F30508060''，t4?t3?，b3?b2?，t4?a3?3(b3?a3)?， 212121F421''将t4和t4代入函数，比较大小有f(t4)?f(t4)，

则有a4?t4?F506080'70',t5?t4?,b4?b3?,t5?a4?2(b4?a4)?， 212121F321''将t