多维无约束优化求目标函数

实验9 无约束优化

一、实验目的

1、了解无约束优化的基本算法；

2、掌握Matlab优化工具箱的基本用法； 3、掌握用Matlab求解无约束优化实际问题。

二、实验要求

能够掌握Matlab优化工具箱中fminunc，fminsearch，lsqnonlin，lsqcurvefit的基本用法，能够对控制参数进行设置，能够对不同算法进行选择和比较。

[x,fv,ef.out,grad,hess]=fminunc(@f,x0,opt,P1,P2,…) [x,fv,ef.out,]=fminsearch(@f,x0,opt,P1,P2,…)

[x,norm,res,ef,out,lam,jac]=lsqnonlin(@F,x0,v1,v2,opt,P1,P2,…) [x,norm,res,ef,out,lam,jac]=lsqcurvefit(@F,x0,t,y,opt,P1,P2,…)

fminunc为无约束优化提供了大型优化和中型优化算法.由options中的参数LargeScale控制：

LargeScale=’on’(默认值),使用大型算法 LargeScale=’off’,使用中型算法

fminunc为中型优化算法

VB

坐标轮换法程序框图

VB

Vb运行界面

Vb编程程序

Private Sub Command1_Click()

Dim s110 As Double

Dim s100 As Double

Dim s200 As Double

Dim s210 As Double

Dim x100(10000000) As Double

Dim x110(10000000) As Double

Dim x200(10000000) As Double

Dim x210(10000000) As Double

Dim αα1 As Double

Dim αα2 As Double

Dim k As Long

Dim a1#, a2#, a3#, a4#, a5#, a6#

Dim h#, e1#, e#

Dim α0#, α1#, α2#, α3#, a#, b#

Dim xx1#, xx2#, yy1#, yy2#, yy3#

Dim f2#, f1#, fxx#

α0 = Val(Text10.Text)

h = Val(Text11.Text)

e1 = Val(Text12.Text)

x100(0) = Val(Text7.Text)

x110(0) = Val(Text8.Text)

VB

a1 =

实验二、 无约束最优化

（先将此文档从服务器下载，若众人同时在服务器打开文档，容易导致出错） 【实验目的】

1．了解无约束最优化方法的一些基本概念。

2．熟悉掌握用相关的命令来求解无约束最优化问题。 【实验内容】

把题目和相应的完整命令写在实验报告上。

1：无约束最优化问题实际上是什么问题？求这类问题的最优解的基本思路是什么？

2：求f(x)?ex?5x在区间[1,2]内的极小值点和极小值。 3：已知f(x1,x2,x3)?x12?3sinx2?x1x22x32。 (1) 求f(x1,x2,x3)在点(1,?1,0)附近的极小值； (2) 求f(x1,x2,x3)在点(1,?1,0附近的极小值点和极小)值，要求优化算法用高斯－牛顿法，搜索方向用拟牛顿法的DFP公式，以及给出函数计算次数。 【相关知识说明】

无约束最优化是指在没有约束条件下，求多变量实值函数极值。

无约束最优化问题的数学表达式为

minf(x),x?(x1,x2,?,xn)?R。

n一般f为非线性函数，x是n维实变量，实际上这是一个多元

函数无条件极值问题。

由于求极大值问题，可以用添加负号的方式转化为求极小值问题，因此通常只讨论求极小值问题。应该注意的是，极值问题的解，即极

第三章 无约束最优化方法 本章内容及教学安排 第一节 概述

第二节 迭代终止原则

第三节 常用的一维搜索方法 第四节 梯度法 第五节 牛顿法 第六节 共轭方向法 第七节 变尺度法 第八节 坐标轮换法 第九节 鲍威尔方法

第一节 概述

优化问题可分为

无约束优化问题 有约束优化问题

无约束最优化问题求解基于古典极值理论的一种数值迭代方法，主要用来求解非线性规划问题 迭代法的基本思想：

所以迭代法要解决三个问题 1、如何选择搜索方向 2、如何确定步长

3、如何确定最优点（终止迭代） 第二节 迭代终止准则 1）XK?1?XK??

?2?XK?1?XK???（XK?1i?XKi）??i?1?f(XK?1)?fX(K?)?n1/2??

2）

f(XK?1)?fX(K) or ??f(XK)3）?f(X(K?1))??

第三节 常用的一维搜索方法

本节主要解决的是如何确定最优步长的问题。

从初始点X(0)出发，以一定的步长沿某一个方向，可以找到一个新的迭代点，其公式如下：

X(1)?X(0)??0S0X(2)?X(1)??1S1 X(K?1)?X(K)??kSk现在假设SK已经确定，需要确定的是步长?k，就把求多维

题目：无约束最优化问题的拟牛顿法

诚信声明

本人声明：

1、本人所呈交的毕业设计（论文）是在老师指导下进行的研究工作及取得的研究成果；

2、据查证，除了文中特别加以标注和致谢的地方外，毕业设计（论文）中不包含其他人已经公开发表过的研究成果，也不包含为获得其他教育机构的学位而使用过的材料；

3、我承诺，本人提交的毕业设计（论文）中的所有内容均真实、可信。

作者签名：日期：年月日

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：日期： -

指导教师签名：日期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，

第9章 多目标函数的优化设计方法

Chapter 9 Multi-object Optimal Design

在实际的机械设计中，往往期望在某些限制条件下，多项设计指标同时达到最优，这类问题称为多目标优化设计问题。与前面单目标优化设计不同的是，多目标优化设计有着多种提法和模式，即数学模型。因此，解决起来要比单目标问题复杂的多。

9.1 多目标最优化模型

9.1.1 问题举例

例9-1 生产计划问题 某工厂生产n（n?2）种产品：1号品、2号品、...、n号品。

已知：该厂生产i(i?1,2,...,n)号品的生产能力是ai吨/小时； 生产一吨i(i?1,2,...,n)号品可获利润?i元；

根据市场预测，下月i号品的最大销售量为bi(i?2,...,n)吨； 工厂下月的开工能力为T小时； 下月市场需要尽可能多的1号品。

问题：应如何安排下月的生产计划，在避免开工不足的条件下，使 工人加班时间尽可能的地少；

工厂获得最大利润；

满足市场对1号品尽可能多地要求。

为制定下月的生产计划，设该厂下月生产i号品的时间为xi(i?1,...,

拉格朗日乘子法

约束优化问题的标准形式为：

minf(x),x?Rns..tgi(x)?0,i?1,2,...,m hj(x)?0,j?1,2,...,l其中f,gi,hj:Rn?R

约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换为无约束问

题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。

1. 罚函数法

罚函数法（内点法）的主思想是：在可行域的边界上筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数陡然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“挡”在可行域之内了。

它只适用于不等式约束：

minf(x),x?Rns..t它的可行域为：

gi?0,i?1,2,...,m

D?{x?Rn|gi(x)?0,i?1,2,...,m}

对上述约束问题，其其可行域的内点可行集D0??的情况下，引入效用函数：

?(x)、 minB(x,r)?f(x)?rBmm1??其中B(x)???或B(x)??|ln(?gi(x))| gi(x)i?1i?1算法的具体步骤如下：

给定控制误差??0，惩罚因子的缩小系数0?c?1。

步骤1：令k?1，选定初始点x(0)?D0，给定r1?0（一般取10）。 步骤2：以x(k)为初

第6章 约束最优化方法

6.1

可行方向法 罚函数法 乘子法

主 要 内 容

6.2 6.3

6.4 6.5

二次规划问题 网格法

求解约束最优化问题比求解无约束最优化问题要困 难的多，因为每次迭代不仅要使目标函数值下降 (对最小化问题),同时还要考虑解的可行性问题。

求解约束非线性优化问题的方法很多。 有些是将约束非线性优化问题转化为无约束非线 性优化问题(SUMT),如罚函数法(外点法)、 障碍函数法(内点法)等， 有些是通过构造下降可行方向进行迭代，如 Zoutengijk可行方向法、Rosen梯度投影法、简约 梯度法等， 有些是将非线性优化问题转化为线性规划问题， 如线性逼近法等；还有网格法等等。

6.1 可行方向法

可行方向法是求解约束最优化问题的一类常用方法，

是无约束最优化问题下降迭代算法的自然推广。

可行方向法的典型策略是从某可行点出发，沿该点

的下降可行方向进行搜索，求出使目标函数值下降的新的可行点,

算法的主要步骤是选择搜索方向和确定沿此方向搜索的步长。

搜索方向的选择方式不同就形成不同的可行方向法。

6.1.1 可行方向法概述

6.1.2 Zoutendijk可行方向法

关系模式R(U，F)中，U=ABCDEG，F={B->D，DG->C,BD->E,AG->B,ADG->BC} 求F的最小函数依赖集

方法如下：

1.根据分解规则，将函数依赖的右端分解成单个属性 该题目的话要将：BC分解成单个属性。 F={ADG->B,ADG->C,······}

2.对于F中的每个函数X->A,设G=F-{X->A},如果A属于X的闭包，则将X->A从中删除，否则保留。 该题目：

1)G=F-{B->D},则B的闭包={B},包不含D,则保留 2)G=F-{DG->C},则DG的闭包={DG},不包含C,则保留 3)G=F-{BD->E},则BD的闭包={BD},不包含E,则保留 4)G=F-{AG->B},则AG的闭包={AG},不包含B,则保留 5)G=F-{ADG->B},则ADG的闭包={ADGBCE},包含B,则删除 6)G=F-{ADG->C},则ADG的闭包={ADGBCE},包含C,则删除 F={B->D,DG->C,BD->E,AG->B}

R(U, F)，U=ABCDEF, F={AD→E, AC→E, BC→F, BCD→AF, BD→A, AB→F, A→C}求最小函数依赖集 答案是：

目标函数极值求解的几种方法

题目：分别用最速下降法，牛顿法，共轭梯度法,拟牛顿法求函数

f?(x1?1)?5(x2?5)?(x3?1)?5(x4?5)2222的最小值，初始点自拟。

一维搜索法：

迭代下降算法大都具有一个共同点，这就是得到点x?k?后需要按某种规则确定一个方向d?k?，再从x?k?出发，沿方向d?k?在直线（或射线）上求目标函数的极小点，从而得到x?k?的后继点x?k?1?，重复以上做法，直至求得问题的解，这里所谓求目标函数在直线上的极小点，称为一维搜索。

一维搜索的方法很多，归纳起来大体可以分为两类，一类是试探法：采用这类方法，需要按某种方式找试探点，通过一系列的试探点来确定极小点。另一类是函数逼近法或插值法：这类方法是用某种较简单的曲线逼近本来的函数曲线，通过求逼近函数的极小点来估计目标函数的极小点。这里采用的是第一类试探法中的黄金分割法。实现过程如下：

⑴ 置初始区间[a1,b1]及精度要求L>0,计算试探点?1和?1，计算函数值

f??1?和f??1?，计算公式是：?1?a1?0.382?b1?a1?，?1?a1?0.618?b1?a1?。令

k=1。

⑵ 若

bk?ak?Lf??k?则停止计算。否则，当f??K?>时,