约束优化算法：拉格朗日乘子法

更新时间：2023-10-05 06:54:01 阅读量：综合文库文档下载

说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。

拉格朗日乘子法

约束优化问题的标准形式为：

minf(x),x?Rns..tgi(x)?0,i?1,2,...,m hj(x)?0,j?1,2,...,l其中f,gi,hj:Rn?R

约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换为无约束问

题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。

1. 罚函数法

罚函数法（内点法）的主思想是：在可行域的边界上筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数陡然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“挡”在可行域之内了。

它只适用于不等式约束：

minf(x),x?Rns..t它的可行域为：

gi?0,i?1,2,...,m

D?{x?Rn|gi(x)?0,i?1,2,...,m}

对上述约束问题，其其可行域的内点可行集D0??的情况下，引入效用函数：

?(x)、 minB(x,r)?f(x)?rBmm1??其中B(x)???或B(x)??|ln(?gi(x))| gi(x)i?1i?1算法的具体步骤如下：

给定控制误差??0，惩罚因子的缩小系数0?c?1。

步骤1：令k?1，选定初始点x(0)?D0，给定r1?0（一般取10）。步骤2：以x(k)为初始点，求解无约束

?(x) minB(x,r)?f(x)?rkBmm1??其中B(x)???或B(x)??|ln(?gi(x))|，得最优解x(k)?x(rk) gi(x)i?1i?1?(x(k))??，则x 步骤3：若rkB转步骤2.

(k)为其近似最优解，停；否则，令rk?crk,k?k?1，

2. 拉格朗日乘子法

（1）PH算法：（约数为等式的情况引入）效用函数为

minM(x,u(k),?k)?f(x)?u(k)Th(x)??kh(x)Th(x)

判断函数为

?k?h?x(k)?

当?k??(x(k))??时迭代停止。

步骤1：选定初始点x(0)，初始拉格朗日乘子向量u(1)，初始罚因子?1及其放大系数c?1，控制误差??0与常数??(0,1)，令k?1。步骤2：以x(k?1)为初始点，求解无约束问题：

minM(x,u(k),?k)?f(x)?u(k)Th(x)??kh(x)Th(x)

得到无约束问题最优解x(k) 步骤3：当hx步骤4：当hx?(k)???时，x(k)为所求的最优解，停；否则转步骤4.

(k)??/h?x?(k)??时，转步骤5；否则令?k?1?c?k，转步骤5.

步骤5：令u(k?1)?u(k)??kh(x(k)),k?k?1，转步骤1。（2） PHR算法（一般约束形式的松弛变量法和指数形式法）松弛变量法：

211M(u,v,?)?f(x)?max0,u??g(x)?ui2?????ii??2?2???

??vjhj(x)?j?1l??h(x)22jj?1l乘子的修正公式为：

v(jk?1)?v(jk)??hj(x(k)),j?1,...,lu判断函数为：

(k?1)i?max??0,u(k)i??gi(x)??,i?1,...,m(k)

2(k)m????u?l2(k)?(k)i?k???hj(x)??max??gi(x),??

???i?1???j?1?1/2当?k??(x(k))??时迭代停止。

3. 乘子法MATLAB程序及其作用

3.1 Al_main函数

3.1.1程序（1）：乘子法效用函数程序

函数功能：将约束优化问题，根据效用函数方法，将其转变成无约束问题。 function f=AL_obj(x) %拉格朗日增广函数 %N_equ 等式约束个数

%N_inequ 不等式约束个数

global r_al pena N_equ N_inequ;%全局变量 h_equ=0; h_inequ=0;

[h,g]=constrains(x);

%等式约束部分 for i=1:N_equ

h_equ=h_equ+h(i)*r_al(i)+(pena/2)*h(i).^2; end

%不等式约束部分 for i=1:N_inequ

h_inequ=h_inequ+(0.5/pena)*(max(0,(r_al(i)+pena*g(i))).^2-r_al(i).^2); end

%拉格朗日增广函数值 f=obj(x)+h_equ+h_inequ; 3.1.2

程序（2）：判断函数

函数功能：判断是否符合约束条件

%% the compare function is the stop condition function f=compare(x)

global r_al pena N_equ N_inequ; h_equ=0; h_inequ=0;

[h,g]=constrains(x);

%等式部分 for i=1:N_equ

h_equ=h_equ+h(i).^2; end

%不等式部分 for i=1:N_inequ

h_inequ=h_inequ+(max(-g(i),r_al(i+N_equ)/pena)).^2; end

f=sqrt(h_equ+h_inequ);

3.1.3 程序（3）AL算法主程序

函数功能：对无约束的效用函数利用拟牛顿算法求解其最优解，更新乘子。

function [X,FVAL]=AL_main(x_al,r_al,N_equ,N_inequ)

%本程序为拉格朗日乘子算法示例算法 %函数输入：

% x_al:初始迭代点

% r_al：初始拉格朗日乘子 % N-equ:等式约束个数 % N_inequ:不等式约束个数 %函数输出

% X：最优函数点 % FVAL:最优函数值

%============================程序开始================================ global r_al pena N_equ N_inequ; %参数（全局变量） pena=10; %惩罚系数 c_scale=2; %乘法系数乘数 cta=0.5; %下降标准系数 e_al=0.005; %误差控制范围 max_itera=25;

out_itera=1; %迭代次数

%===========================算法迭代开始============================= while out_itera

%判断函数

compareFlag=compare(x_al0); %无约束的拟牛顿法BFGS

[X,FVAL]=fminunc(@AL_obj,x_al0); x_al=X; %得到新迭代点 %判断停止条件

if compare(x_al)

disp('we get the opt point'); break end

%c判断函数下降度

if compare(x_al)

pena=pena; %可以根据需要修改惩罚系数变量 else

pena=min(1000,c_scale*pena); %%乘法系数最大1000 disp('pena=2*pena'); end

%% 更新拉格朗日乘子 [h,g]=constrains(x_al); for i=1:N_equ

%%等式约束部分

r_al(i)=r_al(i)+pena*h(i);

end

for i=1:N_inequ

%%不等式约束部分

r_al(i+N_equ)=max(0,(r_al(i+N_equ)+pena*g(i))); end

out_itera=out_itera+1; end

%+++++++++++++++++++++++++++迭代结束+++++++++++++++++++++++++++++++++ disp('!!!!!!!!!!!!!!!!!!!the iteration over!!!!!!!!!!!!!!!!!!!!!!!!!!'); disp('the value of the obj function'); obj(x_al)

disp('the value of constrains'); compare(x_al)

disp('the opt point'); X=x_al;

FVAL=obj(X); 3.1.4

乘子法AL_main函数使用方法

（1）定义目标函数及约束条件

minf(x)??x1x2?x2x3?x3x1s..t目标函数m文件

x1?x2?x3?1?022x12?x2?x3?3?0

function f=obj(x)

f=-x(1)*x(2)-x(2)*x(3)-x(3)*x(1);约束函数m文件

function[h,g]?constrains(x) h?x(1)?x(2)?x(3)?1;g?x(1)2?x(2)2?x(3)2?3;（2） AL_main函数调用

x_al=[1,1,1]; %初始迭代点

r_al=[1,1]; %初始拉格朗日乘子