动态规划

第五章 动态规划（Dynamic Programming）

第一节 离散时间系统的动态规划

一 简单例子 行车问题

穷举法：从S到F共有条路径，每条路径共有3次加法。故共有3?8?24，2n?1.(n?1) 次加法。 动态规划法：

首先计算最后阶段的时间最短的路径：x2(3)?F,可以计算出J(x1(3))=4，J(x2(3))=3 再计算第三阶段的最短路径：x1(2)?x2(3)?F可以计算出J(x1(2))+1+3，

J(x2(2))=2+3。只需要计算x1(2)到J(x1(3))，J(x2(3))及x2(2)到J(x1(3))，J(x2(3))的

最短时间。其中J(xi(.))代表xi(.)到F的最短距离。

然后计算第二阶段的最短路径：x2(1)?x1(2)?x2(3)?F,计算

x1(1?)x2?(2J)2x(和(2))x1(1)?x1(2)?J(x1(2))，取小的

J(x1(1))x2(1)?x1(2)?J(x1(2))和x2(1)?x2(2)?J(x2(2))，取小的J(x2(1))

最后计算第一阶段的最短路径：S?x2(1)?x1(2)?x2(3)?F，计算

S?x1(2)?J(x1(1))和S?x2(1)?J(x2(1))，取小，4（4-2）+2=10次加法，4（n-2）+2

次加法。

对于多阶段多决策问题动态规划有很大的优势

为找到S到F的最优路线，先从最后向前依次找到各主点到F的最优路线，S到F的最优路线包含在其中

动态规划将一个多阶段决策问题转化为一个多次一步决策问题来解决。

最优性原理：多级决策过程的最优策略具有这种性质，不论初始状态和初始决策如何，其余的决策对于由初始决策所形成的状态来说，必定是一个最优策略。

与最优路线Sx2(1)x1(2)x2(3)下相对应，有一个最优决策序列{q，p，q}。显然最优路线的一部分x2(1)x1(2)x2(3)下和相应决策{p，q}是始自x2(1)的最优路线和最优决策序列，这一特性称为最优性原理 二 递推过程及最优性原理

问题一 考察代价函数（或性能指标） J??L(k?0Nx(k),u(k), k)x(0)=

其中过程的起始状态

x0给定，过程的动态方程为

x(k?1)?f(x(k),u(k),k),k=0….N-1,其中满足约束

x(k)?Z?Rn，k=0 1 …N

求容许决策或控制序列{u(0),u(1),…u（N）}` u(k)?U?Rr,k?0,1,...N使代价函数最小 显然代价函数J?J(x0,u(0),u(1),...u(N))?J(x0,u)，一般地，从任意状态x（k）起始的代价函数可视为J(x(k),u)，u={u(k),…u(N)}表示自任意状态想x（k）起始到过程最终点为止，由决策u（k）…u（N）所导致的代价，故从x(k)开始 的最有代价函数为

J*(x(k))?J(x(k),u*)为求问题一的最小代价J*(x(0),0)，把待求问题嵌入到求一系列J*(x(k),k)的类似问题中。

研究的问题如下 J(x(k)k,?)?Lx(jj?kN(u)j,j( ),其中x(k)认为是固定的

x(j?1)?f(x(j),u(j),j)，j=k，k+1…N-1同时满足状态控制约束，始自第k级任一容许

状态x(k)?Z的最小代价

* J(x(k),k)?min{u(k)?u(N)?L(x(j),u(j),j)}

j?kN ?min{L(x(k),u(k),k)?u(k)?u(N)?L(x(j),u(j),j)}

j?kN ?min{L(x(k),u(k),k)}?min{u(k)u(k)?u(N)*?L(x(j),u(j),j)}

j?kN ?min{L(x(k),u(k),k)}?min{J(x(k?1),k?1)}

u(k)u(k)* ?min{L(x(k),u(k),k)?J(x(k?1),k?1)}k?0,1,2,...N?1

u(k)?U 称此式为动态规划的基本递推公式

上述递推公式是从最后一项开始，向前递推的

J(x(N),N)?min{L(x(N),u(N),N)}对于任何x(N)?Z,有上述方程将一个多阶段决

u(k)?U*策问题嵌入一类随机问题中

例 1 已知代价函数和系统动态方程 J??(x(k)?u2k?022(k)?x2(3)),x(k?1)?x(k)?u(k)求最优控制x*(k),u*(k)

例 2 J??(x(0))??L(x(k),u(k),k)??(x(N))，满足x(k?1)?f(x(k),u(k),k),

k?1N?1k?0,1,2,...N?1，x(k)?Z,u(k)?U

当代价函数为

J??L(x(k),u(k),k)，有类似的递推公式

k?1u(N)

NL(x(k),u(k),k)?J*(x(k?1),k?1),J*(x(N),N)?minL(x(N) J*(x(k)=min,k)u(k)?U,u(N),N)

最优性原理的证明

设最优控制决策为u*?{u*(0),...,u*(N)}相应的最优性能指标为

J*(x(0))?J*(x(0),u*)?J*(x(0),u*(0),...,u*(N))，反证u*(k)在k?l,l?1,...,N区间

内不是最优决策序列，在此区间内最优决策序列是u0(l),...,u0(N)，则

J(x(l),u0(l),...,u0(N))?J(x(l),u*(l),...,u*(N))

解得J*?J*(x(0),u*(?))?J*(x(0),u*(0),???,u*(l?1),u0(l),???,u0(N))，这与J为最小性能指标矛盾

第二节.离散时间LQ最优控制

问题2 x(k?1)?Fx(k)?Gu(k),k?0,1,...,N?1

*J?x(k)Q0x(k)??{xT(k)Q1x(k)?uT(k)Q2u(k)}，Q0,Q1?0,Q2?0

Tk?0N?1求最优控制u(k)使得J为最小

*J*(x(N?1))?min{xT(N)Q0x(N)?xT(N?1)Q1x(N?1)?uT(N?1)Q2u(N?1)}u(N?1)

?min{xT(N?1)(FTQ0F?Q1)x(N?1)?xT(N?1)FTQ0Gx(N?1)?uT(N?1)GTQ0Fx(N?1)u(N?1)?uT(N?1)(GTQ0G?Q2)u(N?1) 所以u*(N?1)??(GTQ0G?Q2)?1GTQ0Fx(N?1)

??L(N?1)x(N?1)，所以，J*(x(N?1))?xT(N?1)S(N?1)x(N?1)

J*(x(N?2))?min{xT(N?2)Q1x(N?2)?uT(N?1)Q2u(N?1)?J*(x(N?1))}

u(N?2)

?min{xT(N?1)S(N?1)x(N?1)?xT(N?2)Q1u(N?2)?uT(N?2)Q2u(N?2)}

u(N?2)L(N?2)?(GTS(N?1)G?Q2)?1GTS(N?1)F

S(N?2)?(F?GL(N?2))TS(N?1)(F?GL(N?2))?LT(N?2)Q2L(N?2)?Q1

u(N?j)??L(N?j)x(N?j),L(N?j)?(GTS(N?j?1)G?Q2)?1GTS(N?j?1)F

S(N?j)?(F?GL(N?j))TS(N?j?1)(F?GL(N?j))?LT(N?j)Q2L(N?j)?Q1 J*(x(N?j))?xT(N?j)S(N?j)x(N?j)

以此类推，得到

L(k)?(GTS(k?1)G?Q2)?1GTS(k?1)F

S(k)?(F?GL(k)TS(k?1)(F?GL(k))?LT(k)Q2L(k)?Q1 S(N)?Q0

u*(k)??L(k)?x(k)，J*(x(k)?xT(k)S(k)x(k)

进而将L(k)带入S(k)表达式得到

S(k)?FTS(k?1)F?FTS(k?1)G[GTS(k?1)G?Q2]?1GTS(k?1)F?Q1 ?FT[S(k?1)?S(k?1)G[GTS(k?1)G?Q2]?1GTS(k?1)]F?Q1 S(N)?Q0称为离散Riccati方程

二 动态规划是通用算法 minJ(x(0))?u(k)?U*?L(x(k),u(k),k)满足x(k?1)?f(x(k),u(k),k),x(k)?Z?R

nkk?0NU?Rm

第三 连续动态规划于HJB方程

一 问题提出

u(?)?Utf?minJ(u(?))?S(x(tf),tf)??L(x(t),u(t),t)dt，满足x?f(x(t),u(t),t)，

t0*x(t)?U?Rm

二 离散化近似

将问题离散化为如下的近似问题（h足够小）

u(?)?UminJ?S(x(tf),tf)?h?L(x(t),u(t),t)?0(h)满足x(t?h)?x(t)?hf(x(t),u(t),t)

k?0N?0(h)其中t=t0?kh,tf?t0?Nh,得到如下近似多阶段决策问题：

minS(x(t0?Nh),t0?Nh)?hu(t)?L(x(t),u(t),t)?0(h)其中t?[t,t?h]

k?0N满足x(t?h)?x(t)?hf(x(t),u(t),t)?0(h) t?t 0?kh有递推公式得到

J*(x(t),t)?min[hL(x(t),u(t),t)?J*(x(t?h),t?h)]

u(t)?Ut?[t,t?h]满足x(t?h)?x(t)?hf(x(t),u(t),t)?0(h)其中J*(x(t),t)为始自时刻t和状态x（t）的最有代价。假设J*(x(t?h),t?h)对其自变量具有二阶连续偏导，则

?J*?J*J(x(t?h),t?h)?J(x(t),t)?h?[x(t?h)?x(t)]?0(h)，则有

?t?x**?J*?J*J(x(t),t)?min[J(x(t),t)?(L(t)??[x(t?h)?x(t)]?0(h))]

u(t)?U?t?xt?[t,t?h]**?J*?J*??min[L(x(t),u(t),t)?Tf(x(t),u(t),t)]

u(t)?t?x?J*?t)T假设u(t)使得L(x(t),u(t),?x*f(x(t)u,t(达)t到,)全局最小，一般地u*(t)是

?J*?J***x(t)?t的函数，记为u(t)?u(x(t),t,t)，带入得到

?x?x?J*?J*?J*?J***??L(x(t),u(x(t),t,t),t)?Tf(x(t),u(x(t),t,t),t) ?t?x?x?x边界条件：J(x(tf),tf)?S(x(tf),tf) 可以证明它是最优控制的充分条件 三 H-J-B方程于极大值原理关系

*minJ?S(x(tf),tf)??L(x(t),u(t),t)dt满足x?f(x(t),u(t),t)，x(t0)?x0

t0tf??J*令H(x,u,?,t)?L(x,u,t)??(t)f(x,u,t)记?(t)?则泛函的偏微分方程为

?xT?J*?J*?J****??H(x(t),,t)?H(x(t),u(t),t)其中??minH*(x(t),u(t),t) ?t?x?tu(t)?U

?H*(x(t),u*(t),t)在这里说明一下，在保持x,?,t不变的情况下，选择u*(t)是H取全局

最小值，就是极大值原理中的极值条件，由此可知

??H?J*?f ,t)易知x?u(t)?u(x,?,t)u(t)?u(x,?,t)?u(x,???x*****?J*??d?J*?2J*?2J*???J*?2J*?()??2x?()?2f 由?(t)?得

?x?tdt?x?x?t?x?x?t?x??J*?2J*??2J*?f?J*?2J*?(?L(x,u,t)?Tf)?2f=??L?2f?T?2f ?x?x?x?x?x?x?x?x??f?J*?H*??L???由边界条件J(x(tf),tf)?S(x(tf),tf)得

?x?t?x?x?(tf)??J*(x(tf),tf)?x(tf)*??S(x(tf),tf)?x(tf)

不妨设J(x(t))?易

知

1T1xPx代入H-J-B方程得xT[Q?PTA?ATP?PTbbTP??1]x?0 22故

?1TPT?PQ?PA?ATP?PTb??1bTP?0 最优控制为

?J* 状态反馈闭环形式 u???bPx=???b?x*?1T1?T2n?n例 1 x?Ax?bu,x(0)?x0 minJ??(xQx??u)dt 其中A?R,

u(?)?U20? b?R,Q?Q,??0 解：Hamilton函数H(x,u,?,t)?nT1T?H(xQx??u2)??T(Ax?bu)由?0知 2?u?u?bT??0，u????1bT?，代入到Hamilton函数

H*(x,?,t)?1T1xQx??Ax???1?TbbT? 22*因为受控系统是LTIS，Q，r 是常数阵和常数，并且积分无穷大 ，所以J只依赖于初始

?J*?0，所以Hamilto-Jacobin方程为 状态于t无关，故?t1T?J*1?1?J*2xQx?TAx??(b)?0为一阶非线性微分方程 2?x2?x

H-J-B方程的充分性证明

带终端条件的H-J-B方程

?J?J?Tf(x,u)?L(x,u)}?0,J(tf,x(tf))?K(x(tf))

u?U?t?x?J?J?J?J,)，使得?f(x,u)?L(x,u)达到极小。 若（1）存在连续可微函数u(x,?t?x?t?xTmin{（2）偏微分方程

?J?J?J?J?J?J?Tf(x,u(x,,))?L(x,u(x,,))?0，J(tf,x(tf))?K(x(tf))存在满足?t?x?t?x?t?x?J*?J*,)满足对任意的 如下条件的解，即存在J(t,x),tf使得J(t,x)和u(x,t)?u(x,?t?x****?J*?J*?J*?J*?Tf(x,v)?L(x,v)??Tf(x,u*)?L(x,u*)?0 v?u[t0,tf]有

?t?x?t?xJ(tf*,x(tf*))?K(x(tf*)，并且对任意的v(t)?u[t0,tf]和其对应的姐x（t）都存在tf使得 J*(tf,x(tf))?K(x(tf)则H-J-B方程存在解(J*(t,x),u*(t,x)) p74

第六章 线性二次型理论

LQ问题及其分类

LQ问题定义

设线性时变系统为

x?A(t)x?B(t)u，y?C(t)x(t)?D(t)u(t)

其中x(t)，y(t)和u(t)分别是n维，r维，m维状态响亮，控制向量和输出向量，A(t)，

?B(t)，C(t)是适当维数时变矩阵，0?m?r?n且u（t）不受约束，yr(t)表示理想输出

e(t)?yr(t)?y(t)称为误差向量，寻找最优控制u(t)，使得如下二次型性能指标：

J[u(?)]?1T1Te(t)Fe(t)??[eT(t)Q(t)e(t)?uT(t)k(t)u(t)]dt为最小，其中F,Q（t）为非22t0负定矩阵，R（t）>0终端时间T是固定的

假设1 A(t)，B(t)，C(t)，Q(t)，R（t）均是t的连续时间函数，且所有矩阵函数及

R-1(t)均是有界的

xt） ，称为状态调节器 分类 yr(t)?0，C(t)?I，D(t)?0则?e(t)?y(t)?（yr(t)?0，?e(t)?y(t)称为输出调节器 yr(t)?0，称为输出跟踪器

yr(t)?0，C(t)?I，D(t)?0则称为状态跟踪器

根绝T为有限和无限，分为有限时间LQ和无限时间LQ

有限时间状态调节器

问题1 对于最优调节器问题

?1T1TT2minJ?x(T)Fx(T)??[xQ(t)x?u(t)R]dt，满足x?A(t)x?B(t)u，x(0)?x0 u(?)22t0当T??，则u*(t)是最优控制?u*?R?1BTP(t)x*(t，P(t)满足如下的Riccati微分方程和边界条件

{P??P(t)A?AT(t)P?PBR?1BTP?Q(t)P(T)?F?

证明：（必要性）令H(x,?,u)?*?1T1T1xQx?uTQu??T(Ax?Bu)，由极大值原理 22?2Hu??RB?(t)又因为2?R(t)>0, 所以上式u*(t)使得H达到极小

?ux?A(t)x?BRB?(t)，???Qx?AT?,x(t0)?x0,?(T)?Fx(T)

??1T?????x???A(t)??????Q(t)???S(t)??x(t)??x(t)??x(t0)?,,所以 ??(t,t)0????T???A(t)???(t)???(t)???(t0)??x(t0)??x(T)??1??(T)???(T,t0)??(t)?, ?(t)?(?12(T,t)?F?12(T,t))[F?11(T,t)??21(T,t)]x(t) ???0??P(t)x(t)

可以证明p（t）的逆是存在的，所以u(t)??RBP(t)x(t) ?K(t)x(t)最优控制是状态反馈，由

?*?1T**?(t)?P(t)x(t)设??P(t)x(t)?P(t)x(t)及上述必要条件，

????P??PA?ATP?PSP?Q(t),P(T)?F?0

?最有调节器的H-J-B方程为

?J*(x(t),t)1T1T?J*(x(t),t)T?min{xQx?uRu?()?A(t)x(t)?B(t)u(t)}?0使得括u(?)?t22?x?J*(x*(t),t)号内的函数为最小的控制u(t)为u(t)??RB，在这里取

?x**?1T?J*(x*(t),t)?P(t)x(t)。

?x充分性证明

设 u*(t)??R?1BTP(t)x(t)，且P(t)满足微分Riccati方程，考虑V(x,t)?求全导数得到

?dV1T11?x(t)P(t)x(t)?xTP(Ax?Bu)?(Ax?Bu)TPx dt222111?xT(t)[?PA?ATP?PBR?1BTP?Q]x?xTP(Ax?Bu)?(Ax?Bu)TPx 222111111??xTQx?uTRu?uTRu?uTBTPx?(uTBTPx)T?xTPBR?1BTPx

222222111??xTQx?uTRu?(u?R?1BTPx)TR(u?R?1BTPx)

222tfdV1tf1tfdt???[xTQx?uTRu]dt??[(u?R?1BTPx)TR(u?R?1BTPx)]dt 所以?t0dt2t02t011?xT(tf)P(tf)x(tf)?xT(t0)P(t0)x(t0) 221Tx(t)P(t)x(t)2所以

1T11tf1tfx(t0)P(t0)x(t0)?xT(tf)Fx(tf)??[xTQx?uTRu]dt??[(u?R?1BTPx)TR(u?R?1BTPx)]dt222t02t01T1tfx(t0)P(t0)x(t0)??[(u?R?1BTPx)TR(u?R?1BTPx)]dt 22t01T*?1T?1T当u??RBP(t)x，J?x(t0)P(t0)x(t0)?J 所以u??RBP(t)x是最优控制，

21T1T1tfT*T又因为J?x(t0)P(t0)x(t0)?x(tf)Fx(tf)??[xQx?uRu]dt?0由x0任意性

222t0J?知P(t0)?0，由最优性原理可以知道，最优过程的任何最后一段均是最优的，所以t?[t0,tf]从(t,x(t))出发的最优性能指标为J?*1Tx(t)P(t)x(t)?0，由想x（t）的任意性可知，2P(t)?0

例 1 x1?ax2?u，x2?bx2，t?[0,tf],x(0)?(x10,x20)T

??))?性能指标J(u(?*1tf2221{[x(t)?hx(t)]?u(t)}dt.u?R，，tf固定 12?02?P11解：u(t)??(1,0)??P21P12?x??(P11x1?P12x2) P22???211??1，PPij(t)满足如下Riccati方程：P11?P12??aP11?bP12?P11P12，11(tf)?0，P2P22??2aP12?bP22?P12?h，P12(tf)?0，P22(tf)?0

?当a=0时，最优控制不依赖于x2且P12(t)?0

无限时间状态调节器

问题

?1?TTminJ??[xQ(t)x?uR(t)u]dt，满足x?A(t)x?B(t)u，x(t0)?x0

2t0例子 x????1?0t0??0??0??00?， 又因为x?ux(t)?0???????所以不能控

1??1??1??11?A(t??)x(t)?ex0??e0At?et??et??0?t(t??)Bud?=??????eud?=??? 0x(t)10?????2?J?1?2t[e?x22(t)?u2(t)]dt，无论取何值，均为?， ?2t0J变为无穷大的原因： 1 x1(t0)?1是不可控的

2 状态不可控部分x1(t0)?et是不稳定的 3 不稳定部分在性能指标中观测出来

为保证有解，作如下假定

假设2 LTV对于每一个t?[t0,?)是完全能控的

定理2 已知完全能控的LTVS，x?A(t)x?B(t)u，x(t0)?x0和二次型性能指标

?1?TJ(u(.))??[xQ(t)x?uTR(t)u]dt，则最优控制存在，唯一。且有以下式子确定

2t0u(t)??RBP(t)x(t)其中P(t)?P(t,0,?)?limP(t,0,T)是完全能控的，而P(t)是

t??*?1T???

如下Riccati方程的非负定解，

{P(t)??P(t)A(t)?A(t)TP(t)?P(t)B(t)R?1B(t)TP?Q(t)P(?)?0?

*?1T从任意的初态x(t0)?x0开始的在最优性能指标为J(x(t),t)?x(t0)P(t0)x(t0)

2证明：P(t)?P(t,0,?)?limP(t,0,T)的存在性，将u(t)代入H-J-B方程得到

t???*1T?11?xP(t)x?xTQx?xTPTBR?1BTPx?xTPTAx 2221T?1111?xP(t)x?xTQx?xTPTBR?1BTPx?xTPTAx?xTPTAx 22222

?1TT?1T?x[P(t)?Q?PBRBP?PTA?ATP]x 2=0

所以H-J-B方程成立，充分性证明，同时证明J(x0,t0)? P(t)的性质：

1 P(t) 是对称的且存在唯一的 2 P(t)是非负定的

3 若t0?t1?t2成立，P(t,F,tf)?P(t1,P(t,F,tf),t1) LQ状态调节器最优控制存在唯一性由P(t) 存在唯一性得证 因为系统是完全能控的

*1Tx(t0)P(t0)x(t0) 2?(t)和有限时间t1，使得x?(t)=0，将u?(t)的定义所以对于任意的x（t），t?[t,?，存在u0)?(t)=0，t?t1故x?(t)?0，t?t1，对于T??,有 拓展在[t0,?).上，使得u11T?J?x(t)P(t,0,T)x(t)22*?Tt[x*TQ(t)x*?u*TR(t)u*]dt

1TT1?TT?????Q(t)x??u?TR(t)u?]dt ??[xQ(t)x?uR(t)u]dt??[xtt22?J(x(t),t,t1)?M(t1)??

*当T??时，J(x(t),t)有一个与T无关的上界J(x(t),t,t1)，因为x（t）的任意性，所

以P(t,0,T)当T??时各元素都有与T无关的上界。又因为对任意T1?T2有

P(t,0,T1)?P(t,0,T2)，取x?ei?(0...1,0...0)T，所以Pii(t,0,T1)?Pii(t,0,T2)，

?limPii(t,0,T)?Pii(t,0,?)，取x?ei?ej(i?j)?(0...1,0...0,1,0...0)T

T??(ei?ej)TP(t,0,T)(ei?ej)?Pii(t,0,T)?Pjj(t,0,T)?2Pij(t,0,T)

T?2P(t,0,T)??P(t,0,T)?P(t,0,T)?(e?e)P(t,0,T)(ei?ej) ijiijjij?limPij(t,0,T)?Pij(t,0,?)

T??（ii）P(t,0,?)满足Riccati方程，对一切的t?T1?T有P(t,0,T)?P(t,P(T1,F,T),T1)

?limP(t,0,T)?P(t)?P(t,limP(T1,0,T),T1)?P(t,P(T1,0,?),T1)

T??T??即P(t)是Riccati方程?P(t,P(T1,0,?),T1)表示Riccati方程对末端条件P(T1,0,?)的解，

的解。

（iii）u*(t)是最优控制的充分条件是u*(t)??R(t)BT(t)P(T1,0,?)x*(t)，u*(t)有如下关系：J(x0,u(?),t0,?)?limJ(x0,u(?),t0,T)?T??**1Tx(t0)P(t0)x(t0) 2当T??时，最优性能指标为J(x0,t0,T)?1Tx(t0)P(t0,0,T)x(t0)，则 21Tx(t0)P(t0,0,T)x(t0)，令T??，J(x0,u*(?),t0,?) 21d?xT(t0)P(t0,0,?)x(t0)，又(xT(t)P(t,0,T)x(t))??[xT(t)Q(t)x(t) 2dtJ(x0,u*(?),t0,T)??uT(t)R(t)u(t)]?(u(t)?R(t)?1B(t)TP(t)x(t))TR(t)(u(t)?R(t)?1B(t)TP(t)x(t))

1TT从t0到T积分设P(T,0,T)?0，J(x0,u(?),t0,T)??[x(t)Q(t)x(t)?uT(t)R(t)u(t)]dt

2t01T?1TT?1T=1xT(t0)P(t0,0,T)x(t0)?1xT(T)P(T,0,T)x(T)+?[(u?RBPx)R(u?RBPx)]dt

2t02211?J(x0,u*(?),t0,T)?xT(t0)P(t0,0,T)x(t0)?xT(T)P(T,0,T)x(T)

221?xT(t0)P(t0,0,T)x(t0) 21J(x0,u*(?),t0,?)?xT(t0)P(t0,0,?)x(t0)

211?J(x0,u*(?),t0,?)?xT(t0)P(t0,0,?)x(t0)?xT(t0)P(t0)x(t0)

22可以证明J*(x0,t0,?)?J(x0,u*(?),t0,?)是最优性能指标，

此定理表明T??时，最优控制仍具有状态的线性反馈形式， 即

x(t)?A(t)?B(t)R(t)?1B(t)TP(t)x*(t)*? ，可以证明

t??最优控制

u*(t)??R(t)?1B(t)TP(t)x*(t)，可以得到闭环系统渐进稳定，即limx*(t)?0

3 然后证u(?)是最优控制，设J*(x0,t0,?)为最优性能指标，则

*J*(x0,t0,?)?J(x0,u*(?),t0,?)，由最优性质知J*(x0,t0,?)?J(x0,u*(?),t0,?)，若不等

*号成立，则存在u1(t)不同于u(?)，使得J(x0,t0,?)?limJ(x0,u(?),t0,T),又因为

T??**T??limJ(x0,t0,T)?limJ(x0,u*(?),t0,T)?J(x0,u*(?),t0,?)，严格不等式成立意味着，

T??T??limJ(x0,u1(t),t0,T)?J*(x0,t0,T)，这要求对T，有J(x0,u1(.),t0,T)?J*(x0,t0,T)与

J*(x0,t0,T)?J(x0,u*(?),t0,T)矛盾。

推论 1 假设Q(t)>0,则最优控制可保证闭环系统渐进稳定 证明：???t0[xTQ(t)x?uTR(t)u]dt??，??xTQ(t)xdt?? ,?uTR(t)udt??

t0t0?T?Tn?2???Q(t),R(t)是正定矩阵，??xxdt??,?uudt??，即??xidt??，

t0t0i?1t0??i?1n?t0uudt??，xi(t),ui(t)是可积的，又x(t)?A(t)x?B(t)u，?x(t)的每个分

TTT??量在[t0,?)上也是可积的???t0xi(t)dt??，??xi?xidt?[?xi(t)dt]?[?xi(t)dt]

t0t0t02???212?212?t121dxi2(t)12即xi?xi是绝对可积，又xi?xi?，xi(t)??xi?xidt?xi(t0)，

t0222dt??limxi2(t)?2c?xi2(t0)?k，反证k?0,???0,?ts?t0,使得t?ts时xi2(t)??,

t????xi2(t)dt??(t?ts)，t??，设?xi2(t)dt??，limxi2(t)?0即limxi(t)?0

t0t0t??t??t?线性定常调节器

1?问题 minJ??x202Q?u2Rdt，满足x?Ax?Bux(t0)?x0，其中Q?0,R?0,

?求 容许控制u（t），.t?[,t0)?使得J达到最小

由定理2可知最优控制为u(t)??RBP(t,0,?)x(t)，P(t,0,?)满足Riccati方程，

*?1T*P(t)??P(t)A?ATP(t)?P(t)BR?1BTP?Q，P(?)?0，希望能找到一个定常的状态反

馈增益阵K，实现最优控制

?d?Z(t)??A?BR?1BT??X??Z(t)??In??1引理1 ，则有P(t,0,T)?Y(t)Z(t) ?,???????????Tdt?Y(t)???Q?A??Y??Y(t)??0?1 P(t,0,?)的定常性

?limP(t,0,T)?P(t,0,?)，而P(t,0,T)是定常的Riccati方程的解，P(T)?0

T??P(t)??P(t)A?ATP(t)?P(t)BR?1BTP?Q?P(0,0,?)与t无关，?P(t,0,?)?P为定常矩阵

2P满足代数Riccati方程 ?P(t,0,?)满

足

微

分

Riccati

方

程

??limP(t,0,T)?limP(0,0,T?t)T??T??，且

P为定常阵，

P(t)A?ATP(t)?P(t)BR?1BTP?Q?0故P可以通过解上述代数Riccati方程而得到

3 P的非负性 ?x0Px0?T??0x*2Q?u*2Rdt

引理1的证明：

设K(t,0,tf)是Riccati方程的解，?(t,?)为(A?BR?1BT)K(t,0,tf)的状态转移矩阵，即

d?(t,tf)?(A?BR?1BT)K(t,0,tf)?(t,tf),?(tf,tf)?I,则(K(t,0,tf)?(t,tf))'= dtK?(t,tf)?K?(t,tf)???(?ATK?KA?Q?KBR?1BTK)?(t,tf)?K(A?BR?1BT)K?(t,tf) ??ATK?(t,tf)?Q?(t,tf)

?(t,tf)??d??K(t,0,t)?(t,t)?A?BR?1BT???(t,tf)?ff????即??K?(t,t)??(tf,tf)?I，K(tf,0,tf)?0 Tdt?A??f???Q所以P(t,0,T)?Y(t)Z?1(t)

引理2对任意t1?t?t2?t，则方程K?AK?KA?Q?KBRBK?0,K(tf)?0 的解K(t,0,tf)具有如下的性质K(t',0,t1)?K(t'',0,t2)

'''?T?1T?A?BR?1BT??Z(tf)??In??Z(t)??Z?证明：记Z???Z??，d??，则方程d?????得解为 ?T?A??Y(t)??Y????Y(tf)???0???Q??Z(t)?Z(t''?t)?In??Z(t'')??Z(t')?1Z(t'?t1)?In??e??'??e?0?即?''???0?，?''???????Y(t)???Y(t)???Y(t)???K(t',0,t1)?Y(t')Z?1(t')?Y(t'')Z?1(t'')?K(t'',0,t2)

''?Z(t')??'?由引理可知 ?Y(t)???说明Riccati方程的解K(t,0,tf)只跟tf?t有关，而与具体的tf，t无关，从而有

K?limK(t,0,tf)?limK(0,0,tf?t)?limK(0,0,tf?t)?limK(t,0,tf)

tf??tf??t???t????x0TPx0??x*T[Q?PBR?1BTP]x*dt,对于任意的x0?0，由x（t）的连续可知，

0?使得?t?[0,t1]均有x(t)?*0，?x0TPx0??x[Q?PBR?1BTP]x*dt，

0?*T??x*T[Q?PBR?1BTP]x*dt?0

0t1?P为非负定阵，且是对称的

1?)]??x定理3已知完全能控LTIS：x?Ax?Bu,x(0)?x0，已知J[u(?20?2Q?u2Rdt

Q?0,R?0，则最优控制u*(t)存在且唯一，并有下式确定u*(t)??R?1BTPx*(t)，其中 P?limP(t,0,T),是如下的ARE的解，ATP?PA?Q?PBR?1BTP?0,最有性能指标

T??时J(x0,t0)?*1Tx0Px0。 2?最优反馈系统的闭环形式为x?(A?BK)x是否渐进稳定？ 例子 x?x?u，J???0udt，显然u?0是最优控制，但是x?x不稳定，

?2?原因：1开环不稳定，2不稳定的状态反馈在J中。

引理3若D1D1T?D2D2T,则(A,D1T)完全能控?(A,D2T)为完全能观的

引理4对于满足定理3条件的定长调节器问题，P为正定对称矩阵的充要条件是(A,DT)为完全能观的，其中D使得Q?DDT的任意一个矩阵

证明：?若(A,DT)完全能观，则P为正定对称矩阵，反馈对某一非零x0，有x0TPx0=

?0?x?2Q?uT2A(t?0)Tdt?u?0,t?[0,?)=0，?x(t)?ex?0?xPx0 00RAtTATtx0eDDTeAtx0dt0???(ex0)Q(ex0)dt??0At?DTeAtx0?0,t?[t0,?)这与

(A,DT?DT??T??DA?完全能观，rank??n矛盾 )???????DTAn?1????P为正定的，要证(A,D)完全能观，反证，若(A,DT)不完全能观，DTeAtx0?0有非

零的解，取u?0,x(t)?ex0，则J?为正定矛盾

定理4.对于完全能控LTIS，若(A,DT)为完全能观的，D为满足Q?DDT的一个矩阵，

At?0?x2Qdt???0Dex0TAt2Qdt?0?x0TPx0，与P

则最优反馈系统是全局渐近稳定的

证明：令V?xPx,有V?x(?Q?PBRBP)x，若V?0则有xTQx?0，

T?T?1T?xPBRBPx?0?uRu?0?u?0，则闭环系统变为x?Ax,?x(t)?eAtx0,

T?1TT??DTeAtx0?0,与(A,DT)完全能观矛盾

例1 给定LIVS无穷时间最优调节问题

1?J[u(?)]???x120??01??0??1b??x1?2，满足x?x?x2???u(t)dt????u ??x??00??1??ba??2??x10?x0???，其中u(t)?U?R1,且a，b满足a?b2?0

?x20?最优调节求器，并验证最有闭环系统的渐近稳定的 解：A=??01??0??1b?2，b=，Q=（A,B）是完全能控的，又a?b?0?????，R=1,n=2。易知

?00??1??ba?可知Q时正定的，则有对Q的任意分解Q?DDT，均有rank（D）=2，显然（A,C）是完全能观的，最优控制为u*(t)??R?1BTKx(t)??K12x1?K22x2，其中K??满足代数Riccati方程ATK?KA?Q?KBR?1BTK?0

即K122?1，?K11?K12K22?b?0，?2K12?K222?a?0，解得

?K11?K21K12?? K22?K12??1,K11?K12K22?b,K22??a?2K12，由引理4知ARE有唯一正定解阵K，

即K11?0,K22?0,K11K22?K122?0，K22?a?2K12 当K12??1，有K22?a?2，K11??a?2?b，由K11K22?K122?0得

a?1(a?1)212即?b??a??a与 ?(a?2)?ba?2?1，即?b?(a?2)a?2a?2b2?a?0矛盾?K12?1,K11?a?2，最优调节器为u??x1?a?2x2

1?0?2最优闭环系统x???x，特征方程时?I?A????a?2?1?0

??1?a?2???1,2??a?22?a?j 22第五节最优控制器的性质

1频域公式 ARE公式

ATP?PA?Q?PBR?1BTP?0，则有(sI?A)TP?P(sI?A)?KTRK?Q,?

R?12BT(?sI?A)PBRTT?1?12?R?12BT(sI?A)PBR?12

T?1?12?R?12BT(?sI?A)KRK(sI?A)BRT?1T?1?12 =R?12BT(?sI?A)?1Q(sI?A)?1BR?A)BRT?[I=I1?R2K(?sI?1?12]T[I1?R2K(sI?1?12?A)BR?1?12]

1?R2BT(?sI?A)Q(sI?A)BR?12]T[I?1

12]取s?j?w得

?[I1?R2K(?j?wI?A)?1BR1?R2K(j?wI?A)?1BR?

=I1?R2BT(?j?wI?A)Q(j?wI?A)BRT?1?1?12?I

2相角裕量和增益裕量

增益裕量：闭环系统达到临界稳定点（-1，j0）之前，开环增益系统所增加的倍数，在数值上，它等于最靠近（-1，j0）点的Nyquist曲线与负实轴交点坐标的倒数

第五节代数Riccati方程性质及求解方法

一 ARE解性质

?A?BR?1BT?引理 设Z???，若记f(?)?det(?A?I)，则有f(?)?f(??)， T?A????Q?f(?)是?的偶函数

?0证明：直接计算得??In??In=??0In???In?ABR?1BT??0??T?I0???In?A????Q??n0? In??In? 0??0????In?ABR?1BT???In??T?0In???In?A????Q???0det??InIn???In?det(?00???0??In)?det(?0In???0?nT，)?(?1)det(M)?det(M) ?In??f(?)?f(??)

引理2 P为ARE的解的充要条件是Z存在2n维的广义特征向量，

??i10...0???0?1...0i?? t11,...,t1l1,t21,...,t1l2,...,tk1,...,tklk满足Z(ti1,...,tili)?(ti1,...,tili)?...............?（1）

??00...?1i???00...0??i??i?1,2,...,k，其中?i（i?1,2,...,k）为Z的特征值，l1?l2?...?lk?n且P?WT?1（2）

这里??T???(t11,...,t1l1,t21,...,t1l2,...,tk1,...,tklk) ?W?12k充分性，设有n个2n维向量t11,...,t1l,t21,...,t1l,...,tk1,...,tkl满足（1）并使（2）成立，

??i10...0??J1????0?i1...0?记Ji??...............?，记Ji?????00...?1?i????00...0??i?li?li??1TJ2??? ?...?Jk??1?1由（1知）AT?BRBW?TJ,?QT?ATW?WJ用WT左乘，T右乘上式第一式，

T?1右乘上式第二式得WT?1A?WT?1BR?1BTWT?1?WJT?1，?Q?ATWT?1?WJT?1

上式两式相减得?ATWT?1?WT?1A?Q?WT?1BR?1BTWT?1?0 即WT?1是ARE的解

?是A的若当型阵，则存在n?n必要性：设P是ARE的解，记Ac?A?BR?1BTP，设Jc满

秩

方

阵

T

使

得

Ac??T?1J,T取

W=PT,则

P?WT?1，

?T??1T?1T?TJ?AcT?(A?BRBP)T?(A,?BRBP)??，另一方面，

?W???PTJ??P(A?BR?1BTP)T?(PA?PBR?1BTP)T??Q?ATW WJ联合上式得Z??T??T???T?，由于T为非奇异方阵，则?J??的每一列向量都是非零的2n???WW?W?????维向量，且满足（1）的特征向量。

?J1??1T???推论1.若P为ARE的解，则Ac?A?BRBP的Jordan规范型为J???J2??? ?...?Jk???i10...0???0?1...0i??Ji??...............?i?1,2,...,k，其中?i,li,i?1,2,...,k满足（1）

??00...?1i???00...0??i??定理1 设（A，B，C）能稳能检测，则ARE存在唯一非负解P?0,使得R(?)?0,

????(A?BR?1BTP)，其中C满足Q?CTC

二ARE的求解方法

1直接展开法：（适用低阶系统）求解非线性方程组的解

2利用P?limP(t,0,tf)，先求P(t,0,tf)?Y(t)Z?1(t)其中Y(t)Z(t)是如下方程的解

tf???1Td?Z(t)??A?BRB??X??Z(tf)??In????,????? ???TY(t)YY(t)dt??A?????f???0???Q????3将Z转化为Jordan规范型

?A?BR?1BT?T记Z??，若（A,B）能稳，（A，C）能检测，则存在T(detT?0),Q?CC，?T?A??Q????J使得TZT???0?10??T11T12??1T?则有P?T21T?T? 11,??TJ?2122???J?00?，?(?)为J不等式的特征多项式，??J?0???(J) ???(J)??04解线性代数方程的方法

若（A,B）能稳，（A，C）能检测，记T?1ZT??即?(?)?det(?I?J)则?(J)?0,?(T?1ZT)?T?1?(Z)T??0?0??T11T12??T11??0??0?0T??(Z)，记则有,即???(Z)T?T?????，所?T??????T?2122??T21??0??0?(J)??0?(J)??In?以?(Z)???0,即为求解P的线性方程组

?P?5迭代法求解

第六节最优控制反问题（逆最优控制）

一 问题的提法

给定LTIS：x?Ax?Bu,及稳定状态反馈控制率u??Kx，能否构造出正定阵R和非负定阵Q，使得性能指标J??1?TT[xQ(t)x?uR(t)u]dt达到最小呢？ ?02这一问题称为最优控制反问题

需要回答如下两个问题：

1 给定A,B,K满足什么条件，反问题有解 2 如何构造R及Q阵？

二 反问题存在性以及求解方法

对于SISO系统不失一般性，考察如下反问题

给定LTIS：x?Ax?Bu,（1）状态反馈控制率u??Kx（2）在什么条件下，如何构造非

?1?TT负R,Q使得J??[xQ(t)x?uR(t)u]dt（3）为最小

20定理1 对于完全能控系统（1）和稳定状态反馈控制率u??Kx，（指在它控制下闭环系统

渐近稳定），若（A,K）是完全能观测的，则系统（2）为系统（1）使得性能指标达到最小

??w?R，均有1?K(jw?A)?1b?1

引理1 LTIS最优反馈系统具有如下频率公式

1?R2K(?sI?12]T[I1?R2K(sI?1?12][I?A)?1BRT??A)?1BR??I?R12BT(?sI?A)Q(sI?A)BRT?112

证明：由代数Riccati方程(?sI?A)P?P(sI?A)?KRK?Q用R左乘，用(sI?A)?1BR?12右乘上式，然后两边再加

?12]T[I1?R2K(j?wI?1?12T?12BT(?sI?A)?1TI，取s?j?w代入上式得到

?12]

[I=I1?R2K(?j?wI?A)?1BRT?A)?1BR?I

1?R2BT(?j?wI?A)Q(j?wI?A)BR?1称此公式为最优性频率条件

对于单变量系统，不失一般性，取R=1，则最优性频率条件为1?K(jw?A)?1b?1 定理1的证明?显然

第七节线性系统的最优输出跟踪问题

一 问题的提出

1 有限时间最优输出跟踪问题

21minJ(u(?))?[C(tf)x(tf)?Z(tf)]TF[C(tf)x(tf)?Z(tf)] 2?1tfTT{[C(t)x(t)?Z(t)]Q(t)[C(t)x(t)?Z(t)]?uR(t)u}dt ffffff?t20

本文来源：https://www.bwwdw.com/article/fmzv.html