动态规划的方法

北京交通大学

博士学位论文

近似动态规划方法及其在交通中的应用

姓名：齐驰

申请学位级别：博士

专业：交通信息工程及控制

指导教师：侯忠生

201111

中文摘要

中文摘要

论文研究了近似动态规划方法及其在交通中的应用，丰富和完善了近似动态规划理论。论文主要研究内容和创新点总结如下：

一、提出了一种近似动态规划网络优化加速算法。在权值调整期间加入前期权值信息，增强了训练的稳定性：使用Ｓｔｅｆｆｅｎｓｅｎ迭代算法进行加速，使网络训练较快地收敛，有效地解决了传统神经网络收敛慢的缺点，在此基础上，给出了一种基于数值计算的近似动态规划改进方法ＡＤＨＤＰ（Ｄ），仿真结果表明该方法误差稳步下降，没有出现ＡＤＨＤＰ方法中振荡的现象，且达到收敛稳定的速度更快。此外，提出了一种权值初始值复合修正法，仿真结果表明，与权值初始值随机设定方法相比，该方法提高了近似动态规划方法的学习成功率；

二、研究了快速路交通流模型参数辨识方法。针对交通流模型的强非线性、不确定性等特点，提出了基于近似动态规划的交通流模型参数辨识算法。该算法具有自学习和自适应的特性，不依赖于被控对象的解析模型，严格的理论推导证明了这种参数辨识方案的收敛性，仿真结果验证了该算法的有效性；

三、研究了快速路短时交通流预测方法。针

第七章 动态规划

习题七

7.1计算如图所示的从A到E的最短路线及其长度（单位：km）：

（1） 用逆推解法； （2） 用标号法。 3 B1 4 D1 2 3 4 C1 3 A 2 B2 1 1 5 D2 1 E 3 3 C2 4 2 5 3 1 B3 5 3 D3

7.2 用动态规划方法求解下列问题

（1） max z ＝x12x2 x33

x1＋x2＋x3 ≤6

xj≥0 （j＝1,2,3）

（2）min z ＝ 3x12＋4x22 ＋x32

x1x2 x3 ≥ 9

xj ≥0 （j＝1,2,3）

7.3 利用动态规划方法证明平均值不等式：

(x1?x2???xn)?(x1x2?xn)n

n设xi ≥0，i＝1，2，?，n。

7.4 考虑一个有m个产地和n个销地的运输问题。设ai（i＝1，2，?，m）为产地i可发运的物资数，bj（j＝1，2

第五章 动态规划（Dynamic Programming）

第一节 离散时间系统的动态规划

一 简单例子 行车问题

穷举法：从S到F共有条路径，每条路径共有3次加法。故共有3?8?24，2n?1.(n?1) 次加法。 动态规划法：

首先计算最后阶段的时间最短的路径：x2(3)?F,可以计算出J(x1(3))=4，J(x2(3))=3 再计算第三阶段的最短路径：x1(2)?x2(3)?F可以计算出J(x1(2))+1+3，

J(x2(2))=2+3。只需要计算x1(2)到J(x1(3))，J(x2(3))及x2(2)到J(x1(3))，J(x2(3))的

最短时间。其中J(xi(.))代表xi(.)到F的最短距离。

然后计算第二阶段的最短路径：x2(1)?x1(2)?x2(3)?F,计算

x1(1?)x2?(2J)2x(和(2))x1(1)?x1(2)?J(x1(2))，取小的

J(x1(1))x2(1)?x1(2)?J(x1(2))和x2(1)?x2(2)?J(x2(2))，取小的J(x2(1))

最后计算第一阶段的最短路径：S?x2(1)?x1(2)?x2(3)?F，计算

S?x1(2)?J(x1(1))和S?x2(1)?J(x2(1)

function [p_opt,fval]=dynprog(x,DecisFun,SubObjFun,TransFun,ObjFun) % x为状态变量，一列代表一个阶段的状态

% M_函数DecisFun（k,x)表示由阶段k的状态值x求出相应的允许决策集合 % M_函数SubObjFun（k,x,u)表示阶段k的指标函数

% M_函数TransFun（k,x,u)是状态转移函数，其中x是阶段k的状态值，u是其决策集合 % M_函数ObjFun（v,f)是第k阶段到最后阶段的指标函数，当ObjFun（v,f)=v+f时，输入ObjFun（v,f)可以省略

% 输出p_opt由4列组成，p_opt=[序号组，最优轨线组，最优策略组，指标函数值组]; % 输出fval是列向量，各元素分别表示p_opt各最优策略组对应始端状态x的最优函数值

k=length(x(1,:)); % k为阶段数 x_isnan=~isnan(x);

f_opt=nan*ones(size(x));

% f_opt为不同阶段、状态下的最优值矩阵，初值为非数

d_opt=f_opt;

DP Problem Set

顺序对齐

源程序名 ALIGN.??? (PAS,C,CPP) 可执行文件名 ALIGN.EXE 输入文件名 ALIGN.IN 输出文件名 ALIGN.OUT

考虑两个字符串右对齐的最佳解法。例如，有一个右对齐方案中字符串是AADDEFGGHC和ADCDEGH。

AAD_DEFGGHC ADCDE__GH_

每一个数值匹配的位置值2分，一段连续的空格值-1分。所以总分是匹配点的2倍减去连续空格的段数，在上述给定的例子中，6个位置(A,D,D,E,G,H)匹配，三段空格，所以得分2*6+(-1)*3=9，注意，我们并不处罚左边的不匹配位置。若匹配的位置是两个不同的字符，则既不得分也不失分。

请你写个程序找出最佳右对齐方案。 输入

输入文件包含两行，每行一个字符串，最长50个字符。字符全部是大字字母。 输出

一行，为最佳对齐的得分。 样例 ALIGN.IN

AADDEFGGHC ADCDEGH

ALIGN.OUT 9

_______________________________________________________________________________

面向动态管理的控制性详细规划

编制方法探索

摘 要：从规划编制技术方法的角度，尝试与规划管理的有效衔接：（1）控制单元充分落实上位规划中各方面的要求，并梳理其刚性和弹性不同管控要求；（2）刚性内容，在地块层面进一步完全落实；（3）弹性内容，探索可动态跟踪、适时调控的技术方法。 关键词：控制性详细规划；刚性和弹性；控制单元；地块层面；动态管理 一、控制性详细规划的新形势

1、新规划法推动控规技术变革

2008年《城乡规划法》的颁布与实施，显著提升了控制性详细规划的法律地位。2010年12月，住房和城乡建设部7号令，颁布《城市、镇控制性详细规划编制审批办法》，并于2011年1月1日起实施。

2、控制单元层面与地块层面

住房和城乡建设部在《城市、镇控制性详细规划编制审批办法》第十一条中提及控制单元规划编制，“控制单元规划”首次出现在国家部门法规中。

控制单元（又称控规单元、街区等）是承上启下的规划层次，衔接总体规划与控制性详细规划，越来越受到各地规划部门的重视。其作用一方面在于保障上位规划的刚性内容能够有效贯彻落实，另一方面为复杂多变的市场需求变化提供弹性应对的工作框架，是一种刚柔并济的规划手段和方法。

以往控规技术方法刚性强、弹性弱，政府自由裁

动态规划专题分类视图

数轴动规题： ........................................... 1 较复杂的数轴动规 ................................... 4 线性动规 ................................................... 7 区域动规： ............................................. 14 未知的动规： ......................................... 20 数轴动规题：

题1.2001年普及组第4题--装箱问题

【问题描述】有一个箱子容量为V(正整数,0≤V≤20000),同时有n个物品(0

第二行：一个整数，表示物品个数n；接下来n行，分别表示这n个物品的各自体积。 【输出格式】 输出文件box.out只有一行数据，该行只有一个数，表示最小的箱子剩余空间。 【输入样例】 24 6 8 3 12 7 9 7

【输出样例】 0

题2.1996年提高组第4题--砝码秤重 __数据加强版

【问题描述】设有n种砝码,第k种砝码有Ck

7.1多阶段决策过程及实例

在生产和科学实验中，有一类活动的过程，由于它的特殊性，可将过程分为若干个互相联系的阶段，在它的每一个阶段都需要作出决策，从而使整个过程达到最好的活动效果。因此，各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展。当各个阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线。这种把一个问题可看作是一个前后关联具有链状结构的多阶段过程（如图2-1所示）就称为多阶段决策过程，也称序贯决策过程。这种问题就称为多阶段决策问题。

决策状态1状态决策决策状态状态2n状态图7-1

在多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前的状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义。因此，把处理它的方法称为动态规划方法。但是，一些与时间没有关系的静态规划（如线性规划、非线性规划等）问题，只要人为地引进“时间”因素，也可以把它视为多阶段决策问题，用动态规划方法去处理。

多阶段决策问题很多，现举例如下： 例1 最短路线问题

设某厂A要把一批货运到E城出售，中间可经过①～⑧城市，各城市间的交通线及距离如图2-2所示，问应选择什么

线性动规

LIS类型DP

【例题1】：最长不下降序列1078

Description:

设有整数序列b1,b2,b3,……,bm, 若存在i1< i2

第一行为一个数n，表示有n个数，第二行为n个整数序列； Output:

第一行为最大长度，第二行为满足长度的序列 Sample Input 14

13 7 9 16 38 24 37 18 4 19 21 22 63 15 Sample Output 8

7 9 16 18 19 21 22 63 【试题分析】

1、阶段和状态：

f[i]：表示以a[i]为最后一个数字的最长不下降序列的最大长度；

阶段i表示前i个数，由于每个阶段只有一个状态，所以用一维数组表示； 2、状态转移方程： 初始化：f[i]=1;

f[i]=max{f[j]+1,j

初始化： i a[i] f[i] 1 13 1 2 7 1 0 3 9 1 0 4 5 6 7 8 9 4 1 0 10 11 12 13 14 19 21 22 63 15 1 0 1 0 1 0 1 0 1 0 16 38 24 37 18 1 0 1 0 1 0 1 0 1 0 pre[i] 0

计算过程： i a[i] f[i]

JSOI2006江苏省青少年信息学奥林匹克集训队夏令营

动态规划初步

江苏省华罗庚中学 杨志军

一、引入

从一个例子说起： 【例题1】

设有一个三角形的数塔，顶点为根结点，每个结点有一个整数值。从顶点出发，可以向左走或向右走，如图所示： 13

11 8

12 7 26

6 14 15 8

12 7 13 24 11

从根结点13出发向左、向右的路径长度可以是： 13－11－7－14－7，其和为52 13－11－12－14－13，其和为63 若要求从根结点开始，请找出一条路径，使路径之和最大，若存在多条请输出任意一条。 【问题分析】

① 贪心法往往得不到最优解： 13 本题若采用贪心法则：13－11－12－14－13，其和为63 但存在另一条路：13－8－26－15－24，其和为86

11 8 贪心法问题所在：眼光短浅。

根据贪心法，则13－11－21和45，而实质上13－8－40和

6 21 40 61。

② 若用穷举法：从根结点开始，将所有可能的路径求和，找出最大值，但算法时间复杂性使问题解成为不可能。

当 N＝1 P＝1 N＝2 P＝2