EX&ANS - C4马尔可夫链

练习 随机过程练习题

1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，

在其它整数点分别以概率

1向左、右移动一格或停留在原处。求质点随机游动的一3步和二步转移的概率矩阵。 2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p，对于n?2求，令Xn=0，

1，2或3，这些值分别对应于第n?1次和第n次抛掷的结果为（正，正），（正，反），

（反，正）或（反，反）。求马尔可夫链{Xn,n?0,1,2,?}的一步和二步转移的概率矩阵。

3．设{Xn,n?0}为马尔可夫链，试证：

（1）P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|X0?i0,X1?i1,?,Xn?in} ?P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|Xn?in}

（2）P{X0?i0,X1?i1,?,Xn?in,Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

?P{X0?i0,X1?i1,?,Xn?in|Xn?1?in?1}?P{Xn?2?in?2,?,Xn?m? in?m|Xn?1?in?1}

4．设{Xn,n?1}为有限齐次马尔可夫链，其初始分布和转移概率矩阵为pi?P{X0?

?1/41/41/41/4???1?1/41/41/41/4?i}?,i?1,2,3,4，P??，试证 ?41/41/81/43/8???1/41/41/41/4???P{X2?4|X0?1,1?X1?4}?P{X2?4|1?X1?4}

5．设{X(t),t?T}为随机过程，且X1?X(t1)，X2?X(t2),?,Xn?X(tn),?为独

立同分布随机变量序列，令Y0?0,Y1?Y(t1)?X1,Yn?cYn?1?Xn,n?2，试证{Yn,n?0}是马尔可夫链。

?0.50.50???(3)6．已知随机游动的转移概率矩阵为P??00.50.5?，求三步转移概率矩阵P及

?0.500.5???当初始分布为P{X0?1}?P{X0?2}?0,P{X0?3}?1时经三步转移后处于状态

3的概率。

7．已知本月销售状态的初始分布和转移概率矩阵如下：

?0.80.80.1???T（1）P(0)?(0.4,0.2,0.4)，P??0.10.70.2?；

?0.20.20.6???

?0.7??0.1（2）PT(0)?(0.2,0.2,0.3,0.3)，P??0.1??0.1?0.10.60.10.10.10.20.60.20.1??0.1?； ?0.2?0.5??求下一、二个月的销售状态分布。

8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销） 1 2 3 4 5 6 7 8 9 10 11 12 季 节 1 1 2 1 2 2 1 1 1 2 1 2 销售状态 13 14 15 16 17 18 19 20 21 22 23 24 季 节 1 1 2 2 1 1 2 1 2 1 1 1 销售状态 以频率估计概率。求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转移后的销售状态分布。

10．讨论下列转移概率矩阵的马尔可夫链的状态分类。

0??0.20.30.50??010??0??0.70.3000??1000??1000?；（1）P??0（2）P??；

??0.30.700???000.40.6??0?0.60.20.20??0??0010????10?????0????qrp0???0??0qrp0??0??，其中q?r?p?1，I?{0,1,?,b} （3）P?????????????0???0qrp????0?????01????p1q10???1/21/2??(n)0pq??11．设马尔可夫链的转移概率矩阵为（1）（2）计算f11，?22?；?1/32/3?；

???q??30p3?(n)，n?1,2,3 f1212．设马尔可夫链的状态空间I?{1,2,?,7}，转移概率矩阵为

?0.40.2??0.10.3?00?P??00?00??00?0?00.10.10.1??0.20.20.10.10.1?0.60.4000??0.400.600? 0.20.50.300??0000.30.7??0000.80.2?0.10求状态的分类及各常返闭集的平稳分布。

?010??????q0p0???1?113．设马尔可夫链的转移概率矩阵为P??，求它的平稳分?0q20p20?????????????布。

14．艾伦菲斯特(E renfest)链。设甲乙两个容器共有2N个球，每隔单位时间从这2N个球中任取一球放入另一容器中，记Xn为在时刻n甲容器中球的个数，则{Xn,n?0}是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。

15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以X(n)表示经过n次交换后甲盒中红球数，则{X(n),n?0}为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明{X(n),n?0}是遍历链；（3）求

(n)limPij,j?0,1,2 n??16．设{X(n),n?1}为非周期不可约马尔可夫链，状态空间为I，若对一切j?I，其一步转移概率矩阵满足条件：

?pi?Iij（2）?1，试证（1）对一切j?I，?p(inj)?1；

i?I若状态空间I?{1,2,?,m}，计算各状态的平均返回时间。

17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间I?{1,2,3,4}是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）

?0.5??0.2为P??0.1??0?

0.10??0.20.1?。若BOD浓度为高，则称河流处于污染状态。（1）证明

0.60.1??0.40.4??该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间?4。

答 案 1．解：质点随机游动的一步转移的概率矩阵为

0.40.50.20.2

0000??1?1/31/31/30?0??P??01/31/31/30?

??001/31/31/3???0001??0?质点随机游动的二步转移的概率矩阵为

0000??1?4/9/2/92/91/9?0??(2)2P?P??1/92/93/92/91/9?

??01/92/92/94/9???0001??0?2．解：马尔可夫链{Xn,n?0,1,2,?}的一步转移的概率矩阵为

?pq00??00pq?? P???pq00???00pq??马尔可夫链{Xn,n?0,1,2,?}的一步和二步转移的概率矩阵为

P(2)?p2?2p2?P??2?p?2??ppqpqpqpqpqq2??pqq2? 2?pqq?pqq2??3．证：

（1）P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|X0?i0,X1?i1,?,Xn?in}

P{X0?i0,X1?i1,?,Xn?in,Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m}

P{X0?i0,X1?i1,?,Xn?in}pi0pi0i1?pin?1inpinin?1?pin?m?1in?m?pinin?1?pin?m?1in?m ?pi0pi0i1?pin?1in?P{Xn?in,Xn?1?in?1,?,Xn?m?in?m}

P{Xn?in}?P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|Xn?in} ?

（2）P{X0?i0,X1?i1,?,Xn?in,Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

?P{X0?i0,X1?i1,?,Xn?in,Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m}

P{Xn?1?in?1}

P{X0?i0,?,Xn?1?in?1}P{Xn?2?in?2,?,Xn?m?in?m|X0?i0,?,Xn?1?in?1}P{Xn?1?in?1}?P{X0?i0,?,Xn?in|Xn?1?in?1}?P{Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

P{X0?1,1?X1?4,X2?4,}4．证：P{X2?4|X0?1,1?X1?4}?

P{X0?1,1?X1?4}P{X0?1,X1?2,X2?4}?P{X0?1,X1?3,X2?4,} ?P{X0?1,X1?2}?P{X0?1,X1?3}111113?????p1p12p24?p1p13p344444485 ???

1111p1p12?p1p1316???4444P{X2?4,1?X1?4} P{X2?4|1?X1?4}?P{1?X1?4}P{X1?2,X2?4}?P{X1?3,X2?4} ?P{X1?2}?P{X1?3}?P{X1?2}p24?P{X1?3}p34??P{X1?2}?P{X1?3}p24?pi2?p34?pi3i?14i?144p24?pipi2?p34?pipi3i?1i?144?p(pii?14

i2?pi3)??(pi?1i2?pi3)173???119? ?488760?18

5．解：由题意Yn?Xn?CYn?1知Yn是(X1,?,Xn)的函数，由于X1,?,Xn,?是相互独立的随机变量，故对?n?0，Xn?1与(Y0,Y1,?,Yn)独立。

P{Yn?1?in?1|Y0?0,Y1?i1,?,Yn?in}

?P{Yn?1?CYn?in?1?Cin|Y0?0,Y1?i1,?,Yn?in} ?P{Xn?1?in?1?Cin|Y0?0,Y1?i1,?,Yn?in}

?P{Xn?1?in?1?Cin}?P{Xn?1?in?1?Cin|Yn?in}?P{Yn?1?in?1|Yn?in} 由ik，k?1,2,?,n?1的任意性知{Yn,n?0}为马尔可夫链。

6．解：P(3)?0.250.3750.375??，p(3)?0.25

??0.3750.250.3752????0.3750.3750.25??

TT7．解：P(1)?(0.42,0.26,0.32)，P(2)?(0.426,0.288,0.286)

?0.60.4??159?T?，,?，P(3)??P(3)?(0.61,0.39) ???2424??0.620.38?9．解：I?{1,2,?,9}

100?0???1/201/20O???01/201/2???010?0??

P??00010???00100???O01/201/20???1/301/301/3?????00010?? C1?{1,2,3,4}，C2?{5,6,7,8,9}两个闭集。

T8．解：P0??

10．解：（1）C1?{1,2,3}，C2?{4,5}两个遍历状态闭集。

（2）C?{1,2,3}遍历闭集，N?{4}非常返态。

（3）C1?{0}，C2?{b}是吸收态闭集，N?{1,?,b?1}是非常返集。

(1)11．解：（1）f11?(2)(3)f11?0，f11111111(2)(3)(1)(2)(3)(1)，f11?，f11?；f12?，f12?，f12?；f11?p1，

924826(2)(3)2(1)?q1q2q3；f12?p1q1，f12?p1q1。 ?q1，f12

12．解：，N?{1,2}非常返集，C1?{3,4,5}，C2?{6,7}是正常返闭集。由转移矩阵

?0.60.40???0.400.6?? ?0.20.50.3???1076解得C1的平稳分布为{0,0,,,,0,0}；

23232387同理，C2的平稳分布为{0,0,0,0,0,,}。

1515

13．解：?j?p1?pj?1q1?qj?0，j?1，?0?11???j?1k?0?j?1pkqk?1

14．解：{Xn,n?0}的转移概率为

2N?ii，pi,i?1?，i?0,1,?,2N， 2N2N其平稳分布{?j,j?0,1,?,2N}满足方程组

pii?0，pi,i?1?

?1????1?02N?2N?j?1j?1? ??????jj?1j?12N2N????1?2N?1?2N2N??解此方程组得 ?j?C2jN?0

由条件

??jj?1得

1??0?C2jN?22N?0

j?02N

?0?2?2N

故{Xn,n?0}的平稳分布为?j?C2jN2?2N，j?0,1,2,?,2N

15．解：（1）

?1/32/30??

P??2/95/92/9????02/31/3?? （2）由于I?{0,1,2}是有限的，I中所有状态是互通的，且状态0是非周期的，故{Xn}为遍历链。

（3）由平稳分布满足的方程组

1239252?1??0??1??2393 21?2??1??293?0??1??2?1131解方程组得：?0?，?1?，?2?

555131limp(i0n)??0?，limp(i1n)??1?，limp(i2n)??2? n??5n??55n???0??0??1

16．解：（1）用归纳法。设当n?m时，对一切j?I，都有

?pi?I(n?1)ij??(?pi?Ik?I(m)ikpkj)??pkj(?pk?Ii(m)ik?p)??pi?Ik?I(n)ij?1，则 ?1

kj

（2）由条件知{X(n),n?1}为非周期不可分马尔可夫链，且状态空间有限，故

n){X(n),n?1}为遍历链，因此 limp(ij??j?n??1?j?0,j?I，所以

lim?pn??i?1m(n)ij??limpi?1n??m(n)ij??i?1m1?j?m?j?1，?j?m，j?1,2,?,m

17．解：（2）?1?0.2112，?2?0.3028，?3?0.3236，?4?0.1044；

（3）?4?8.8（天）

练习

1．设连续时间马尔可夫链{X(t),t?0}具有转移概率

随机过程练习题

j?i?1,??ih?o(h),?1??h?o(h),j?i,?i pij(h)??0,j?i?1,??o(h),|j?i|?2,?其中?i是正数，X(t)表示一个生物群体在时刻t的成员总数，求柯尔莫哥洛夫方程，转移概率pij(t)。（提示：利用以下结果，若g?(t)?kg(t)?h(t),k为实数，h(t)为

连续函数，a?t?b，则g(t)??tae?k(t?s)h(s)ds?g(a)e?k(t?a)）

2．一质点在1，2，3点上作随机游动。若在时刻t质点位于这三个点之一，则在[t,t?h)内，它以概率h/2?o(h)分别转移到其它二点之一。试求质点随机游动的柯尔莫哥洛夫方程，转移概率pij(t)及平稳分布。

3．在某车间有M台车床，由于各种原因车床时而工作，时而停止。假设时刻t，一台正在工作的车床，在时刻t?h停止工作的概率为?h?o(h)，而时刻t不工作的车

床，在时刻t?h开始工作的概率为?h?o(h)，且各车床工作情况是相互独立的。若N(t)表示时刻t正在工作的车床数，求（1）齐次马尔可夫过程{N(t),t?0}的平稳分布；（2）若M?10，??60，??30，系统处于平稳状态时有一半以上车床在工作的概率。 4．排队问题。设有一服务台，[0,t)内到达服务台的顾客数是服从泊松分布的随机变量，

即顾客流是泊松过程。单位时间到达服务台的平均人数为?。服务台只有一个服务

员，对顾客的服务时间是按指数分布的随机变量，平均服务时间为1/?。如果服务台空闲时到达的顾客立即接受服务；如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有二人在等候，则他就离开而不再回

来。设X(t)代表在t时刻系统内的顾客人数（包括正在被服务的顾客和排队等候的顾客），该人数就是系统处于状态。于是这个系统的状态空间为I?{0,1,2,3}；又设在t?0时系统处于状态0，即服务员空闲着。求过程的Q矩阵及t时刻系统处于状态j的绝对概率pj(t)所满足的微分方程。

5．一条电路供m个焊工用电，每个焊工均是间断用电。现作如下假设：（1）若一焊工在t时用电，而在(t,t??t)内停止用电的概率为??t?o(?t)；（2）若一焊工在t时

没有用电，而在(t,t??t)内用电的概率为??t?o(?t)。每个焊工的工作情况是相互独立的。设X(t)表示在t时刻正在用电的焊工数。（1）求该过程的状态空间和Q矩阵；（2）设X(0)?0，求绝对概率pj(t)满足的微分方程；（3）当t??时，求极限分布pj。

6．设[0,t]内到达的顾客服从泊松分布，参数为?t。设有单个服务员，服务时间为指数

分布的排队系统（M/M/1），平均服务时间为1/?。试证明：（1）在服务员的服务时间内到达顾客的平均数为1/?；（2）在服务员的服务时间内无顾客到达的概率为

?/(???)。

答案：

1．解：柯尔莫哥洛夫向前方程为??(t)???jpij(t)??j?1pi,j?1(t),?pij?(t)???ipii(t)?piij?i?1

由初始条件：pij(0)???1,i?j解得

0,i?j???it?p(t)?e,ii??p(t)?e??jtte?jt?p(s)ds,j?i?1

?0j?1i,j?1??ij112．解：?i?，?i?

2211?(t)??pij(t)?pi,j?1(t)?pi,j?1(t),柯尔莫哥洛夫向前方程为pij22

状态空间为I?{1,2,3}，故pij(t)?pi,j?1(t)?pi,j?1(t)?1，代入以上方程得

?(t)?pij31pij(t)? 223?t2pij(t)?ce1? 3由初始条件：pij(0)??

?1,i?j确定c，得

?0,i?j

t?11?32?e,i?j??33pij(t)?? 3?t?1?2e2,i?j??33

故其平稳分布?j?limpij(t)?t??1，j?1,2,3 33．解：（1）据题意，N(t)是连续时间的马尔可夫链，状态空间为I?{0,1,?,m}。

设时刻t有i台车床在工作，则在(t,t?h]内又有一台车床开始工作，则在不计高

阶无穷小时，它应等于原来停止工作的M?i台车床中，在(t,t?h]内恰有一台开始工作，则pi,i?1(h)?(M?i)?h?o(h),i?0,1,2,?,M?1；同样地，

pi,i?1(h)?i?h?o(h),i?1,2,?,M，pij(h)?o(h),|i?j|?2

?i?(M?i)?，i?0,1,2,?,M?1

?i?i?，i?1,2,?,M

因此，它的平稳过程为

????0??1??????M??????， ?????jM??j???j??j?CM??C????M????0????????（2）P{N(t)?5}?

j(??j??C10j?6j?61010j????????????M?j，i?1,2,?,M

60j3010?j)()?0.7809 90904．解：据题意，{X(t),t?0}是连续时间的马尔可夫链，状态空间为I?{0,1,2,3}。

?00???????0????(???) Q??0??(???)???????????绝对概率pj(t)满足柯尔莫哥洛夫方程：

?(t)???p0(t)??p1(t)p0??p?(t)??p(t)?(???)p(t)??p(t)?1012 ??p(t)??p(t)?(???)p(t)??p(t)123?2??(t)??p2(t)??p3(t)p3?初始条件：p0(0)?1,pj(0)?0,j?1,2,3

5．解：据题意，{X(t),t?0}是连续时间的马尔可夫链，状态空间为I?{0,1,?,m}。

m?0?0???m???m??m(???)m??0?? Q??????????00?m??m????绝对概率pj(t)满足柯尔莫哥洛夫方程：

?(t)??m?p0(t)?m?p1(t)p0??p?(t)?m?p(t)?m(???)p(t)?m?p(t),0?j?m?jj?1jj?1 ??p(t)?m?p(t)?m?p(t)mm?1m??p0(0)?0?由于limpj(t)?pj（常数），故从以上方程组可解出pj，j?0,1,?,m。

t??6．设服务员的服务时间为T，则由题意知：T~E(?)。以X(t)表示在[0,t]内到达的顾客数，则X(t)~P(?t)。

（1）在服务员的服务时间内到达顾客的平均数为

EX?E[E(X|T)]?????t??e??tdt?0?????E(X|T?t)dFT(t)?????E(X(t))dFT(t)

? ?（2）P{X(T)?0}?P{X(T)?0,T???}????0P{X(t)?0|T?t}dFT(t)

??e??t??e??tdt?0??????

?(t)???p0(t)??p1(t)p0??p?(t)??p(t)?(???)p(t)??p(t)?1012 ??p(t)??p(t)?(???)p(t)??p(t)123?2??(t)??p2(t)??p3(t)p3?初始条件：p0(0)?1,pj(0)?0,j?1,2,3

5．解：据题意，{X(t),t?0}是连续时间的马尔可夫链，状态空间为I?{0,1,?,m}。

m?0?0???m???m??m(???)m??0?? Q??????????00?m??m????绝对概率pj(t)满足柯尔莫哥洛夫方程：

?(t)??m?p0(t)?m?p1(t)p0??p?(t)?m?p(t)?m(???)p(t)?m?p(t),0?j?m?jj?1jj?1 ??p(t)?m?p(t)?m?p(t)mm?1m??p0(0)?0?由于limpj(t)?pj（常数），故从以上方程组可解出pj，j?0,1,?,m。

t??6．设服务员的服务时间为T，则由题意知：T~E(?)。以X(t)表示在[0,t]内到达的顾客数，则X(t)~P(?t)。

（1）在服务员的服务时间内到达顾客的平均数为

EX?E[E(X|T)]?????t??e??tdt?0?????E(X|T?t)dFT(t)?????E(X(t))dFT(t)

? ?（2）P{X(T)?0}?P{X(T)?0,T???}????0P{X(t)?0|T?t}dFT(t)

??e??t??e??tdt?0??????

本文来源：https://www.bwwdw.com/article/6k9x.html