随机过程复习题

随机过程习题

例.设{Xn,n?0}是相互独立的随机变量序列，且P(Xn?1)?p，

P(Xn??1)?1?p?q。令Yn??Xkk?0n，试证{Yn,n?0}是一马尔可夫链，

写出其状态空间，并求P(Y0?0,Y1?0,Y2?0,Y3?0)。

例.设马尔可夫链{Xn,n?0}的状态空间为I?{0,1,2,?}，其一步转移矩阵为

?q0??qP??1q?2???p000?0p10?00p2?0???0??0?? ????其中，pi

?0,qi?pi?1,i?0。试讨论该链为常返的充要条件。

解：由{Xn,n?0}是相互独立性，有 P(Yn?1???j|Y0?i0,Y1?i1,Y2?i2,?,Yn?in)

P(Y0?i0,Y1?i1,Y2?i2,?,Yn?in,Yn?1?j)P(Y0?i0,Y1?i1,Y2?i2,?,Yn?in)P(Y0?i0,X1?i1?i0,X2?i2?i1,?,Xn?in?in?1,Xn?1?j?in)P(Y0?i0,X1?i1?i0,X2?i2?i1,?,Xn?in?in?1)P(Yn?in,Xn?1?j?in)?j?in)?P(Yn?in)

?P(Xn?1?P(Yn?in,Yn?1?j)?P(Yn?1?j|Yn?in)P(Yn?in)故{Yn,n?0}是一马尔可夫链。又因为Xn取1或-1，所以Yn的状态空间为I?{0,?1,?2,?}。事件{Y0?0,Y1?0,Y2?0,Y3?0}可以化为下列X0,X1,X2,X3的取值：

X0111111X11111?1?1X2?1?11111X3?11?11?11Pppqqppqppppq pppppqpqpqpp因此

P(Y0?0,Y1?0,Y2?0,Y3?0)?p2q2?p3q?p3q?p4?p3q ?p2(1?q)

解：由于该马尔可夫链是不可约的，仅考察状态0的常返性即可。由矩阵P知：

(1)f00?q0?1?p(2)f00?p0q1?p0?p0p1?(n)f00?p0p1?pn?2?p0p1?pn?1

从而

(n)f00??f00?lim(1?p0p1?pn?1)?1?limp0p1?pn?1

?n?1n??即得状态0为常返的充要条件是

??ln1??n?0pn

n??

本文来源：https://www.bwwdw.com/article/8eix.html