马氏链模型1

第十一章 马氏链模型

一、预备知识。 1、随机过程的概念。

定义：设集合??t:t?T?是一族随机变量，T是一个实数集合，如果对于任意t?T，?t是一个随机变量，则称??t:t?T?是一个随机过程。 其中：

（1）t为参数可以认为是时间，T为参数集合。

（2）随机变量?t的每一个可能值，称为随机过程的一个状态。其全体可能值构成的集合，称为随机过程的状态空间，用E表示。 （3）当参数集合T为非负整数集时，随机过程又称为随机序列。随机序列可用

??n:n?1,2,3,???

表示。当T为时间时，该随机序列就是时间序列。 如：

（1）用?t表示“t时刻，某商店的库存量”，则??t:t?[0,??)?就是一个随机过程。

（2）用?t表示“t时刻，某商店的销售额”，则??t:t?[0,??)?也是一个随机过程。

（3）用?t表示“在一天中t时刻，某地区的天气状况”，则??t:t?[0,24]?是一个随机过程。

（4）用?t表示“在一天中t时刻（整数），某城市的出租汽车的分布状况”，则??t:t?0,1,2,??,24?是一个随机时间序列。

马氏链，也称为马尔可夫链，就是一个特殊的随机时间序列，也为随机序列。

2、马尔可夫链——马氏链。

定义：设??n:n?1,2,3,???是一个随机序列，状态空间E为有限或可列集。若对于任意正整数m、n。如果 i?E、j?E、ik?E （k?1,2,??,n?1） 满足

P(?n?m?j?n?i,?n?1?in?1,??,?1?i1)?P(?n?m?j?n?i)

成立，则称随机序列??n:n?1,2,3,???为一个马尔可夫链，简称为马氏链。

从该定义可知：

（1）如果将随机变量?n的下角标n，理解为步数。则随机变量?n就是从起始点经过n步，到达的随机变量。

（2）随机变量(?n?i)，是指第n步时的随机变量?n所处的状态i。 （3）条件概率P(?n?m?j?n?i)是指，第n步时的随机变量?n所处的状态i发生的条件下，第n?m步时的随机变量?n?m所处的状态j，发生的条件概率。

（4）两个条件概率相等，即

P(?n?m?j?n?i,?n?1?in?1,??,?1?i1)?P(?n?m?j?n?i)

成立，说明第n步以及第n步以前的随机变量所处的状态共同发生的条件下，第n?m步时的随机变量?n?m所处的状态j，只与第n步时的随机变量?n所处的状态i有关，而与第n步前面的第n?1步时的随机变

量们所处的状态无关，将此称为随机变量序列的无后效性。 （5）将具有无后效性的随机变量序列，才能称为马尔可夫链，即为马氏链。

3、时齐的马尔可夫链。

定义：如果马尔可夫链??n:n?1,2,3,???中的条件概率 P(?n?m?j?n?i)

与n无关，则称此马尔可夫链??n:n?1,2,3,???是时齐的马尔可夫链。 从该定义可知：

（1） 时齐的马尔可夫链??n:n?1,2,3,???中的条件概率 P(?n?m?j?n?i)

与n无关，只与m有关，即无论从第几步的状态i出发，再经过m步，到达状态j的概率都相等。所以，可令该条件概率为 P(?n?m?j?n?i)?pij(m)

将它解释为：系统由状态i出发，经过m步（m个时间段）的转移到达系统状态j的概率是pij(m)。今后将此概率pij(m)称为转移概率。 （2）转移概率pij(m)的含义是：系统由状态i转移到系统状态j的转移概率pij(m)，只依赖于时间间隔m（步数）的长短，与起始的时刻无关。

4、转移概率矩阵。

（1）引例。某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状态表示。已知如果本月销路好，下月仍保持这种状态的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析

假如开始时商店处于销路好的状态，那么经过若干个月后，能保持销路好的概率有多大？如果开始时商店处于销路坏的状态呢？ 解：由于商店的经营会受到来自各方面众多因素的影响，所以商店每个月的经营情况都是一个随机变量。将第n个月经营情况用?n来

1,2,3,??，随机变量?n就形成一个随机变量表示，则对于n?0，序列，即为??n:n?0,1,2,3,???。

因为随机变量?n表示“第n个月内该商店销路的好、坏”，则可以认为随机变量?n服从两点分布，如果用1，2表示其状态，并规定 ?n??显然：

<1>如果将本商店在第n个月内销路好的概率用a1(n)表示；将本商店在第n个月内销路坏的概率用a2(n)表示。则得 P(?n?1)?a1(n) P(?n?2)?a2(n)

故第n个月内本商店销路好、坏的情况，可用向量（矩阵） (a1(n),a2(n)) 表示。

<2>当n?0时，即为?0的分布，是本商店的初始情况。其初始情况可用

(a1(0),a2(0))

表示。其中a1(0)?1时，a2(0)?0；a1(0)?0时，a2(0)?1。

在本例中，商店的初始情况为销路好，则a1(0)?1，而a2(0)?0，

?1,第n个月的销路好n

?2,第n个月的销路坏?0，1,2,3,??

所以本商店的初始情况为 (a1(0),a2(0))?(1,0)。

<3>本商店在第n?1月时的经营情况是 (a1(n?1),a2(n?1))

<4>对于本商店的经营情况来说，在第n?1月时销路好、坏的状态，主要是受前面第某个月时销路好、坏的影响，而与其前本商店的经营情况关系不大，所以随机变量序列

??n:n?1,2,3,???。

具有无后效性，故该随机变量序列为马尔可夫链，而且是时齐的马尔可夫链。

如果设pij表示“第n个月处于状态i的条件下，下个月处于状态j”的概率（i?1,2；j?1,2），则有 pij?P(?n?1?j?n?i) i?1,2；j?1,2 从而可知

p11?P(?n?1?1?n?1)?P(第n?1个月销路好第n个月销路好) p12?P(?n?1?2?n?1)?P(第n?1个月销路坏第n个月销路好) p21?P(?n?1?1?n?2)?P(第n?1个月销路好第n个月销路坏) p22?P(?n?1?2?n?2)?P(第n?1个月销路坏第n个月销路坏) 由于

a1(n?1)?P(?n?1?1)

?P(?n?1)P(?n?1?1?n?1)?P(?n?2)P(?n?1?1?n?2)

?a1(n)p11?a2(n)p21

a2(n?1)?P(?n?1?2)

?P(?n?1)P(?n?1?2?n?1)?P(?n?2)P(?n?1?2?n?2)

?a1(n)p12?a2(n)p22 由此可得 ??a1(n?1)?a1(n)p11?a2(n)p21

?a2(n?1)?a1(n)p12?a2(n)p22将其写成矩阵的运算为

(a1(n?1),a2(n?1))?(a1(n),a2(n))???p11?p21p12?? ?p22? 由本例中的条件，如果本月销路好，下月仍保持这种状态的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。可知 p11?0.5——就是本月销路好，下月仍保持销路好的概率0.5。 p12?0.5——就是本月销路好，下月变成销路坏的概率0.5。 p21?0.4——就是本月销路坏，下月变成销路好的概率0.4。 p22?0.6——就是本月销路坏，下月仍保持销路坏的概率0.6。 这时若令，二阶矩阵为P，即

11 P???p?21?pp12?? p22?? ???0.40.6?? ??称该二阶矩阵为P是系统从第n步时的状态转移到系统第n?1步时，状态的转移概率矩阵。 由该转移概率矩阵 P???0.40.6?? ???0.50.5??0.50.5?可知，矩阵P中的元素非负并小于等于1，且每行的元素之和都等于1，简称为行和是1。 （2）转移概率矩阵的定义。

定义：对于一个马尔可夫链??n:n?1,2,3,???，称由状态i经过m步转移到状态j的转移概率pij(m)为元素，组成的矩阵为转移概率矩阵，用P(m)??pij(m)?表示。

当m?1时的转移概率矩阵为P(1)??pij(1)?，就是一步转移概率矩阵，将其简记为P??pij?，简称为转移矩阵。 （3）转移概率矩阵的性质。

马尔可夫链??n:n?1,2,3,???的转移概率矩阵P(m)??pij(m)?的性质是：

性质1：（非负有界性）对于一切i?E、j?E，使得0?pij(m)?1成立。 性质2：（行和为1性）对于一切i?E，使得

?p(m)?1成立。

ijj?E性质3：（初始性）对于一切i?E、j?E，使得 pij(0)??ij??成立。

5、大于零的称转移概率矩阵。

定义：设??n:n?1,2,3,???为马尔可夫链，如果该马尔可夫链的转移概率矩阵为P(1)??pij(1)?，记为P??pij?，它的元素满足

pij?pij(1)?0 一切i?E、j?E

?1,i?j

?0,i?j都成立，这时称转移概率矩阵为大于零的称转移概率矩阵，用

P?P(1)?0表示。

6、马尔可夫链的正则链。

定义：设??n:n?1,2,3,???为马尔可夫链，如果存在一个正整数k，使得马尔可夫链的转移概率矩阵为[P(1)]k??pij(1)?k?0成立， 则称此时的马尔可夫链??n:n?1,2,3,???为马尔可夫链的正则链。简称为正则链。

7、马尔可夫链（正则链）的遍历性。

定义：如果马尔可夫链??n:n?1,2,3,???为正则链，即P?P(1)?0成立。则该马尔可夫链??n:n?1,2,3,???具有遍历性。 即存在一个向量（为数有限） W?(p1,p2,??,pk) 使得

?WP?W ? ?kp?1??i?i?1即向量W?(p1,p2,??,pk)是它的稳定解。还有等式 P(n)?Pn

成立。其中P(n)??pij(n)?是n步转移概率矩阵，P?P(1)??pij(1)?是1步转移概率矩阵。

由马尔可夫链（正则链）的遍历性可知：

（1）利用马尔可夫链的1步转移概率矩阵P（P?0），可以计算出，

m步转移概率矩阵P(m)，即为

P(m)?Pm

（2）利用马尔可夫链的1步转移概率矩阵P（P?0），可以计算出，

m步时系统所处的状态(a(m),a(m),??,a12k(m))，即为

(a1(m),a2(m),??,ak(m))?(a1(0),a2(0),??,ak(0))Pm

（3）遍历性中的W?(p1,p2,??,pk)是转移步数n???时，系统所处的状态(a1(??),a2(??),??,ak(??))，即

(a1(??),a2(??),??,ak(??))?W?(p1,p2,??,pk) 成立。将它称为马尔可夫链的稳定状态，亦称为稳定解。

例2：计算引例中提出的：试分析假如开始时商店处于销路好的状态，那么经过若干个月后，能保持销路好的概率有多大？如果开始时商店处于销路坏的状态呢？

解：设?n表示“第n个月商店经营情况”

n?0，1,2,3,??，则

随机变量?n就形成一个马尔可夫链，即为??n:n?1,2,3,???。已经求出它的1步转移矩阵为

?0.50.5? P???0.40.6??

??显然，转移概率矩阵P?0，这表明该马尔可夫链??n:n?1,2,3,???是一个正则链，一定具有遍历性。

（一）在开始时商店处于销路好的状态时，即在状态

(a1(0),a2(0))?(1,0)

的条件下，后来几个月的情况如下： 第一个月为 (1,0)P?(1,0)???0.50.5???(0.5,0.5) ??0.40.6?即第一个月，商店处于销路好、坏的状态各占。 第二个月为

(0.5,0.5)P?(0.5,0.5)???0.50.5?2? ?(0.45,0.55)?(1,0)P?0.40.6??12即第二个月，商店处于销路好的状态比第一个月减少0.05，商店处于销路坏的状态比第一个月增加0.05。 第三个月为

(0.45,0.55)P?(0.45,0.55)???0.50.5???(0.44,50.55)5?(1,0)P3 ??0.40.6?即第三个月，商店处于销路好的状态比第二个月减少0.005，商店处于销路坏的状态比第二个月增加0.005。 第四个月为

? (0.44,50.55)5P?(0.44,50.55)5??0.50.5?4? ?(0.444,05.555)5?(1,0)P??0.40.6?即第四个月，商店处于销路好的状态比第三个月减少0.0005，商店处于销路坏的状态比第三个月增加0.0005。 第五个月为

(0.4445,0.5555)P?(0.4445,0.5555)???0.50.5???(0.44445,0.55555)?(1,0)P5 ??0.40.6?即第五个月，商店处于销路好的状态比第四个月减少0.00005，商店处于销路坏的状态比第四个月增加0.00005。

由上述计算可知，

<1>求该商店在第n个月是销路好的状态为 (a1(n),a2(n))?(1,0)Pn。

<2>在商店所处的销路状态保持稳定的情况下，随着商店经营时间的延长，该商店销路好的状态还会继续下降，但下降的速度也在逐步的放慢，而最终的情况是稳定状态，设为W?(p1,p2)。满足

?WP?W ?

p?p?12?1即为

??0.50.5??(p,p)?(p1,p2)?12??? ? ?0.40.6??p?p?12?1得到方程组

?0.5p1?0.4p2?p1? ?0.5p1?0.6p2?p2

?p?p?12?1即为

?0.4p2?0.5p1? ?0.5p1?0.4p2

?p?p?12?1等价于 ?得

4?p?p21 ? 5???p1?p2?1?4p2?5p1

p?p?12?1即

4?p?p21??5 ?

?(4?1)p?12??5解得

4?p???19 ?

5?p?2?9? 所以，该商店最终的稳定状态为

??45W?(,)?(0.444444,0.555555)

99即该商店在销路好的状态下，随着时间的延长销路好的状态趋于下降，最大的下降幅度为??12491?0.055555，即为5.6%。 18（二）在开始时商店处于销路怀的状态时，即在状态

(a1(0),a2(0))?(0,1)

的条件下，后来几个月的情况如下： 第一个月为 (0,1)P?(0,1)???0.50.5???(0.4,0.6) ??0.40.6?即第一个月，商店处于销路好的状态为0.4、销路坏的状态0.6。 第二个月为

(0.4,0.6)P?(0.4,0.6)???0.50.5?2? ?(0.44,0.56)?(0,1)P?0.40.6??即第二个月，商店处于销路好的状态比第一个月增加0.04，商店处于销路坏的状态比第一个月减少0.04。 第三个月为

?0.50.5? (0.44,0.56)P?(0.44,0.56)?0.55)6?(0,1)P3 ?0.40.6???(0.44,4??即第三个月，商店处于销路好的状态比第二个月增加0.004，商店处

于销路坏的状态比第二个月减少0.004。 第四个月为

? (0.44,40.55)6P?(0.44,40.55)6??0.50.5?4? ?(0.444,04.555)6?(0,1)P?0.40.6??即第四个月，商店处于销路好的状态比第三个月增加0.0004，商店处于销路坏的状态比第三个月减少0.0004。 第五个月为

(0.4444,0.5556)P?(0.4444,0.5556)???0.50.5???(0.44444,0.55556)?(0,1)P5 ??0.40.6?即第五个月，商店处于销路好的状态比第四个月增加0.00004，商店处于销路坏的状态比第四个月减少0.00004。

由上述计算可知，

<1>求该商店在第n个月处于销路坏的状态为 (a1(n),a2(n))?(0,1)Pn。

<2>在商店所处的销路状态保持稳定的情况下，随着商店经营时间的延长，该商店销路坏的状态还会继续下降，但下降的速度也在逐步的放慢，而最终的情况是稳定状态，设为W?(p1,p2)。满足

?WP?W ?

p?p?12?1即为

??0.50.5??(p,p)?(p1,p2)?12??? ? ?0.40.6??p?p?12?1得到方程组

?0.5p1?0.4p2?p1? ?0.5p1?0.6p2?p2

?p?p?12?1即为

?0.4p2?0.5p1? ?0.5p1?0.4p2

?p?p?12?1等价于

?4p2?5p1 ?

p?p?12?1得

4??p1?p2 ? 5??p1?p2?1即

4?p?p??152 ?

4?(?1)p?12??5解得

4?p???19 ?

5?p?2?9? 所以，该商店最终的稳定状态为

??45W?(,)?(0.444444,0.555555)

99即该商店在销路坏的状态下，随着时间的延长销路坏的状态趋于下降，最大的下降幅度为0.6????5935592?0.044444444，即为4.4%。 45由上述计算过程可知，在开始时商店处于销路好的状态下，那么

经过n个月后，能保持销路好的概率不低于0.44444。而在开始时商店处于销路坏的状态下，那么经过n个月后，还保持在销路坏的概率不超过0.55556。

8、马尔可夫链的应用步骤。

第一步：根据实际问题设随机变量?n，建立随机变量序列，并判断随机变量序列是否为时齐的马尔可夫链。

第二步：建立第n（步）个时段与第n?1（步）个时段间的系统状态之间的联系，并用转移概率pij表示出来。 第三步：总结出系统的转移概率矩阵P??pij?。

第四步：利用转移概率矩阵P??pij?判断系统是否为正则链。 第五步：根据马尔可夫链的性质求解具体问题。

例3：设有三个电视机厂A、B、C，上季度订货客户的分布为

?0.5,0.3,0.2?。由于本季度各厂家宣传等条件的改变，本季度客户的

订货情况发生了变化，经调查发现，

A电视机厂的情况：

上季度是A电视机厂的订货客户，本季度还订A厂电视机的客户占60%。

上季度是A电视机厂的订货客户，本季度转移到B厂订电视机的客户占30%。

上季度是A电视机厂的订货客户，本季度转移到C厂订电视机的客户占10%。

B电视机厂的情况：

上季度是B电视机厂的订货客户，本季度转移到A厂订电视机的客户占10%。

上季度是B电视机厂的订货客户，本季度还订B厂电视机的客户占70%。

上季度是B电视机厂的订货客户，本季度转移到厂C订电视机的客户占20%。

C电视机厂的情况：

上季度是C电视机厂的订货客户，本季度转移到A厂订电视机的客户占20%。

上季度是C电视机厂的订货客户，本季度转移到B厂订电视机的客户占20%。

上季度是C电视机厂的订货客户，本季度还订C厂电视机的客户占60%。

问如果本季度订货客户的转移情况继续保持下去，那么三家电视机厂的订货客户会是一个什么结果？

解：设?n表示“第n个季度三家电视机厂A、B、C的客户的订货情况”

n?1,2,3,??。显然，随机变量序列??n:n?1,2,3,???是一

个时齐的马尔可夫链。

随机变量?n的状态为1，2，3。且

?1第n个季度A厂的订货客户? ?n??2第n个季度B厂的订货客户

?3第n个季度C厂的订货客户?则转移概率为

p11?P(?n?1?1?n?1)?P(第n?1季度A厂客户第n季度A厂客户)?0.6 p12?P(?n?1?2?n?1)?P(第n?1季度B厂客户第n季度A厂客户)?0.3 p13?P(?n?1?3?n?1)?P(第n?1季度C厂客户第n季度A厂客户)?0.1 p21?P(?n?1?1?n?2)?P(第n?1季度A厂客户第n季度B厂客户)?0.1 p22?P(?n?1?2?n?2)?P(第n?1季度B厂客户第n季度B厂客户)?0.7 p23?P(?n?1?3?n?2)?P(第n?1季度C厂客户第n季度B厂客户)?0.2 p31?P(?n?1?1?n?3)?P(第n?1季度A厂客户第n季度C厂客户)?0.2 p32?P(?n?1?2?n?3)?P(第n?1季度B厂客户第n季度C厂客户)?0.2 p33?P(?n?1?3?n?3)?P(第n?1季度C厂客户第n季度C厂客户)?0.6

从而可得转移概率矩阵为

?0.60.30.1??? P??pij???0.10.70.2?

?0.20.20.6???显然，转移概率矩阵P?0成立，该马氏链为正则链，具有遍历性。 由题设可知，三家电视机厂在上个季度，各厂家的订货客户的分布情况为

(a1(0),a2(0),a3(0))?(0.5,0.3,0.2) 可以视为系统的初始状态的分布。 所以可得：

第一个季度（本季度）三家电视机厂客户的订货情况为

(a1(1),a2(1),a3(1))?(a1(0),a2(0),a3(0))P?(0.5,0.3,0.2)P

?0.60.30.1?????0.50.30.2??0.10.70.2???0.370.400.23?

?0.20.20.6???将结果与上个季度三家电视机厂客户的订货情况作比较可知，A厂的订货客户减少了0.5?0.37?0.13，即13%。B厂的订货客户增加了

0.4?0.3?0.10，即10%。C厂的订货客户增加了0.23?0.2?0.03，即3%。

第二个季度（下一个季度）三家电视机厂客户的订货情况为

(a1(2),a2(2),a3(2))?(a1(1),a2(1),a3(1))P?(0.37,0.4,0.23)P

?0.60.30.1?????0.370.40.23??0.10.70.2???0.3080.4370.255?

?0.20.20.6???将结果与上个季度三家电视机厂客户的订货情况作比较可知，A厂的订货客户继续减少，又减少了0.37?0.308?0.062，即6.2%，且减少的速度在放慢。B厂的订货客户继续增加，增加了0.437?0.4?0.037，即3.7%，且增加的速度在放慢。C厂的订货客户也继续增加，增加了

0.255?0.23?0.025，即2.5%，且增加的速度也在放慢。

第三个季度三家电视机厂客户的订货情况为

(a1(3),a2(3),a3(3))?(a1(2),a2(2),a3(2))P?(0.308,0.437,0.255)P

?0.60.30.1?????0.3080.4370.255??0.10.70.2???0.27950.44930.2712?

?0.20.20.6???将结果与第二个季度三家电视机厂客户的订货情况作比较可知，A厂的订货客户还在继续减少，又减少了0.308?0.2795?0.0285，即2.85%，且减少的速度还在放慢。B厂的订货客户还在继续增加，增加了

0.4493?0.437?0.0123，即

1.23%，且增加的还在速度在放慢。C厂的

订货客户也在继续增加，增加了0.2712?0.255?0.0162，即1.62%，且增加的速度也在继续放慢。

如果设三家电视机厂的订货客户的稳定情况的分布为

W?(p1,p2,p3)

一定满足

?WP?W ?

p?p?p?123?1即为

??0.60.30.1????(p,p,p)0.10.70.2??(p1,p2,p3)?123? ? ?0.20.20.6?????p?p?p?123?1得到方程组

?0.6p1?0.1p2?0.2p3?p1?0.3p?0.7p?0.2p?p?1232 ?

0.1p?0.2p?0.6p?p1233???p1?p2?p3?1即为

?0.1p2?0.2p3?0.4p1?0.3p?0.2p?0.3p?132 ?

0.1p?0.2p?0.4p123???p1?p2?p3?1等价于

?p2?2p3?4p1?3p?2p?3p?32 ?1

?p1?2p2?4p3??p1?p2?p3?1得

?p2?4p1?2p3?3p?2p?12p?6p?313 ?1

?9p1?4p3?4p3??5p1?p3?1即

?p2?4p1?2p3? ?8p3?9p1

?5p?1?p3?1解得

8?p??131?14p? ? ?231?9?p??331? 所以，三家电视机厂的订货客户最终的稳定状态为

W?(8149,,)?(0.25806,0.45161,0.29032) 313131即电视机A厂最终能拥有订货客户25.8%，电视机B厂最终能拥有订货客户45.2%，电视机C厂最终能拥有订货客户29.0%。

另外，由最终的稳定状态可以看出，电视机A厂将失去订货客户24.2%，电视机B厂将增加订货客户15.2%，电视机C厂将增加订货客户9.0%。

例4：已知某系有同年级学生200名，他们的学习成绩的分布情况是，

成绩 人数 优秀 30 良好 70 及格 90 不及格 10 经过一个学期的学习，学习成绩发生了变化，其学习成绩的转移情况如下：

上学期优秀的30名学生中，本学期保持优秀的学生有20名，转移到良好的学生有6名，转移到及格的学生有4名，转移到不及格的

学生有0名。

上学期良好的70名学生中，本学期转移到优秀的学生有10名，保持良好的学生有50名，转移到及格的学生有9名，转移到不及格的学生有1名。

上学期及格的90名学生中，本学期转移到优秀的学生有2名，转移到良好的学生有14名，保持及格的学生有70名，转移到不及格的学生有4名。

上学期不及格的10名学生中，本学期转移到优秀的学生有0名，转移到良好的学生有1名，转移到及格的学生有7名，保持不及格的学生有2名。

如果该学校的教学环境不发生任何变化时，那么在今后的几个学期中学生的学习情况的分布如何呢？

解：设?n表示“该学校学生在第n个学期内的学习情况”，则得随机变量序列??n:n?1,2,3,???是一个时齐的马尔可夫链。 随机变量?n的状态为1，2，3，4。且

?1??2 ?n???3?4?第n个学期学习优秀的学生第n个学期学习良好的学生第n个学期学习及格的学生第n个学期学习不及格的学生

则转移概率为

p11?P(?n?1?1?n?1)

?P(第n?1个学期学习优秀第n个学期学习优秀)?202? 303p12?P(?n?1?2?n?1)

?P(第n?1个学期学习良好第n个学期学习优秀)?p13?P(?n?1?3?n?1)

?P(第n?1个学期学习及格第n个学期学习优秀)?61? 30542? 3015p14?P(?n?1?4?n?1)

?P(第n?1个学期学习不及格第n个学期学习优秀)?0?0 30p21?P(?n?1?1?n?2)

?P(第n?1个学期学习优秀第n个学期学习良好)?101? 707p22?P(?n?1?2?n?2)

?P(第n?1个学期学习良好第n个学期学习良好)?p23?P(?n?1?3?n?2)

?P(第n?1个学期学习及格第n个学期学习良好)?505? 7079 70p24?P(?n?1?4?n?2)

?P(第n?1个学期学习不及格第n个学期学习良好)?1 70p31?P(?n?1?1?n?3)

?P(第n?1个学期学习优秀第n个学期学习及格)?p32?P(?n?1?2?n?3)

21? 9045 ?P(第n?1个学期学习良好第n个学期学习及格)?p33?P(?n?1?3?n?3)

?P(第n?1个学期学习及格第n个学期学习及格)?147? 9045707? 909p34?P(?n?1?4?n?3)

?P(第n?1个学期学习不及格第n个学期学习及格)?42? 9045p41?P(?n?1?1?n?4)

?P(第n?1个学期学习优秀第n个学期学习不及格)?p42?P(?n?1?2?n?4)

0?0 10 ?P(第n?1个学期学习良好第n个学期学习不及格)?p43?P(?n?1?3?n?4)

?P(第n?1个学期学习及格第n个学期学习不及格)?1 107 10p44?P(?n?1?4?n?4)

?P(第n?1个学期学习不及格第n个学期学习不及格)?21? 105从而可得转移概率矩阵为

12?2?515?359?17770 P??pij????177??4545917??01010??0??1?70? 2??45?1??5?显然，转移概率矩阵

P?0

不成立，但很明显

P2?0

成立。所以，该系统为正则马氏链，具有遍历性。

若将上学期该系学生的学习成绩的分布情况视为学生学习成绩分布的初始状况，则得 (a1(0),a2(0),a3(0),a4(0))?(从而可得：

第一个学期期末该系学生的学习成绩的分布情况为

(a1(1),a2(1),a3(1),a4(1))?(a1(0),a2(0),a3(0),a4(0))P

307090103791,,,)?(,,,) 20020020020020202020 ???3?2072092012?2?515?359?11??7770??7720?1??4545917?0?1010??0??1?70? 2??45?1??5? ???4?25719200207?? 200? 将此结果与上学期该系学生的学习成绩的分布情况作比较可知，优秀生的比例提高了例提高了

431??，即一个百分点。良好生的比25201007171??，即0.5个百分点。而及格生的比例保持不变2002020099173??0。所关注的不及格生的比例下降了??，即1.5个202020200200百分点。

同理可以计算出，第二个学期期末该系学生的学习成绩的分布情况为

(a1(2),a2(2),a3(2),a4(2))?(a1(1),a2(1),a3(1),a4(1))P

12?2?515?359?17??7770??77200?1??4545917?0?1010??0??1?70? 2??45?1??5? ???4?2571920020结果与分析略。

用此方法可以求出，今后任意一个学期内该系学生的学习成绩的分布情况即为

(a1(k),a2(k),a3(k),a4(k))?(a1(0),a2(0),a3(0),a4(0))Pk

???3?2072092012?2?515?359?11??7770??7720?1??4545917??01010??0??1?70? 2??45?1??5?k 如果要分析离目前较远的学期内，该系学生的学习成绩的分布情况。可以用该马氏链的稳态分布情况，即为 W??p1p2使得 ?即为

?12?2??515?3?59?1??7770??(p1,p2,p3,p4)?177 ????45459?17?0??1010????p1?p2?p3?p4?1?0??1?70??(p,p,p,p)12342? ?45?1??5?p3p4?

?WP?W

?p1?p2?p3?p4?1由此方程组解出的解即为该系学生的学习成绩的分布的稳定的分布情况，是用它可以对该年级的学生毕业之前的情况作出预测和分析。

本文来源：https://www.bwwdw.com/article/m1s6.html