随机过程_C4马尔可夫链

练习四马尔可夫链随机过程练习题

1.设质点在区间4]的整数点作随机游动，到达点或4点后以概率1停留在原处，在其它整数点分别以概率向左、右移动一格或停留在原处求质点随机游动的一步和二步转移的概率矩阵

2.独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为，对于求，令=0,1,2或3,这些值分别对应于第次和第次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）求马尔可夫链的一步和二步转移的概率矩阵

3.设为马尔可夫链，试证…，X〃+机=|X=/X]=，”・・・，=in=P{X用n+m2P[X=i^X=i0[{・Xn—X〃+〃，,••，X〃+,n—^n-\-m9+X1〃+2—+2i=P{X=io,X]=i”…，X=i|X-=八}.P[X〃+2=i，…，X―=X〃+]n n n+2—+1}

4.设为有限齐次马尔可夫链，其初始分布和转移概率矩阵为，，试证P[X=4|X04}P{X2=4|1X4}W

215.设为随机过程，且，为独立同分布随机变量序列，令，试证是马尔可夫链

6.已知随机游动的转移概率矩阵为，求三步转移概率矩阵及当初始分布为时经三步转移后处于状态3的概率

7.已知本月销售状态的初始分布和转移概率矩阵如下

（1）,;）（2,；求下

一、二个月的销售状态分布

123456789111128.某商品六年共24个季度销售记录如表（状态1畅销，状态2滞销）季节销售状态222221111I11季节131415161718192021222324销售状态112211212111以频率估计概率求

（1）销售状态的初始分布；

（2）三步转移概率矩阵及三步转移后的销售状态分布

10.讨论下列转移概率矩阵的马尔可夫链的状态分类

10.

20.

30.

500010、

0.

70.30001000101000；2P

0.700=

0000.

40.

60.

30.

20.20001,

0.63,其中,

12.设马尔可夫链的状态空间,转移概率矩阵为‘

0.

4020.

100.

10.

10.P

0.

10.

30.

20.

20.

10.

10.

1000.

60.

4000000.

400.

600000.

20.

50.

300000000.

30.

7、

000000.

80.2,

11.设马尔可夫链的转移概率矩阵为

（1）；

（2）；计算，求状态的分类及各常返闭集的平稳分布

13.设马尔可夫链的转移概率矩阵为，求它的平稳分布

14.艾伦菲斯特（E renfest）链设甲乙两个容器共有个球，每隔单位时间从这个球中任取一球放入另一容器中，记为在时刻甲容器中球的个数，则是齐次马尔可夫链,称为艾伦菲斯特链，求该链的平稳分布

15.将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以表示经过次交换后甲盒中红球数，则为一齐次马尔可夫链，

（1）求一步转移概率矩阵；

（2）证明是遍历链；

（3）求

16.设为非周期不可约马尔可夫链，状态空间为，若对一切，其一步转移概率矩阵满足条件，试证

（1）对一切，；

（2）若状态空间，计算各状态的平均返回时间

17.设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为若BOD浓度为高，则称河流处于污染状态

（1）证明该链是遍历链；

（2）求该链的平稳分布；

（3）河流再次达到污染的平均时间

1.解质点随机游动的一步转移的概率矩阵为0001/31/31/300P=01/31/31/30001/31/31/300001质点随机游动的二步转移的概率矩阵为io o oo4/9/2/92/91/90尸⑵=产=1/92/93/92/91/901/92/92/94/

9000012.解马尔可的一步转移的概率矩阵为夫链P0马尔可夫链｛X,,〃=0,1,2,…｝的一步和二步转移的概率矩阵为pq pqpqPp⑵=p2=Qpq pqpqpq

3.证・・・〃

（1）”向〃+l，X〃+〃，•••，X〃ixo=hx=%,,x r}+22—+〃-^n+m二P{X°j,X|…,X〃=i〃,X向P我…P P-mPio MP5+1…=p..…p.P,0PM…Pi,小lnln+\ln+m-\ln+niP{Xo=QX=3・・・,X〃=i〃}PX〃=i,Xm...Y-in77+1n-\-mP{X〃=i〃}X

7...V-j=P{X〃+i=八〃〃〃，+l9+2+29+2P{X°=，°,XI=z；,・・.,X〃=/X〃+n-\-\〃—+l}2二P{XY，…,X〃=i〃,X向乂…〃，，…X+2=♦…P{XLJP{X°=io,…,X〃M=%}P{X〃+〃，,・.，X〃+m—，〃+旭I X—，•••,，,用2—‘+2P{X〃+i=A}=P{X0=・・,X〃=i〃|X向〃+加〃，，J.—+2,••X

4.证:P{X0=1,X1=2«2=4}+P{X0=1,X]=3,X2=4,}P{Xo=l,X]=2}+P{X°=l,Xi=3}111113_________________X XI XX——P P4444485Pl Pl224+Pl Pl334111116P02+P1P13—x——F—x—4444P{Xz=4]X]4}P[X=4|1X]4}=2P{\X4}}P{X=2,X=4}+P{X]=3,Xz=4}i2P{%=2}+尸{屈=3}》》P2PiPi2+P3PiPi3P{X1=2}〃+P{X]=3}〃2434i=lP{X]=2}+P{X]=3}£夕（,）i=l02+3173t-x—+-xlE E48819P24Pi2+P34Pi3Z1+=6048（，）Z P2+Pi

35.解由题意知是的函数，由于是相互独立的随机变量，故对，与独立…片=以,,%=，；P{%=,川I・・・=P{Y+CY=|兄=0片=%,・・・,工n+[n=P{X向=小+|X=0片=z；,・・・,匕=}由,的任意性知为马尔可夫链解:

6.

7.解:

8.解:

9.解:,01001/201/2001/201/20010=P{X用=}=P{X=，向+C〃|Y=zj=P{Y=2nn+i4000000001/201/201/301/301/30001两个闭集

10.解1,两个遍历状态闭集遍历闭集，非常返态23,是吸收态闭集，是非常返集

11.解

112.解:，非常返集，，是正常返闭集由转移矩阵

0.

60.

40、

0.

400.

6、

0.

20.

50.3解得G的平稳分布为｛,0,3,工，色0,0｝；232323同理，的平稳分布为

13.解,

14.解的转移概率为9999其平稳分布｛巴,j=0,L・・・,2N｝满足方程组1——兀\J+1+71--2N-J+1M7+12N2N2N1兀2N解此方程组得巧=C20由条件工丐=1得2N；\=%£C N=22”J=o_0—2N兀o—2故的平稳分布为，

15.解:11/32/302/95/92/902/31/32由于是有限的,中所有状态是互通的，且状态0是非周期的,为遍历链

（3）由平稳分布满足的方程组12252巧=耳万°+§巧+§乃22171+7T]+71=1Q解方程组得，，’

16.解

（1）用归纳法设当时，对一切，都有，则I Z（S（Z醴））Pkj=£p kjP X=±Pkj=iiel ielkel kslkelz

（2）由条件知为非周期不可分马尔可夫链，且状态空间有限，故为遍历链，因此，所以

17.解

（2）,,,;

（3）4=

8.8（天）。