信息论与编码第二章答案

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.5??p(sjsi)???0.5 0.5 0 0???0 0 0.2 0.8??

令各状态的稳态分布概率为w1、w2、w3、w4，利用（2-1-17）可得方程组。

?w1?w1p11?w2p21?w3p31?w4p41?0.8w1?0.5w3?w?wp?wp?wp?wp?0.2w?0.5w?211222233244213 ?w?wp?wp?wp?wp?0.5w?0.2w11322333344324?3??w4?w1p14?w2p24?w3p34?w4p44?0.5w2?0.8w4且w1?w2?w3?w4?1；

55??w?p(00)??114?14???w?1?p(01)?1?27?7

解方程组得：? 即：??w?1?p(10)?1?37?7??55?w4??p(11)??14?142-3、同时掷两个正常的骰子，也就是各面呈现的概率都是1，求：

6（1）、“3和5同时出现”事件的自信息量；

（2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为：p(x1)=111??2? 6618? ?I(x1)=-lb118bit4.1 7111?? 6636（2）两个1同时出现的概率为：p(x2)= ?I(x2)=-lb1?5.17bit 36（3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，?H(X)??15?1111lb?6?lb?4.337bit事件 18183636（4）两个点数之和概率分布为：

43x2

p136236336125463636i7636853694361031112521

363636信息为熵为：H???p(x)1bp(x)?3.27bit

ii?2（5）两个点数之中至少有一个是1的概率为：p(x3)? ?I(x3)=-lb11 3611?1.17bit 362-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100

个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：（1）设取出的红色球为x1，白色球为x2；有p(x1)?则有：H(X)??(lb11，p(x2)? 2212111?lb)=1bit/事件 222 (2) p(x1)?0.99,p(x2)?0.01;

则有：H(X)??(0.99lb0.99?0.01lb0.01)=0.081（bit/事件）

(1)?px()2px?()3px?() (3)设取出红、黄、蓝、白球各为x1、x2、x3、x4，有px则有：H(X)??4(lb)?2bit/事件

4?1 41414

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？

解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，

p (B|A)=3/4，则 P(A|B)=

p(AB)p(A)P(B|A)0.25?0.753? ?=

0.58p(B)P(B) I（A|B）＝log（1/p(A/B)）=1.42bit

2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？

解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为p(x?3)?则

1，18I(x?3)??lbp(x?3)??lb1?4.17bit 18（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为

p(x?7)?11，则有 I(x?7)??lb?2.585bit 662-7、设有一离散无记忆信源，其概率空间为?（1）、求每个符号的自信息量；

（2）、信源发出一消息符号序列为

?X??x1?0x2?1x3?3x4?3????38? P141418?????202120130213001203210110321010021032011223210?，求该消息序列的自信息量及平均每个符号携带的信息量。

3?1.415bit 81 x2的自信息量为：I(x2)=-lb?2bit

41 x3的自信息量为：I(x3)=-lb?2bit

41 x4的自信息量为：I(x4)=-lb?3bit

8解：（1）x1的自信息量为：I(x1)=-lb（2）在该消息符号序列中，x1出现14次，x2出现13次，x3出现12，x4出现6次，所以，该消息序列的自信息量为：

I（xi）=14 I（x1）+13 I（x2）+12 I（x3）+6 I（x4）

?19.81bit?26bit?24bit?18bit?87.81bit平均每个符号携带的信息量为：

I2?87.81/45?1.95???比特/符号H(X)?p(x1)logp(x1)?p(x2)logp(x2)?p(x3)logp(x3)?p(x4)logp(x4)

3111?1.415??2??2??3 8448

?1.90b6it?

2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？

解;设二进制、四进制、八进制脉冲的信息量为

I2(X)??lb111?1bit I4(X)?lb?2bit I8(X)?lb?3bit 248所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求： （1）一次实验中包含的不确定度；

（2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度； （3）第一次实验X摸出是白球，第二次实验Y给出的不确定度； （4）第二次实验包含的不确定度。

解：（1）一次实验的结果可能摸到的是黑球x1或白球x2，它们的概率分别是p(x1)?1，3p(x2)?2。所以一次实验的不确定度为 312112)?(log? H(X)?H(,?333332log?)30.?528?0.39b0it0.918

(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球x1或白球x2，它们的

概率分别是 p(y1x1)?25、p(y2x1)?。 77所以该事件的不确定度为

H(Yx1)???p(yix1)lopgyix(1??)i27(25l?og775 log7) ?0.516?0.347?0.863bit/符号

(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球y1或白球y2，它们的概率分别是 p(y1x2)?59、p(y2x2)?。 1414所以该事件的不确定度为

5599H(Yx2)???p(yix2)logp(yix2)??(log?log)

14141414i （4）

?0.530?0.410?0.940bit/符号

2H(Y|X)???p(xi)H(Y|xi)=p(x1)H(Yx1)?p(x2)H(Yx2) =0.91bit/符号i?0二次实验B出现结果的概率分布是p(x,y)=p(黑，黑)= p(x,y)=p(白，黑)=

25，p(x,y)=p(黑，白)= ，212159，p(x,y)=p(白，白)= 2121所以二次实验的不确定度为 H(B)= ?22555599?log?log =0.91bit/符号 ?loglog

2121212121212121

2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 （1）若仅对颜色感兴趣，则计算平均不确定度；

（2）若对颜色和数字都感兴趣，则计算平均不确定度； （3）如果颜色已知时，则计算条件熵。

解：令X表示指针指向某一数字，则X={1,2,……….,38}

Y表示指针指向某一种颜色，则Y={绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）仅对颜色感兴趣，则 H(c)=—

221818log—2??log =0.2236+1.0213 =1.245bit 3232323211?1.5798)log =- =5.249bit

0.30103838(2)对颜色和数字都感兴趣，则

H(n,c)=H(n)=38?(-

(3)如果颜色已知时，则

H（n|c）=H(n,c)-H(h)=5.249-1.245=4.004bit

2-12、两个实验X和Y，X?{x1,x2,x3}，Y?{y1,y2,y3}，联合概率r(xi,yj)?rij为

?r11?r?21??r31r12r22r32r13??7/241/240??1/241/41/24? r23?????r33?1/247/24????0?（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？

（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？

（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：（1）、H(X,Y)????p(x,yii?1j?133j)logp(xi,yj)

771111log?4?log?log?2.3bit/符号 24242424441()py()2py?()3?（2）、?py 1?3??2?11111H(Y)???p(yi)logp(yi)?H(,,)??3?log?1.58bit/符号

33333i?1（3）、HX(Y|)HXY?(,)HY()?32.581./7t20b.i?3??符号

H(XY)???p(xi,yj)logp(xiyj)

ij???p(xi,yj)logijp(xi,yj)p(yj)114) 37171124log?4?log24?log ??(2?112424433?0.112?0.5?0.104?0.716bit2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。 并定义另一随机变量Z=XY（一

般乘积）。

试计算：

（1） H(X)，H(Y)，H(Z)，H(X,Z)，H(Y,Z)，H(X,Y,Z)

（2） H(XY)，H(YX)，H(XZ)，H(ZX)，H(YZ)，H(ZY)，

H(XY,Z)，H(YX,Z)，H(ZX,Y)

（3） I(X;Y)，I(X;Z)，I(Y;Z)，I(X;YZ)，I(Y;ZX)，I(X;ZY)

解：（1）1）p(x1)=p(x1y1)+p(x1y2)=131?? 882311 p(x2)=p(x2y1)+p(x2y2)=??

882 H(X)??(?pxii)lopgxi(?bit)1symbol/

p(y1)=p(x1y1)+p(x2y1)=131?? 882311p(y2)=p(x1y2)+p(x2y2)=??

882H(Y)???p(yj)logp(yj)?1bit/symbol

j

?z?0z2?1??Z??1??71?? ?P(Z)????8??8?7711H(Z)???p(Zk)??(log?log)?0.544bit/symbol

8888k2p(x1)?p(x1z1)?p(x1z2) p(xp(1x?)1z1)? 5 p(x1z2)?0 0.?p(z1)?p(x1z1)?p(x2z1) p(x2z1)?p(z)1?p(xz1)173?0.5? 88p(z2)?p(x1z2)?p(x2z2) p(x2z2)?p(z2)?

1 8H(XZ)????p(xizk)logp(xizk)ik131113311?H(,0,,)??(log?log?log)?1.406bit/symbol288228888同理：

113311H(YZ)????p(yjzk)logp(yjzk)??(log?log?log)?1.406bit/symbol

228888jkPxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8

Pxyz(110)=Pxyz(001)=Pxyz(101)=Pxyz(011)=0

1331H(XYZ)?????p(xiyjzk)log2p(xiyjzk)?H(,,,)8888ijk11333311??(log?log?log?log)?1.811bit/symbol88888888

（2）H(X,Y)??2?(log18133?log)?1.81bit 888由于H(X,Y)?H(X)?H(YX)?H(Y)?H(XY)所以：

H(XY)?H(X,Y)?H(Y)；H(YX)?H(X,Y)?H(X)则， H(XY)?1.81?1?0.81bit H(YX)?1.81?1?0.81bit

H(XZ)?H(X,Z)?H(Z)?1.41?0.54?0.87bit H(ZX)?H(X,Z)?H(X)?1.41?1?0.41bit H(YZ)?H(Y,Z)?H(Z)?1.41?0.54?0.87bit H(ZY)?H(Y,Z)?H(Y) ?1.41?1?0.41bit

H(XY,Z)?H(X,Y,Z)?H(Y,Z)?1.81?1.41?0.4bit H(YX,Z)?H(X,Y,Z)?H(X,Z)?1.81?1.41?0.4bit H(ZX,Y)?H(X,Y,Z)?H(X,Y)?1.81?1.81?0bit

Pxz=Px*Pz|x=Pz*Px|z

（3）I(X;Y)?H(X)?H(XY)?1?0.81?0.19bit I(X;Z)?H(X?)H(XZ?)?10.?87 b0.1i3tI(Y;Z)?H(Y)?H(YZ)?1?0.87?0.13bit

由于I(X;Y,Z)?I(X;Z)?I(X;YZ)则

I(X;YZ)?I(X;Y,Z)?I(X;Z)?H(X)?H(XY,Z)???H(X)?H(XZ)??

?H(XZ)?H(XY,Z)?0.87?0.4?0.47bit

同理有： I(Y;ZX)?H(YX)?H(YX,Z)?0.81?0.4?0.41bit

I(X;ZY)?H(XY?)H(XY,?Z)0.?81?0.4 0.b4i1t2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)

0.70.3黑0.3白0.71010?0.7log2?0.8813bit/符号 37P(白|白)＝P(白)

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）

H?(X)?H(X2|X1)??p(xi,yj)log2ij1p(xi,yj)?0.9143?0.7log2?0.8?0.3log210.8111?0.0857?0.7log2?0.2?0.3log2

0.91430.08570.2＝0.512bit/符号

2.20 给定语音信号样值X的概率密度为p(x)?小于同样方差的正态变量的连续熵。

解：

1??x?e,???x???,求Hc(X)，并证明它21??xHc(X)???px(x)logpx(x)dx???px(x)log?edx2????111??x???px(x)log?dx??px(x)(??x)logedx??log?loge??e(?x)dx222??????11??log??loge??e?x??(?x)dx?log22????0?????????????01??x?e(?x)dx211112e??x?????log??2loge??2xe??xdx??log??loge?(1??x)e??log??loge?log??02222?0E(X)?0,D(X)?2?2

1214?e2?e2e?eH(X,)?log2?e2?log2?log?log?H(X)

2?2???

2-23 连续随机变量X和Y的联合概率密度为

p(x,y)?12?SNexp{?12N[x(1?)?2xy?y2]}2NS

求Hc(X),Hc(Y),Hc(YX),I(X;Y)

12N{?[x(1?)?2xy?y2]}1S解：PX(x)??p(x,y)dy??e2Ndy

2?SN??????? ????12?S2?Ne{?1N[(x?y)2?x2]}2NS11?x2?[(x?y)2]112S2Ndy?eedy ?2?S2?N???1?x212S ? e2?S12N{?[x(1?)?2xy?y2]}1SPe2Ndx Y(y)??p(x,y)dx??????2?SN?{?[(x?y)S?N2NSS?Ne2?(S?N)2?SN12??S?NS2?????SN(S?N)2y2]}dxdx

?y12(S?N) ?e2?(S?N)?y12(S?N)?e2?(S?N)1???2?S?N?e2?SNS?NS[(x?y)2]2SNS?N1?x212S随机变量X的概率密度分布为PX(x)?，呈标准正态分布。其中数学期望为0，e2?S?y12(S?N)e，也呈标准正态

2?(S?N)12?方差为S；随机变量Y的概率密度分布为PY(y)

分布。其中数学期望为0，方差为（S+N）。

??Hc(X)???PX(x)logPX(x)dx???????11?x2?x211e2Sloge2Sdx 2?S2?S1?x2111??Ex(loge2S)?log2?S?loge?Ex(x2)22S2?S

1S1?log2?S?loge??log2?eS22S2???y?y112(S?N)2(S?N)elogedy

2?(S?N)2?(S?N)1212Hc(Y)???PY(y)logPY(Y)dy???????

本文来源：https://www.bwwdw.com/article/ngy3.html