信息编码习题答案或提示

第二章部分习题

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?

答：2倍，3倍。

2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) log252! (2) 任取13张，各点数不同的概率为

13!，信息量：9.4793(比特/符号) 13C522.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘

米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)，

13?p(AC)p(A)p(C|A)443p(A|C)????

1p(C)p(C)82

2.4 设离散无忆信源

?X??a1?0????PX?????3/8a2?1a3?2a?34??，其发出的消息为1/41/4?1/8(2021201302130012032101103223210)21010，求0

(1) 此消息的自信息量是多少？

(2) 在此消息中平均每个符号携带的信息量是多少？

解：(1)87.81比特，

(2)1.951比特。

提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。

2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为

0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？

(1) 男性回答是的信息量为?log20.07?3.8369比特，回答否的信息量是0.1047

1

比特，平均每个回答含的信息量(即熵)是0.36596比特。 (2) 0.045425比特

2.6 设信源?a2a3a4a5a6??X??a1??，求这信源的熵，并解释为什??PX?????0.20.190.180.170.160.17?么H?X??log6不满足信源熵的极值性。 提示：信源的概率之和大于1。

2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息量；

(2) “两个1同时出现”这事件的自信息量；

(3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即2,3?12构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为??2=1/18

(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36 (3) “两个点数相同”的概率:1/36,共有6种情况;

“两个点数不同”的概率:1/18,共有15中情况.故平均信息量为: 61536log236?18log218?4.337比特/符号 (4) 3.274(比特/符号)。提示：信源模型 ?1??236161631184112519653671685369101112?? 11119121836?1616116611 36(5) 1.711(比特/符号)。提示：至少有一个1出现的概率为????

2.8 证明H?X1X2?Xn??H?X1??H?X2????H?Xn?

提示：见教材式(2.1.26)和(2.1.28)

2.9 证明H?X3X1X2??H?X3X1?，并说明等式成立的条件。

提示：见教材第38页

2

2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷

暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：设X、Y、Z分别表示{忙 闲}、{晴 雨}和{冷 暖}，

?X??忙闲?(1) 先求忙闲的概率分布?无条件熵H(X)?0.964(比特???6340?，P(X)?????103103?/符号)

?晴冷晴暖雨暖雨冷??YZ???，H(XYZ)?0.859(比特/符号) (2) ??20232832???P(YZ)???103103103103?(3) I(X;YZ)=0.105比特/符号

2.11 有两个二元随机变量X和Y，它们的联合概率为

Y 0 1 X 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量Z?XY(一般乘积)。试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)； (2) H(XY),H(YX),H(XZ),H(ZX),H(YZ),H(ZY),H?YXZ?和H?ZXY?；

3

H(XYZ),

(3) I?X;Y?,I?X;Z?,I?Y;Z?,I?X;YZ?,I?Y;Z解：提示：XYZ的联合概率分布

X?和I?X;ZY?。

?XYZ??000001010011100101110111??P(XYZ)???1/803/803/80? 01/8???? XZ的联合概率分布? YZ的联合概率分布??XZ??00011011? ?????P(XZ)??1/203/81/8??YZ??00011011????1/203/81/8? P(YZ)????1?1? 8???Z??0Z的概率分布???7??P(Z)???8 (1) 1比特/符号，1比特/符号，0.543比特/符号，1.406比特/符号，1.406

比特/符号，1.811比特/符号

(2) 0.811比特/符号，0.811比特/符号，0.863比特/符号，0.406比特/符号，

0.863比特/符号，0.406比特/符号，0.405比特/符号 (3) 0.189比特/符号，0.137比特/符号，0.137比特/符号，0.458比特/符号，

0.406比特/符号，0.406比特/符号 2.12 略

2.13 设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过

什么符号，均按p?0??0.4,p?1??0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？

limH?X?； (2) 试计算H?X2?,H?X3X1X2?及N??(3) 试计算H?X4?并写出X4信源中可能有的所有符号。

解：(1) 是

(2) 信源熵0.971比特/信源符号，H(X2)?1.942比特/信源符号，由题设知

道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。 (3)H(X4)?4?0.971?3.884比特/信源符号，

X4信源中可能的符号共16个。

2.14 设X?X1,X2,?,XN是平稳离散有记忆信源，试证明：

H?X1X2?XN??H(X1)?H?X2X1??H?X3X2X1????H?XNX1X2?XN?1?。 提示：见教材第44页

4

2.15 略

2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源X的符号集为{0,1,2}。

(1) 求平稳后信源的概率分布； (2) 求信源的熵H?。

题2.16图

?p?解：(1)由图得一步转移概率矩阵P??p?0?p(e1)?p(e2)?p(e3)?p?1 30ppp??0?，状态极限概率p??(2)H??H1?1?H(p)

2.17 黑白气象传真图的消息只有黑色和白色两种，即信源X?{黑，白}。设黑色

出现的概率为p(黑)=0.3，白色的出现概率p(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H?X?； (2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白

/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；

(3) 分别求上述两种信源的剩余度，比较H?X?和H2(X)的大小，并说明其

物理意义。

解：(1) 0.881比特/信源符号;

(2) H2(X)????p(aibj)log2p(aibj)=0.5533比特/符号;

j?1i?122(3) 11.9%，44.67%

5

本文来源：https://www.bwwdw.com/article/juit.html