信息论基础与编码第五章答案

5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码C1、C2、C3、C4、C5和C6。

（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；

（3） 对所有唯一可译码求出其平均码长。

消息 概率C1 000 001 010 011 100 101 C2 0 01 011 0111 01111 C3 0 10 110 1110 11110 C4 0 10 1101 1100 1001 C5 1 000 001 010 110 110 C6 01 001 100 101 110 111 a1 a2 a3 a4 a5 a6 1/2 1/4 1/16 1/16 1/16 1/16 011111 111110 1111 解：（1）1,2,3,6是唯一可译码； (2)1,3,6是即时码。

5-2证明若存在一个码长为l1,l2,???,lq的唯一可译码，则一定存在具有相同码长的即时码。

证明：由定理可知若存在一个码长为L1,L2,?,Lq的唯一可译码，则必定满足kraft不等式

?ri?1q?li?1。由定理4?4可知若码长满足kraft不等式，则一定存在这样码长的即时码。

所以若存在码长L1,L2,?

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

信息论与编码

曹雪虹，张宗橙编北京邮电大学出版社

北京工商大学信息工程学院

2013年7月29日1时24分

参考教材

1姜丹，“信息论与编码”,中国科大出版社

2 邓家先，“信息论与编码”,西安电子科技 大学出版社3 吴伟陵，“信息处理与编码”,人民邮电出 版社北京工商大学信息工程学院 信息论与编码 2

2013年7月29日1时24分

考核方式

1 平时( 30%):作业、实验情况、实验报 告、出勤、期中考试等。 2 期末成绩 70%

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

其它有关事项

讲课:(概念、方法) 实验:(4个) 自学:(数学推导、定理证明) 考试：基本概念，基本计算。 答疑：两周一次，商定时间联系方式： 廉小亲：email:lianxq@北京工商大学信息工程学院 信息论与编码 4

2013年7月29日1时24分

目录

第一章 第二章 第三章 第四章 第五章 第六章

绪论 信源和信息熵 无失真信源编码 限失真信源编码 信道编码 密码学

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

第1章 绪论

1.1 信息论的形成和发展

1.2 通信系统的模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息