信息论第4版傅祖芸答案

解：从信息论的角度看，

第二章课后习题

【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？

1“12 枚硬币中，某一枚为假币”该事件发生的概率为 P???；

12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P???；

2

为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因

此有

1 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P???，因此天

3 平每一次消除的不确定性为 I?? log 3 比特

因此，必须称的次数为

I 1 I 2

-35log 3 ???????? 2.9 次 -30log 24 I?? log12?? log 2?? log 24 比特

因此，至少需称 3 次。

【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息

解：从信息论的角度看，

第二章课后习题

【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？

1“12 枚硬币中，某一枚为假币”该事件发生的概率为 P???；

12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P???；

2

为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因

此有

1 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P???，因此天

3 平每一次消除的不确定性为 I?? log 3 比特

因此，必须称的次数为

I 1 I 2

-35log 3 ???????? 2.9 次 -30log 24 I?? log12?? log 2?? log 24 比特

因此，至少需称 3 次。

【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

考试科目名称：信息论

一. 单选（每空2分，共20分）

1. 信道编码的目的是（ C ），加密编码的目的是（ D ）。

A．保证无失真传输

B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性

2. 下列各量不一定为正值的是（ D ）

A．信源熵 B．自信息量 C．信宿熵 D．互信息量

3. 下列各图所示信道是有噪无损信道的是（ B ）

A．

B．

第 1 页 共 11 页

C．

D．

4. 下表中符合等长编码的是（ A ）

第 2 页 共 11 页

5. 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确

的是（ A ）

A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X）

D．若X和Y相互独立，H（Y）=H（YX）

6. 一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，

1）中任取一个，这个n位的二进制数的自信息量为（ C ） A．2 B．1 bit C．n bit

nnD．

27. 已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比

特/符号；在字母发送概率不等时，其信源熵为H1

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

p(xi)?1 52!I(xi)??logp(xi)?log52!?225.581 bit

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500

光纤通信复习 基本概念 考试题型： 填空 30 判断 30 名词解释 4*5

计算 3道 20分

第一章

1、 自信息和互信息 P6 公式 2、 信道 P9 概念

第二章

1、 离散平稳信源 P18概念 2、 离散无记忆信源 P19概念 3、 时齐马尔可夫信源 P20概念 4、 自信息 P22概念 5、 信息熵 P25概念

6、 信息熵的基本性质 P28

1) 对称性 2) 确定性 3) 非负性 4) 扩展性 5) 可加性 6) 强可加性 7) 递增性 8) 极值性 9) 上凸性

7、 联合熵 条件熵 P42公式 P43例题 8、 马尔克夫信源 P54公式 P55例题 9、 信源剩余度 P58

10、 熵的相对率 信源剩余度 P58 11、 课后作业：2、 4、 13、 21、

22

第三章

1、 有记忆信道 P73概念 2、 二元对称信道 BSC P74 3、 前向概率、 后向概率、 先验概率、 后验概率 P76 4、 条件熵 信道疑义度、 平均互信息 P77

5、 平均互信息、联合熵、信道疑义度、噪声熵计算公式 6、 损失熵 噪声熵 P79

7、 平均互信息的特性 P8