信息论与编码第三版答案

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

实验4 Huffman编码对英文文本的压缩和解压缩

一、实验内容

根据信源压缩编码——Huffman编码的原理，制作对英文文本进行压缩和解压缩的软件。要求软件有简单的用户界面，软件能够对运行的状态生成报告，分别是：字符频率统计报告、编码报告、压缩程度信息报告、码表存储空间报告。 二、实验环境

1. 计算机

2. Windows 2000 或以上 3. Microsoft Office 2000 或以上 4. VC++ 6.0 三、实验目的

1. 掌握Huffman编码的原理

2. 掌握VC开发环境的使用（尤其是程序调试技巧） 3. 掌握C语言编程（尤其是位运算和文件的操作） 4. 掌握数据结构的内容：链表、顺序表、堆栈、最优二叉树 5. 掌握结构化程序分析和开发的软件工程原理 四、实验要求

1. 提前预习实验，认真阅读实验原理。

2. 认真高效的完成实验，实验过程中服从实验室管理人员以及实验指导老

师的管理。

3. 认真填写实验报告。 五、实验原理

压缩/解压缩流程

压缩流程：

读取扫描文本文件——〉统计字符频率——〉生成码字——〉保存压缩文件 解压缩流程：

读取扫描压缩文件——〉提取字符频率——〉生成码树——〉保存文本文件 六、参考书

1.

实验4 Huffman编码对英文文本的压缩和解压缩

一、实验内容

根据信源压缩编码——Huffman编码的原理，制作对英文文本进行压缩和解压缩的软件。要求软件有简单的用户界面，软件能够对运行的状态生成报告，分别是：字符频率统计报告、编码报告、压缩程度信息报告、码表存储空间报告。 二、实验环境

1. 计算机

2. Windows 2000 或以上 3. Microsoft Office 2000 或以上 4. VC++ 6.0 三、实验目的

1. 掌握Huffman编码的原理

2. 掌握VC开发环境的使用（尤其是程序调试技巧） 3. 掌握C语言编程（尤其是位运算和文件的操作） 4. 掌握数据结构的内容：链表、顺序表、堆栈、最优二叉树 5. 掌握结构化程序分析和开发的软件工程原理 四、实验要求

1. 提前预习实验，认真阅读实验原理。

2. 认真高效的完成实验，实验过程中服从实验室管理人员以及实验指导老

师的管理。

3. 认真填写实验报告。 五、实验原理

压缩/解压缩流程

压缩流程：

读取扫描文本文件——〉统计字符频率——〉生成码字——〉保存压缩文件 解压缩流程：

读取扫描压缩文件——〉提取字符频率——〉生成码树——〉保存文本文件 六、参考书

1.

实验二 离散信道及其容量

一、实验目的

1、 2、 3、

理解离散信道容量的内涵；

掌握求二元对称信道（BSC）互信息量和容量的设计方法； 掌握二元扩展信道的设计方法并会求其平均互信息量。

二、实验原理

若某信道输入的是N维序列x，其概率分布为q(x),输出是N维

序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为

C?maxI(X;Y)。

q(x)三、实验内容

1、给定BSC信道，信源概率空间为

X

P

=

０ １ 0.6 0.4

?0.990.01?信道矩阵 P??? 0.010.99??求该信道的I(X;Y)和容量，画出I(X;Y)和?、C和p的关系曲线。 2 、编写一M脚本文件t03.m，实现如下功能：

在任意输入一信道矩阵P后，能够判断是否离散对称信道，若是，求出信道容量C。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为

X

Px

=

０ １ ２ 0.3 0.5 0.2

P=

0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.

相信我，没错的！！！

第三章

?21??33??12???3.1 设二元对称信道的传递矩阵为?33?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x