信息理论与编码答案

信息理论与编码期末考试资料

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“ ——— ”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求：

1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录； 4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社， 2003 [5] [ 美 ]Edward B. Magrab 等著，高会生等译，

武汉大学 电子信息学院 信号处理实验室 杨文老师 《信息论与编码理论》课件

信息论与编码理论

杨文通信工程系

武汉大学 电子信息学院 信号处理实验室 杨文老师 《信息论与编码理论》课件

第三章信道容量第三章信道容量

内容提要内容提要信道对于信息率的容纳并不是无限制的信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量究在信道中传输的每个符号所携带的信息量，并定义信道容量。,并定义信道容量。2006-10-18 2

武汉大学 电子信息学院 信号处理实验室 杨文老师 《信息论与编码理论》课件

3信道容量第三章信道容量

信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。

3.1信道的数学模型和分类 3.2单符号离散信道

二章-信息量和熵习题解

2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号

32315所以，信息速率为0.9183??3.444比特/秒

4解: 平均每个符号长为:

2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；

所以，信息速率为6?1000?6000比特/秒

2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。

试问各得到了多少信息量?

6 366 所以，得到的信息量为 log2( 比特 )?2.585361 (b) 一对骰子总点数为12的概率是

361 所以，得到的信息量为 log2?5.17 比特

36 解: (a)一对骰子总点数为7的概率是

2.4 经过充分洗牌后