信息理论与编码张可参考答案

2002 Copyright EE Lab508

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(36

1)2(17.418log log )(362)1(36662221111

61

6==-=∴=

=

==-=∴===?==样本空间：

(3)信源空间：

bit x H 32.436log 36

162

36log

36

215)(=??

+??

=∴

bit

x H 71.36

36log

36

65

36log

36

10

436log

368336log

366236log 36436log 36

2)(=??+

?+?+??=

∴＋＋

(5) bit P a I N

n P 17.111

36log

log )(36

11333==-=∴=

=

2002 Copyright EE Lab508

?H.F.

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分

信息理论与编码期末考试资料

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“ ——— ”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求：

1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录； 4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社， 2003 [5] [ 美 ]Edward B. Magrab 等著，高会生等译，

第一部分 试题库与参考答案

一、判断题

1、《特种设备安全监察条例》从2003年3月11日公布，自2003年6月1日起施行。（ √ ）

2、场（厂）内机动车辆等特种设备的作业人员及其相关管理人员统称特种设备作业人员。（ √ ）

3、场（厂）内机动车辆作业人员应当严格执行场（厂）内机动车辆的安全操作规程和有关的安全规章制度。（√ ）

4、厂内机动车辆登记证书、号牌、操作上岗证的式样由国务院质量技术监督局规定并监制（ √ ）

5、申请厂内机动车辆登记，申请人应当向所在地质量技术监督部门提出申请（ √ ）

6、申请厂内机动车辆操作上岗证，应当符合国家质量技术监督部门规定的驾驶许可条件，通过培训并经考核合格后，由质量技术监督部门发给厂内机动车辆操作上岗证（ √ ）

7、厂内机动车辆所有权发生转移的，不需要办理相应的登记（ × ）

8、已注册登记的厂内机动车辆使用性质的变更，不需要办理登记（ × ） 9、任何单位或个人不得拼装厂内机动车辆，但可以改变机动车已登记的结构，构造或者特证（ × ）

10、厂内机动车辆，安全技术监督机构应当按照国家机动车安全技术检验标准对厂内机动车进行定期检验，对其作出的检验结果、鉴定结论承担法律责任（ √ ）