信息理论与编码基础课后答案

信息理论与编码期末考试资料

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“ ——— ”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

信息理论与编码基础复习题

1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。

2.当一个信源中所有的符号消息为等概时，该信源的熵最大。

3.即时码一定是单义可译码。

4.不使用间隔即可区分码字，就必然要求码字具有惟一性。 5.噪声熵为0的信道称为确定信道。

#000000#999933#99CC00#993333 6.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。 7.当两个集合相互独立时，它们的共熵最大。 8.等长码都是即时码。

9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没有关联性，各个符号的出现概率统计独立。

10.定长非奇异码肯定是惟一可译码。

11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。

12.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。

1

13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。

14.译码时不需要考察后续码元，称之为即时码。 15.在即时码中，任何一个码字都不是其他码字的延长。 16.通信系统的任务是将

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

习题1

1-1 有一动圈传声器的振膜可当作质点振动系统来对待,其固有频率为f，质量为m，求它的弹性系数。

解：由公式fo?12?Km得： MmKm?(2?f)2m

1-2 设有一质量Mm用长为l的细绳铅直悬挂着，绳子一端固定构成一单摆，如图所示，假设绳子的质量和弹性均可忽略。试问：

（1） 当这一质点被拉离平衡位置?时，它所受到的恢复平衡的力由何产生？并应怎样表示？ （2） 当外力去掉后，质点Mm在此力作用下在平衡位置附近产生振动，它的振动频率应如何表示？ （答：f0?12?g，g为重力加速度） l

图 习题1－2

解：（1）如右图所示，对Mm作受力分析：它受重力Mmg，方向竖直向下；受沿绳方向的拉力T，这两

力的合力F就是小球摆动时的恢复力，方向沿小球摆动轨迹的切线方向。 设绳子摆动后与竖直方向夹角为?，则sin??受力分析可得：F?Mmgsin??Mmg?l

?l

（2）外力去掉后(上述拉力去掉后)，小球在F作用下在平衡位置附近产生摆动，加速度的方向与位

d2?移的方向相反。由牛顿定律可知：F??Mm2

dtd2??d2?g则 ?Mm2?Mmg 即 2???0,

dtldtl2 ? ?0?g1 即

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译

实验一：绘制二进熵函数曲线

一、实验目的

1.熟悉 Matlab 工作环境及工具箱； 2.掌握 Matlab 绘图函数；

3.理解熵函数表达式及其性质。

二、实验内容

【实验内容与要求】

内容：用 Matlab 软件绘制二进熵函数曲线。 要求： 1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；

2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师管理； 3. 独立完成实验，认真做好实验记录；

4. 实验结束后，认真填写实验报告。

【知识要点】

1 信源熵的概念及其性质。参照教材及参考书。 2 二进熵公式：

3 参考文献：

[1] 吕锋等编著，信息理论与编码，北京：人民邮电出版社， 2004

[2] 傅祖芸编著，信息论——基础理论与应用，北京：电子工业出版社， 2001 [3] 仇佩亮编著，信息论与编码，北京：高等教育出版社， 2003

[4] [ 美 ] Thomas M.Cover ， Elements of Information Theory ，北京：清华大学出版社，

2003

[5] [ 美 ]Edward B. Magrab 等著，高会生等译