信息论与编码考试题带答案

____________号学______ __题___答_名不姓_内___线___封____密_级班____________名系

成都信息工程学院考试试卷

2008——2009学年 第一学期

课程名称：信息论与编码 使用班级：电子工程系05级信处1-4班

试卷形式：开卷□闭卷□

试题 一 二 三 四 五 六 七 八 总分 得分

常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为??X??xx2x3x4?P????10.1250.125，则其无记忆??0.50.25??二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

?P(y1/x1)P(y2/x1)0000?2、信道转移矩阵为??00P(y3/x2)P(y?4/x2)00?，其中P(yj/xi)??0000P(y5/x3)P(y6/x3)??两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：

____________号学______ __题___答_名不姓_内___线___封____密_级班____________名系

成都信息工程学院考试试卷

2008——2009学年 第一学期

课程名称：信息论与编码 使用班级：电子工程系05级信处1-4班

试卷形式：开卷□闭卷□

试题 一 二 三 四 五 六 七 八 总分 得分

常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为??X??xx2x3x4?P????10.1250.125，则其无记忆??0.50.25??二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

?P(y1/x1)P(y2/x1)0000?2、信道转移矩阵为??00P(y3/x2)P(y?4/x2)00?，其中P(yj/xi)??0000P(y5/x3)P(y6/x3)??两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：

第二章习题：

补充题：掷色子，（1）若各面出现概率相同

（2）若各面出现概率与点数成正比

试求该信源的数学模型 解： （1）根据

?p(a)?1，且p(a)?i16?p(a6)，得

i?1p(a1)?1?p(a6)?，所以信源概率空间为

6?1P??1???662163164165166? 1??6??p(a6)?6k，得k? （2）根据

?p(ai)?1，且p(a1)?k,p(a2)?2k,i?11。 21?1P??1???2122213321442155216? 6??21??2-2 由符号集?0,1?组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态

概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(

（一）

一、判断题.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）

3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.

8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10.必然事件和不可能事件的自信息量都是0.

编码答案

（一）

7、某二元信源

一、判断题共 10 小题，满分 20 分.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基

1 X 0

P(X) 1/21/2 ，其失真矩阵

0a

，则该信源的Dmax= D a0

三、本题共 4 小题，满分 50 分.

1、某信源发送端有2种符号xi(i 1,2),p(x1) a；接收端

底或生成矩阵有可能生成同一码集. 符 号 y ( j 1 ,2 ) ， 转 移 概 率 矩 阵 为 有3 种,3（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通

信

（ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ）

7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

信息论与编码考试试卷

2012——2013学年 第一学期

课程名称：信息论与编码

试卷形式：开卷□闭卷□

试题 得分 一 二 三 四 五 六 七 八 总分 常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

x2x3x4??X??x1、有一离散无记忆信源X，其概率空间为????1，??P??0.50.250.1250.125?则其无记忆二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

0000??P(y1/x1)P(y2/x1)?，00P(y/x)P(y/x)002、信道转移矩阵为?3242???000P(y5/x3)P(y6/x3)??0?其中P(yj/xi)两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（ ） A、互信息量一定不大于C

B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C

4、在串联系统中，有效信息量的值（ ） A、趋于变大

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500

RT

信息论与编码考试复习大纲

第一章

1. 通信系统的物理模型。

2. 根据信息论的各种编码定理和通信系统指标，编码问题可分解为3类，分别是：信源编码，信道编码，和加密编码。 3. 简述信息的四个主要特征。

4. 简述一个通信系统包括的各主要功能模块及其作用。 第二章

1. 信源的分类：无记忆信源（单个符号的无记忆信源和符号序列的无记忆信源）和有记忆信源（符号序列的有记忆信源和符号序列的马尔科夫信源）。 2. 自信息量的计算公式，注意单位。

3. 离散信源熵计算公式，例2-5；特别是联合熵和条件熵和下面的互信量的计算。 4. 互信息的计算三种表达式，以及与概率分布和条件概率之间的关系。 5. 疑义度和噪声熵的概念。

6. 熵的性质：非负性，对称性，确定性，香农辅助定理，最大熵定理。

7. 离散无记忆信源的序列熵：当信源无记忆且满足平稳性时，平均每个符号熵为？

8. 连续信源的最大熵定理：限峰功率最大熵定理（满足？分布，分布函数是？）和限平均功率最大熵定理（满足？分布，分布函数？），其值是多少？ 9. 冗余度的计算。 第三章

1. 信息传输率和信息传输速率公式和物理意义。

2. 信道容量的计算公式，特别是无干扰离散信道，及物理意义。

3. 对

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列