2014信息论复习题

信息论复习题

一、名词解释 1、信息 2、离散信源 3、自信息量

4、离散平稳无记忆信源 5、马尔可夫信源 6、连续信源 7、信源冗余度 8、连续信道 9、信道容量 10、强对称信道 11、对称信道 12、信息熵 13、平均互信息 14、平均失真度 15、码的最小距离 16、率失真函数

二、判断

1、 必然事件和不可能事件的自信息量都是0 。错

i的单调递减函数。对 2、 自信息量是

3、 单符号离散信源的自信息和信源熵都具有非负性。对

4、 自信息量、条件自信息量和联合自信息量之间有如下关系：

p(x) 5、 自信息量、条件自信息量和互信息量之间有如下关系：

I(xiyj)?I(xi)?I(yj/xi)?I(yj)?I(xi/yj) 对

ijiijjji 对

6、 当随机变量X和Y相互独立时，条件熵等于信源熵。对 7、 当随机变量X和Y相互独立时，I（X；Y）=H（X）。错 8、 信源熵具有严格的下凸性。错

9、 平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸

函数性。 对

10、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错 11、连续信源和离散信源的熵都具有非负性。 错 12、连续信源和离散信源都具有可加性。 对

13、连续信源和离散信源的平均互信息都具有非负性。 对 14、定长编码的效率一般小于不定长编码的效率。 对

15、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 错 16、率失真函数的最小值是0 。对 17、率失真函数没有最大值。 错

18、信源编码通常是通过压缩信源的冗余度来实现的。 对

19、一般情况下，霍夫曼编码的效率大于香农编码和费诺编码。 对

20、在编m（m>2）进制的霍夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对

21、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 ? 22、非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 ?

I(x;y)?I(x)?I(x/y)?I(y)?I(y/x)

三、填空

1、 1948年，美国数学家 香农 创立了信息论。

2、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 3、 按照信息的地位，可以把信息分成 客观信息和主观信息 。

4、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 5、 信息的 可度量性 是建立信息论的基础。 6、 熵 是香农信息论最基本最重要的概念。

7、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

11、自信息量的单位一般有 比特、奈特和哈特 。 12、必然事件的自信息是 0 。

13、不可能事件的自信息量是 ∞ 。

14、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

15、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

16、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。

limH(XN/X1X2?XN?1)H?N???17、离散平稳有记忆信源的极限熵，。

18、对于n元m阶马尔可夫信源，其状态空间共有 n 个不同的状态。

19、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a） 。

m

1log22?eP20、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=2。

21、对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 22、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 23、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。

23、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

1?mp(x)?ex?0，m24、若一维随机变量X的取值区间是[0，∞]，其概率密度函数为，其中：

H(X)?log2me。

m是X的数学期望，则X的信源熵C25、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218=（1+2 log23）。 26、m元长度为ki，i=1，2，···n的惟一可译码存在的充要条件是：i?1。 27、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 log252 。

28、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 29、具有一一对应关系的无噪信道的信道容量C= log2s 。 30、对称信道的信道容量C= log2s-Hri 。

N

31、对于离散无记忆信道和信源的N次扩展，其信道容量C= NC 。

32、对于N个对立并联信道，其信道容量 CN = 。

33、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。

k?1x?mn?ki?1?CNkP1log2(1?X)PN。 34、高斯加性信道的信道容量C=235、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息

率小于信道容量 。

?1/21/20??0?01??代表的信道的信道容量C= 1 。 36、信道矩阵

?10??10?????01??37、信道矩阵代表的信道的信道容量C= 1 。

38、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct= 9 kHz 。

?10??01??代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息39、信道矩阵?传输速率Ct= 10kHz 。

40、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 41、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。

42、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的 误差或失真 。

?0i?j?43、汉明失真函数 d（xi，yj）=?1i?j 。

44、如果规定平均失真度D不能超过某一限定的值D，即：D?D。我们把D?D称为 保

真度准则 。

45、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码 。 46、信源编码的目的是： 提高通信的有效性 。

47、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。 48、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。

49、任意两个码字之间的最小汉明距离有称为码的最小距dmin，则dmin=c?c'。 50、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。 51、信道编码的最终目的是 提高信号传输的可靠性 。

52、平均错误概率不仅与信道本身的统计特性有关，还与译码规则和编码方法有关

四、简答

1、 信息的主要特征有哪些？ 2、 信息的重要性质有哪些？

3、 信息论研究的内容主要有哪些？ 4、 简述自信息的性质。 5、 简述信源熵的基本性质。

6、 简述信源熵、条件熵、联合熵和交互熵之间的关系。 7、 信道的分类方法有哪些？ 8、 简述信道编码定理。

9、 简述编码的分类及各种编码的目的。 10、简述费诺编码的编码步骤。

mind(c,c')11、简述二元霍夫曼编码的编码步骤。

12、对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 13、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 14、信道疑义度的概念和物理含义？ 15、解释无失真变长信源编码定理? 16、解释有噪信道编码定理？ 17、变长编码有哪些？

18、解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。

五、单项选择 题目同前面

六、证明

1、平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

I?X;Y????p?xiyj?logXYpxiyjp?xi???????????p?xiyj?logp?xi??????p?xiyj?logpxiyj?

XY?XY??H?X??H?XY?同理 I?X;Y??H?Y??HYX 则 HYX?H?Y??I?X;Y?

因为 H?XY??H?X??HYX 故 H?XY??H?X??H?Y??I?X;Y? 即 I?X;Y??H?X??H?Y??H?XY?

七、计算

1、试求四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

??????四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2,……….,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）H(Y)??p(y)logp(y)?38log2?2?38log18?1.24bit/符号

jj?1j312381838（2）H(X,Y)?H(X)?log238?5.25bit/符号

（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号

3、假设集合X?{0,1,2}，其中P(0)? H(X)??111,P(1)?,P(2)?，求集合X的熵H(X) 442x?X?p(x)logp(x)

111111??(log?log?log) 444422

?1.5

4、设有一个信源，它产生0，1序列的信息。它在任意时刻且不论以前发生过什么符号，均按P（0）=0.4,P(1)=0.6的概率发出符号。试计算：

（1）H（X） （2）H（X3/X1X2） （3）

2

N??limH(X)

5、已知信源X和条件概率P（Y/X）如下：

x2??X??x1?Y/X??y1/x1??P(X)??1/21/2??P(Y/X)???3/4??? ??? ?

y2/x11/4y1/x21/4试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、H（X；Y）

y2/x2??3/4?

本文来源：https://www.bwwdw.com/article/e5gt.html