信息理论与编码

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。 ( ) 5. 当随即变量X和Y相互独立时，I（X；Y）=H（X） 。 ( ) 6. 平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。 ( )

三、简答题（每小题3分，共6分）

1．简述冗余度的概念，并说明其对编码理论的影响。

2．试简述最大熵定理。

四、计算题（每小题11分，共22分）

1．一信源有6种输出状态，概率分别为：p(A)=0.5, p(B)=0.25, p(C)=0.125, p(D)=p(E)=0.05, p(F)=0.025。 试计算H(X)，然后求消息BAABBA和FEEFEF的信息量（设信源先后发出的符号相互独立）。

2. 一阶马尔可夫信源的状态图如下所示，信源的符号集为{0,1,2} (1) 求平稳后的信源概率分布 (2) 求信源熵H∞ (3) 求当p=0或p=1时信源的熵

本文来源：https://www.bwwdw.com/article/3id5.html