《信息论基础》试卷（期末）（B2卷）

试题编号：

重庆邮电大学2008/2009学年2学期 《信息论基础》试卷（期末）（B卷）（开卷）

题 号 得 分 评卷人

一、填空题（共25分，每空1分）

一 二 三 四 五 六 七 总 分 1、连续信源的绝对熵为 。

2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达

到 。

3、无记忆信源是指 。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号

的统计特性，对概率大的符号用 码，对概率小的符号用 码，这样平均码

长就可以降低，从而提高 。

5、为了提高系统的有效性可以采用 ，为了提高系统的可靠性可

以采用 。

6、八进制信源的最小熵为 ，最大熵为 。

《信息论基础》试卷第1页

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为

时，信源具有最大熵，其值

为 。

8、即时码是指 。

9、无失真信源编码定理指出平均码长的理论极限值为 ，此时编码效率

为 ，编码后的信息传输率为 。

10、一个事件发生概率为0.125，则自信息量为 。

11、信源的剩余度主要来自两个方面，一是 ，

二是 。

12、m阶马尔可夫信源的记忆长度为 ，信源可以有 个

不同的状态。

13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为

比特，当得知“面朝上点数之和为8” 所获得的信息量为 比特。

14、在下面空格中选择填入数学符号“?，?，?，?”或“?”

H?XY? H?Y??H?X|Y? H?Y??H?X?。

《信息论基础》试卷第2页

?1?二、（5分）已知信源的概率密度函数为p(x)??b?a??0计算信源的相对熵。

a?x?b其他，

三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。

（1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。

（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？

（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？

《信息论基础》试卷第3页

四、（16分）一个离散无记忆信源

x2x3x4x5x6??X??x1??P(x)??1/81/81/81/81/41/4?

????1) 求H(X)和冗余度；

2) 编成Fano码，计算编码效率； 3) 编成Huffman码，计算编码效率

《信息论基础》试卷第4页

五、（１6分）设一个离散无记忆信源的概率空间为

它们通过干扰信道，信道输出端的接收符号集为Y??b1,b2?，已知信道传输概率如下图所示。

试计算：

（1）信源X中事件x1和x2分别含有的自信息量；（２分） （2）收到信息yj(j?1,2)后，获得的关于x1的信息量；（２分） （3）信源X的信息熵；（２分）

（4）条件熵H?Y|x1?，H?Y|x2?；（２分）

（5）共熵H(XY)、信道疑义度H(X|Y)和噪声熵H(Y|X)；（６分） （6）收到消息Y后获得的关于信源X的平均信息量。（２分）

《信息论基础》试卷第5页

?1a?x?b?二、(5分)已知信源的概率密度函数为p?x???b?a，计算信源的相对熵。

??0其他Hc?x???p?x?lgab1dx------3分 p?x??lg?b?a?bit/自由度-------2分

三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。

(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？

(3)如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？

1) c?10lg?1?SNR?------3分

?4.39?106b/s---1分

2) 10?c?1.27?106Hz---3分

lg?1?SNR?3) SNR?2cw?1=440----3分

四、(16分)已知信源共7个符号消息，其概率空间为

?S??s1????Px?????0.2s20.17s30.2s40.17s50.15s60.10s7? 0.01??试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、

编码信息率和编码效率。要求写出详细的编码过程和计算过程。

《信息论基础》试卷第11页

2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.01------6分

0.20.20.170.170.150.110.260.20.20.170.170.340.260.20.20.40.340.260.60.41.0

???LiPi?2.71位----2分

i?17H?s???Pilog2Pi?2.61bit/符号--------2分

i?17R’??log2r?2.71bit/码字--------2分

??H?s??0.963----------2分

?log2rH?s??0.963bit/码元--------2分

R??

五、(16分)设一个离散无记忆信源的概率空间为

?X??a1????Px?????0.5a2? 0.5??它们通过干扰信道，信道输出端的接收符号集为Y =[b1,b2]，已知信源传输概率如下图

所示。

0.98X1Y10.020.2Y2

《信息论基础》试卷第12页

X20.8

试计算：

(1)信源X中事件x1和x2分别含有的自信息量；(2分) (2)收到yj(j=1,2)后，获得的关于x1的信息量；(2分) (3)信源X的信息熵；(2分)

(4)条件熵H(Y∣x1)，H(Y∣x2)；(2分)

(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X)；(6分) (6)收到消息Y后获得的关于信源X的平均信息量。(2分)

P(x,y)X1X2Y1Y20.44 0.010.1 0.4

(1)I(x1)=-log0.5=1bit------1分 I(x2)=-log0.5=1bit------1分

(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分 I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分 (3)H(x)=H(0.5,0.5)=1bit/符号------2分

(4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号-----1分 H(y︱x2)=H(0.8,0.2)=0.722bit/符号-----1分 (5)H(y)=H(0.59,0.41)=0.977

H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分 H(x︱y)=H(xy)-H(y)=0.455bit/符号------2分 H(y︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号-----2分 (6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分

六、(12分)设某信道的传递矩阵为

?1?2?1P???6??1??31312161?6??1? ?3?1?2??(1)若输入符号P(x1)=P(x2)=1/4，P(x3)=1/2，求H(X∣Y)和I(X;Y)。 (2)计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。

《信息论基础》试卷第13页

(1)-----写出公式2分 H(X︱Y)=???p(xy)logp?xijijiyj，I(X;Y)=H(X)-H(X︱Y)

?p?y1???p?x?p?y1x?=1/3，同理：p(y2)=7/24，p(y3)=3/8

x--------计算过程4分

p?x1y1??p?x1?p?y1x1?p?y1?1133???? 4218同理：p(x1︱y2)=2/7，p(x1︱y3)=1/9

p(x2︱y1)=1/8，p(x2︱y2)=3/7，p(x2︱y3)=2/3 p(x3︱y1)=1/2，p(x3︱y2)=2/7，p(x3︱y3)=2/3

H(X)=-2×(1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol ------最终答案2分 H(X∣Y)= ???p(x)p?yx?logp?xy??1.383bit/symbol

XYI(X;Y)=H(X)-H(X∣Y)≈0.117 bit/symbol (2)对称离散信道

C=logS-H(p的行矢量)-----判断 公式3分

=log3-H(1/2,1/3,1/6)≈0.126bit/symbol---答案1分 输入等概时，达到信道容量。-----说明2分

七、(16分)有一个二元二阶马尔可夫信源，其信源符号集为{0,1}，初始概率大小为P(0)=1/3，P(1)=2/3。条件概率定为

P(0∣00)= P(1∣11)=0.8 P(1∣00)= P(0∣11)=0.2

P(0∣01)= P(0∣10)= P(1∣01)= P(1∣10)=0.5

(1)画出该信源的状态转移图。 (2)计算达到稳定状态的极限概率。 (3)该马尔可夫信源的极限熵H∞。

(4)计算达到稳定后符号0和1的概率分布。 解：(1)

《信息论基础》试卷第14页

0:0.81:0.21:0.5011:0.5000:0.50:0.511100:0.21:0.8----------4分

0??0.80.20?0???00.50.5? (2) p?EiEi????0.50.500???000.20.8??P(E1)=0.8P(E1)+0.5P(E3) P(E2)=0.2P(E1)+0.5P(E3) P(E3)=0.5P(E2)+0.2P(E4) P(E4)=0.5P(E2)+0.8P(E4) P(E1)+P(E2)+P(E3)+P(E4)=1

解得：P(E1)=P(E4)=5/14 P(E2)=P(E3)=2/14--------4分 (3)H??H2????p?E?p?Eii?1j?144jEi?logp?EjEi?=0.801bit/符号-----公式2

分，答案2分 (4)p?Qk???p?E?p?Qii?1qkEi?-----2分 p(1)=p(2)=1/2--------2分

《信息论基础》试卷第15页

本文来源：https://www.bwwdw.com/article/pkbw.html