《信息论基础》试卷（期末）（B卷）

重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（B卷）（半开卷）

题 号 得 分 评卷人

一、填空题（共20分，每空1分）

1、通信系统中，编码的主要目的有两个，分别是 和 。 2、离散无记忆信源存在剩余度的原因是 。

3、当 时，信源熵为最大值。八进制信源的最大熵为 ，最小熵为 。 4、无失真信源编码的平均码长最小理论极限制为 。 5、一个事件发生概率为0.125，则自相关量为 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为 和 。

7、噪声瞬时值的概率密度函数服从 分布，同时功率谱密度为 的噪声称为高斯白噪声。

8、当 时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为?2，则输出信号幅度的概率密度是高斯分布或正 态分布或 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“?,?,?,?”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)

（2）假设信道输入用X表示，信道输出用Y表示。在有噪无损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源

一 二 三 四 五 六 七 八 总 分 s2s3s4s5??S??s1??P??0.250.20.20.20.15? ????（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长L；（4分）

（3）计算编码信息率R?；（4分）

（4）计算编码后信息传输率R；（2分）

—

（5）计算编码效率?。（2分）

四、（12分）已知一个平均功率受限的连续信号，通过带宽W?10MHz的高斯白噪声信道，试计算

（1）若信噪比为10，信道容量为多少？（4分）

（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）

（3）若信道通频带减为5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）

五、（16分）某个信息源发出符号的概率为：P(a1)?P(a2),P(a3)?0.4,假设该信息源发出的符号前后有关联，其依赖关系为：

312133P(a1|a1)?;P(a2|a1)?;P(a2|a2)?;P(a3|a2)?;P(a1|a3)?;P(a3|a3)?;443344

（1） （2） （3） （4）

画出状态转移图（4分） 计算稳态概率（4分）

计算信源的极限熵（4分）

计算稳态下H1，H2及其对应的剩余度。（4分）

六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是1，计算

6（1）“3和4同时出现”事件的自信息量；（2分）

（2）两个点数中至少有一个是1的自信息；（2分） （3）两个点数中之和为3的自信息；（2分） （4）两个点数的各种组合（无序对）的熵。（2分）

x2??X??x1 七、（22分）设离散无记忆信源的概率空间为????? ，通过二进制对P0.750.75????称信道，其概率转移矩阵为??2/31/3?，信道输出端的接受符号集为Y?[y1??1/32/3?y2]

（1）计算信源熵H(X)；（4分） （2）损失熵H(X|Y)；（4分） （3）噪声熵H(Y|X)；（4分）

（4）受到消息Y后获得的平均互信息量I(Y:X)（4分） （5）该信道的信道容量（4分）

（6）说明该信道达到信道容量时的输入概率分布。（2分）

《信息论基础》试卷答案

一、填空题（共20分，每空1分）

1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。 2、离散无记忆信源存在剩余度的原因是分布不等概。

3、当信源各符号无相关性、等概分布时，信源熵为最大值。八进制信源的最大熵为3bit/符号，最小熵为0bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。 5、一个事件发生概率为0.125，则自相关量为3bit。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。

7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。

8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为?2，则输出信号幅度的概率密度是高斯分布或正 态分布或f?x??1e2???x22?21时，信源具有最大熵，其值为值log2?e?2。

29、在下面空格中选择填入数学符号“?,?,?,?”或“?” （1）H?XY?=H(Y)+H(X|Y)?H(Y)+H(X)

（2）假设信道输入用X表示，信道输出用Y表示。在有噪无损信道中， H(X/Y)= 0, H(Y/X)>0,I(X;Y)=H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

解：该信源的相对熵：h(X)=log?b-a??log(3?1)?1bit 绝对熵为?? 三、（16分）已知信源

s2s3s4s5??S??s1?P???0.250.20.20.20.15? ????（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长L；（4分）

（3）计算编码信息率R?；（4分）

（4）计算编码后信息传输率R；（2分） （5）计算编码效率?。（2分）

解：（1）霍夫曼编码后的二进制变长码：

S1：10， S2：00， S3：00， S4：110， S5：111，

0S1 0.25S2 0.2S3 0.2S4 0.21S5 0.15100.350.6100.401.0—

（2）平均码长：I=0.35*3+0.65*2=2.35码元/符号； （3）编码信息率：R?=L*logr=2.35*1=2.35 bit/信源符号 （4）编码后信息传输率：

—R=H(s)—0.25log??L11111?0.2log?0.2log?0.2log?0.15log0.250.20.20.20.152.35

0.50.6*2.322?0.15*2.737?0.982.35（5）编码效率：? =

H(s)—=98%

L四、（12分）已知一个平均功率受限的连续信号，通过带宽W?10MHz的高斯白噪声信道，试计算

（1）若信噪比为10，信道容量为多少？（4分）

（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）

（3）若信道通频带减为5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分） 解： （1）根据香农公式：

C?Wlog?1?SNR??10?10?log?1?10??3.46?10

67（2）当SNR?5，

C?Wlog?1?SNR??Wlog?1?5??3.46?107

3.46?107?1.338?107Hz 则 W?2.585（3）当带宽减为5MHz，

Wlog?1?SNR??5?10?log?1?SNR??3.46?10

67 SNR=120

五、（16分）某个信息源发出符号的概率为：P(a1)?P(a2),P(a3)?0.4,假设该信息源发出的符号前后有关联，其依赖关系为：

312133P(a1|a1)?;P(a2|a1)?;P(a2|a2)?;P(a3|a2)?;P(a1|a3)?;P(a3|a3)?;443344

（5） 画出状态转移图（4分） （6） 计算稳态概率（4分）

（7） 计算信源的极限熵（4分）

（8） 计算稳态下H1，H2及其对应的剩余度。（4分） 解：（1）

3/42/3a1a201 0.25S2 0.2S3 0.2S4 0.21S5 0.15100.350.6100.401.03/4a3

（2）由

P(Ei)??P(Ei)?P(Ei|Ei)i3得31?P(a)?P(a)?P(a3)11?44?21?P(a)?P(a)?P(a1) 另：P(a1)?P(a2)?P(a3)?1?2234?13?P(a)?P(a)?P(a3)32? 34?联立得：4113P(a2)?114P(a3)?11P(a1)?（3）该信源的极限熵：

H??H2?????P(Ei)?P(Ei|Ei)?logP(Ei|Ei)ii33?431321413*H（，）+*H（，）+*H（，）=0.839 bit/符号1144113311443i

(4) H1???P(ai)?logP(ai)?1.572bit/符号 H2?0.839bit/符号 对应的剩余度：H?1=1-1?0.008H0

?2=1-H2?0.47H0

本文来源：https://www.bwwdw.com/article/yt6d.html