信息论考试卷及答案

考试科目名称：信息论

一. 单选（每空2分，共20分）

1. 信道编码的目的是（ C ），加密编码的目的是（ D ）。

A．保证无失真传输

B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性

2. 下列各量不一定为正值的是（ D ）

A．信源熵 B．自信息量 C．信宿熵 D．互信息量

3. 下列各图所示信道是有噪无损信道的是（ B ）

A．

B．

第 1 页 共 11 页

C．

D．

4. 下表中符合等长编码的是（ A ）

第 2 页 共 11 页

5. 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确

的是（ A ）

A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X）

D．若X和Y相互独立，H（Y）=H（YX）

6. 一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，

1）中任取一个，这个n位的二进制数的自信息量为（ C ） A．2 B．1 bit C．n bit

nnD．

27. 已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比

特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵 H∞ =1.5比特/符号。问若用一般传送方式，冗余度为（ B ） A．0.32 B．0.68

第 3 页 共 11 页

C．0.63 D．0.37

8. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）

1111C?log4?2H(,,,) A．

33661111C?log4?H(,,,) B．

33661111C?log2?H(,,,) C．

336611C?log2?H(,) D．

369. 下面不属于最佳变长编码的是（ D ）

A．香农编码和哈夫曼编码 B．费诺编码和哈夫曼编码 C．费诺编码和香农编码 D．算术编码和游程编码

二. 综合（共80分）

1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

码

{

非分组码 分组码

{

奇异码 非奇异码

{

非唯一可译码 唯一可译码

（5分）

{

非即时码

即时码（非延长码）

（1分）将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)，

第 4 页 共 11 页

xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)，

yil?B={b1，b2，…，bi，…，bm}

这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。 （1分）奇异码和非奇异码

若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。 （1.5分）唯一可译码

任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码

（1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。 即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。

2. （15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知

符号条件概率：

p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求：

（1）. 信源全部状态及状态转移概率；

（2）. 画出完整的二阶马尔可夫信源状态转移图； （3）. 求平稳分布概率。 解：

（1）. 符号条件概率矩阵

第 5 页 共 11 页

a1(0)a2(1)s1(00)?1/2s2(01)?1/3?p(aj|si)?s3(10)?1/4?s4(11)?1/51/2?2/3??3/4??4/5?状态转移概率矩阵

（5分）

s1s2s3s4s1?1/21/200??s2?001/32/3?p(sj|si)??s3?1/43/400???s4?001/54/5?（2）.

（3）. 平稳分布概率

（5分）

W1?W2?W3?W4?11W121W12?1?W343?W34（5分）

??W1???W2????W3????W4???Wpiiij?Wj1W232W231?W454?W45W1?3664,W2?,W3?,W4?3535357131616149p(a1)??p(a1|si)p(si)?????????第 6 页 2共 3511 页 3354355735i1326364426p(a2)??p(a2|si)p(si)?????????2353354355735i3. （20分）具有符号集U?{u0,u1}的二元信源，信源发生概率为：

1p(u0)?p,p(u1)?1?p,0?p?。Z信道如图 所示，接收符号集

2V?{v0,v1}，转移概率为：q(v0|u0)?1,q(v1|u1)?1?q。发出符

号

与

接

收

符

号

的

失

真

：

d(u0,v0)?d(u1,v1)?0,d(u1,v0)?d(u0,v1)?1。

（1）. 计算平均失真D；

（2）. 率失真函数R(D)的最大值是什么？当q为什么值时可达到该

最大值？此时平均失真D是多大？

（3）. 率失真函数R(D)的最小值是什么？当q为什么值时可达到该

最小值？此时平均失真D是多大？ （4）. 画出R(D)-D曲线。

———

解：

（1）. 已知信源符号概率p(u0)?p,p(u1)?1?p,0?p?0??1[q(v|u)]?转移概率矩阵ji?q1?q?；

???01?[d(u,v)]?失真矩阵ij?10?；

??第 7 页 共 11 页

1； 20?p?联合概率矩阵[p(ui,vj)]???； (1?p)q(1?p)(1?q)??（5分） D??p(ui,vj)d(ui,vj)?p?0?0?1?(1?p)q?1?(1?p)(1?q)?0?(1?p)q。

ij—（2）. maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；

当q=0时，Dmin=0，即得到maxR(D)；

D=0。（5分）

（3）. minR(D)=R(Dmax)=0；

?10?[q(v|u)]?当q=1时，转移概率矩阵ji?10?，可使得到

??—minR(D)；

D=1-p。（5分）

（4）. （5分）

—

4. （15分）一个平均功率受限制的连续信道，其通频带为1MHz，信道

上存在白色高斯噪声。

第 8 页 共 11 页

（1）. 已知信道上的信号与噪声的平均功率比值为20，求该信道的

信道容量；

（2）. 信道上的信号与噪声的平均功率比值降至10，要达到相同的

信道容量，信道通频带应为多大？

（3）. 若信道的通频带增加至2MHz时，要保持相同的信道容量，

信道通频带应为多大？ 解：

（1）. 已知SNR=20

PC?Wlog(1?s)?Wlog(1?SNR)?1?log21?4.392Mbit/s

NW0（5分）

（2）. 若SNR=10，C=4.392Mbit/s；

4.392?Wlog(1?10)

W=1.27MHz（5分）

（3）. 若W=2MHz，C=4.392Mbit/s；

4.392?2?log(1?SNR)

SNR=3.582（5分）

5. （20分）信源符号X有6种字母，概率为0.32，0.22，0.18，0.16，

0.08，0.04。

（1）. 求符号熵H（X）；

（2）. 用费诺（Fano）编码法编成二进制变长码，求出平均码长和编

码效率；

（3）. 用香农（Shannon）编码法编成二进制变长码，求出平均码长

和编码效率；

（4）. 用哈夫曼（Huffma）编码法编成三进制变长码，求出平均码

第 9 页 共 11 页

长和编码效率。 解：

（1）. H(X)???p(ai)logp(ai)?2.35bit/符号（5分）

i（2）. 费诺编码法编成二进制变长码（5分）

第第信源符号 符号概率p(ai) 第1分组 第2分组 34—平均码长K??-logp(ai)? 码字 分分组 组 a1 a2 a3 a4 a5 a6 0.32 0.22 0.18 0.16 0.08 0.04 0 0 1 0 1 0 1 2 2 2 3 4 4 00 01 10 110 1110 1111 1 0 1 00，01，10，110，1110，1111

??HL(X)H(X)2.35?—??97.9% R2.4K（3）. 香农编码法编成二进制变长码（5分）

信源符号 符号概率p(ai) 累加概率Pi 平均码长K??-logp(ai)? 码字 a1 a2 a3 a4 a5 a6 0.32 0.22 0.18 0.16 0.08 0.04 0 0.32 0.54 0.72 0.88 0.96 第 10 页 共 11 页

—2 3 3 3 4 5 00 010 100 101 1110 11110 00，010，100，101，1110，11110

??HL(X)H(X)2.35?—??82.7% R2.84K（4）. 哈夫曼编码法编成三进制变长码（5分）

第2分组 信源符号 符号概率p(ai) 第1分组 a1 a2 a3 a4 a5 a6 0.32 0.22 0.18 0.16 0.08 0 0.04 1 1，2，00，01，020，021

0.32 0.22 0.18 0 0.16 1 0.12 2 0.56 0 0.28 1 0.22 2 —平均码长码字 1 1 2 2 3 3 1 2 00 01 020 021 K??-logp(ai)? ??HL(X)H(X)2.35?—??93.8% R1.58?log3KlogmLm=3，n=6，令k=2 m+k(m-1)=7，s=7-n=1

所以第一次取m-s=2个符号进行编码

第 11 页 共 11 页

00，010，100，101，1110，11110

??HL(X)H(X)2.35?—??82.7% R2.84K（4）. 哈夫曼编码法编成三进制变长码（5分）

第2分组 信源符号 符号概率p(ai) 第1分组 a1 a2 a3 a4 a5 a6 0.32 0.22 0.18 0.16 0.08 0 0.04 1 1，2，00，01，020，021

0.32 0.22 0.18 0 0.16 1 0.12 2 0.56 0 0.28 1 0.22 2 —平均码长码字 1 1 2 2 3 3 1 2 00 01 020 021 K??-logp(ai)? ??HL(X)H(X)2.35?—??93.8% R1.58?log3KlogmLm=3，n=6，令k=2 m+k(m-1)=7，s=7-n=1

所以第一次取m-s=2个符号进行编码

第 11 页 共 11 页

本文来源：https://www.bwwdw.com/article/o656.html