信息论与编码复习题1(1)

一、填空题

1.设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。

2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT(1.5)__个随机错。

3.克劳夫特不等式是唯一可译码___存在___的充要条件。

4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I（X：Y）=H（X）-H（X/Y） 5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__加密__编码的目的是保证通信的安全性。

6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。

7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。

8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。 9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。

10.最大后验概率译码指的是 译码器要在已知r的条件下找到可能性最大的发码Ci作为移码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题

1.下面表达式中正确的是（ A ）。

A.?p(yj/xi)?1 B.?p(yj/xi)?1

jiC.?p(xi,yj)??(yj) D.?p(xi,yj)?q(xi)

ji2.彩色电视显像管的屏幕上有5×10 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（ C ）。 A. 50?106 B. 75?106 C. 125?106 D. 250?106

5

?1 2???3.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=1 1,

????2 1??则信源的最大平均失真度Dmax为（ D）。

A. 1/3 B. 2/3 C. 3/3 D. 4/3 4.线性分组码不具有的性质是（ C ）。 A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0重量 C.最小汉明距离为3

D.任一码字和其校验矩阵的乘积cmHT=0 5.率失真函数的下限为（ B ）。

A .H(U) B.0 C.I(U; V) D.没有下限 6.纠错编码中，下列哪种措施不能减小差错概率（ D ）。

A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽

7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。

A. 0bit B. log6bit C. 6bit D. log240bit 8.下列陈述中，不正确的是（ D ）。

A.离散无记忆信道中，H（Y）是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 （码字长度）

C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强

D.满足格拉夫特不等式的信源是惟一可译码

9.一个随即变量x的概率密度函数P(x)= x /2，0?x?2V，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 10.下列离散信源，熵最大的是（ D ）。 A. H（1/3,1/3,1/3）； B. H（1/2,1/2）；

C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8) 11.下列不属于消息的是（ B ）。

A.文字 B.信号 C.图像 D.语言 12.为提高通信系统传输消息有效性，信源编码采用的方法是（ B ）。 A.压缩信源的冗余度 B.在信息比特中适当加入冗余比特 C.研究码的生成矩阵 D.对多组信息进行交织处理 13.最大似然译码等价于最大后验概率译码的条件是（ D ）。 A.离散无记忆信道 B.无错编码 C.无扰信道 D.消息先验等概 14.下列说法正确的是（C ）。

A.等重码是线性码 B.码的生成矩阵唯一

C.码的最小汉明距离等于码的最小非0重量 D.线性分组码中包含一个全0码字

15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到 则已知收到的符号，被告知发出的符号能得到的信息量是（ A ）。 A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)

16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ B ）。

A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 17.下列组合中不属于即时码的是（ C ）。

A. { 0，01，011} B. {0，10，110} C. {00，10，11} D. {1，01，00} ?111010?18.已知某（6，3）线性分组码的生成矩阵G?110001???011101??，则不用计算就可判断出下列码中???不是该码集里的码是（ ）。

A. 000000 B. 110001 C. 011101 D. 111111

19.一个随即变量x的概率密度函数P(x)= x /2，0?x?2V，则信源的相对熵为（ ）。

A. 0.5bit/符号 B. 0.72bit/符号 C. 1bit/符号 D. 1.44bit/符号 20.设有一个无记忆信源发出符号A和B，已知p(A)?息的信源，无记忆信源熵H(X2) 为（ ）。

A.0.81bit/二重符号 B.1.62bit/二重符号 C.0.93 bit/二重符号 D .1.86 bit/二重符号

三、判断题

14,p(B)?34，发出二重符号序列消

1.确定性信源的熵H(0,0,0,1)=1。 （ 错 ） 2.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一的。

（ 错 ）

3.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ 对 ） 4.非奇异的定长码一定是唯一可译码。 （ 错 ） 5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。

（ 对 ）

6.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则

信源X和Y的熵相等。 （ 错 ） 7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 （ 错 ） 8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。 9.DMC信道转移概率矩阵为P???1/3?1/61/31/61/61/3 （ 对 ）

1/6??，则此信道在其输入端的信源分1/3?布为P(X)={1/2,1/2}时传输的信息量达到最大值。 （ 错 ） 10.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。 （ ）

四、名词解释 1.极限熵： 2.信道容量：

3.平均自信息量：平均自信心量，即平均每个符号所能提供的信息量。它只与信源各符号出现的概率有关，可以用来表征信源输出信息的总体特征。它是信源中各个符号自信息量的数

学期望

E(I(X))= ∑P(Xi)I(Xi)

五、计算题 1.设离散无记忆信源

?X??a1?0????P(x)???3/8a2?11/4a3?21/4a4?3??1/8?

其发生的消息为（202120130213001203210110321010020320011223210），

（1）根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之 和”，求此消息的自信息量；

（2）在此消息中平均每个符号携带的信息量是多少？

?x1?X?2.已知一个二元信源连接一个二元信道，如图所示。其中，????1?P???2x2?1?。 ?2?试求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。

?03.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为d???21?试求Dmin，Dmax，R(Dmin)，?。0?R(Dmax)。

4.信源X共有6个符号消息，其概率分布为P(X)={0.37，0.25，0.18，0.10，0.07，0.03}。 （1）对这6个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。 （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。

5.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事

件。

x0：一个0发出；x1：一个1发出 y0：一个0收到；y1：一个1收到

给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。 （1）求信源的熵H(X)；

（2）已知发出的符号，求收到符号后得到的信息量H(Y/X)； （3）已知发出和收到的符号，求能得到的信息量H(X,Y)。 6.设DMC信道的传输情况如下图所示。 （1）试写出该信道的转移概率矩阵； （2）求该信道的信道容量。

7.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为d??Dmax，R(Dmin)，R(Dmax)。

?0?1101/4??。试求Dmin，1/4?8.设有离散无记忆信源X共有5个符号消息，其概率分布为P(X)={0.4，0.2，0.2，0.1，0.1}。

（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率； （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。

本文来源：https://www.bwwdw.com/article/yc3v.html