信息理论与编码基础复习题

更新时间：2024-06-18 06:28:01 阅读量：综合文库文档下载

说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。

信息理论与编码基础答案推荐度：
相关推荐

信息理论与编码基础复习题

1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。

2.当一个信源中所有的符号消息为等概时，该信源的熵最大。

3.即时码一定是单义可译码。

4.不使用间隔即可区分码字，就必然要求码字具有惟一性。 5.噪声熵为0的信道称为确定信道。

#000000#999933#99CC00#993333 6.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。 7.当两个集合相互独立时，它们的共熵最大。 8.等长码都是即时码。

9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没有关联性，各个符号的出现概率统计独立。

10.定长非奇异码肯定是惟一可译码。

11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。

12.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。

13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。

14.译码时不需要考察后续码元，称之为即时码。 15.在即时码中，任何一个码字都不是其他码字的延长。 16.通信系统的任务是将信源的消息有效可靠地传送到信宿。

17.在通信系统中，人们习惯于将通信分为数字通信和模拟通信，其实质亦是根据信源消息是数字还是模拟来划分的。 18.信源能够用随机过程来建模，从描述信源消息的随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源，也可以按随机过程的类别将其分为高斯信源和马尔可夫信源等。

19.文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。

20.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计独立，则称这种信源为发出符号序列消息离散无记忆信源。

21.若单符号离散无记忆信源的信源空间为[X?P]，对其进行

K重扩展得到符号序列X=X1 X2 ? Xk，则称扩展后的信源为

离散无记忆信源[X?P]的K重扩展信源，记为X。 22.研究信源最主要的目的是为信源编码服务。

23.当信息量单位用比特、时间单位为秒时，信息传输速率

K的量纲为比特/秒.

24.对信源的分类可以有多种方法，主要基于两方面的考虑。一是信源消息取值的集合以及消息取值时刻的集合；二是信源消息的统计特性。

25.信道是传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。

26.从信息传输的角度来讲，研究信源主要是研究其输出的消息，简称信源消息。

27.信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具。 28.根据人们对信源消息的感知情况将其分为数据信源、文本信源、语音信源、图像信源等。

29.若信源发出N个不同符号x1，x2，?，xi，?，xN ，分别代表N种不同的消息，各个符号的概率分别为P1，P2，?，

Pi，?，PN且相互统计独立，则称这种信源为单符号消息离

散无记忆信源。

30.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计相关，则称这种信源为发出符号序列消息离散有记忆信源。

31.信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来表示信源消息。

32.当信息量单位用比特、时间单位为码元（或符号或符号

序列等）所占用的时间时，信息传输速率的量纲为比特/码元（或比特/符号、比特/符号序列等）；

33.离散有记忆信源发出的各个消息符号是相互关联的，其记忆性或关联性通常有两种方式来描述。一是用其联合概率来表示，这就是发出符号序列的离散有记忆信源；二是用其条件概率来表示，这就是发出符号序列的马尔可夫信源。 34.为了理解怎样的信源编码才是好的或者说是有效的，首先要能够对信源参数进行测量。

35.最佳编码是无失真信源编码的理想模式。为了达到这个目的，通常需要遵循下面两个原则：

（1）对信源中出现概率大的消息（或符号），尽可能用短的代码组（码字）来表示，简称短码，反之用长码。（2）不使用间隔即可区分码字。

36.代码组集合中各代码组所包含的码元个数不相同的编码称为变长码。

37.码字含义的惟一性又称为单义可译性，这样的码字称为单义可译码。

38.译码时要接收多于一个码字所包含的码元才能决定的信源编码，称为非即时码。

39.若在两个代码组之间使用间隔，就会减小信源的信息传输速率，进而降低编码效率。

40.非即时码也可能是单义可译码，这说明单义可译码不一

定是即时码。

41.冗余度是衡量信源编码效率的一个物理量，冗余度越低，编码效率就越高。

42.信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率。即η=R/C×100%，当R=C时，η=100%，这是信源编码的最理想特性，这样的信源编码能最充分地利用信道；当RC时，η>100%，说明信源编码输出的信息速率超过了信道的传输能力，这样必然会产生失真。 43.信息含量效率越高，信源的冗余度越低。 44.关于两个独立信道Q1、Q2串联，（X信道Q1的输

入； Y信道Q1的输出，也是信道Q2的输入；Z信道

Q2的输出。）数据处理过程中，随着数据的不断处理，

从处理后的数据中所得的原始信息会愈来愈少；串联

信道的转移概率矩阵是各单元信道的转移概率矩阵之

积；XYZ组成一个马尔可夫链。

45.关于变长编码，无失真r进制变长码码长不得低于

信源r进制符号熵；变长编码时，随着信源序列长度

N的增大，编码效率提高；变长码的编码效率高于定

长码。

46.关于无失真信源编码，有效的信源编码可使输出码

元概率均匀化；霍夫曼编码过程中，可能造成码字不

惟一，但平均码长是相同的，因而编码效率是相同；

N）的出现概率为P(xi)，其自信息量为I(xi)，则该信源各

个不同符号xi所包含的自信息量I(xi)在信源空间

P(X)={P(x1)，P(x2)，?，P(xi)，?，P(xN )}中的统计平均

值，即 H(X)?

?P(x)?I(x)??P(x)?I(x)???P(x)logP(x)iiii?1XXN称为信源的信息熵，简称信源熵。其中，定义0lb0=0。 84.对信源编码的基本要求？（1）选择合适的信道基本符号，以使映射后的代码适应信道。（2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。（3）编码应使消息集合与代码组集合中的元素一一对应。

85.简单叙述香农第二定理：对于有噪信道的信道编码，若RC，则不存在可以使传输错误概率任意小的编码。 86.对于对称信道，当信源的符号消息概率怎么分布时，输出随机变量集合提供的信息量等于信道容量C？对于对称信道，当且仅当信源的符号消息等概分布时，任何一个输入符号xi对输出随机变量集合Y提供的信息量相等，且等于信道容量C。

87.简单叙述香农第一定理:设离散无记忆信源X包含N个符号{x1，x2，?，xi，?，xN }，信源发出K重符号序列，

则此信源可发出NK个不同的符号序列消息，其中第j个符号序列消息的出现概率为，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度为

当K趋于无限大时，和H(X)之间的关系为

88.香农第一定理，又称为无失真信源编码定理或变长码信源编码定理。定理指出，要做到无失真的信源编码，编码后信源符号平均长度将不能小于信源熵，其极限情况是信源的熵值；若编码的平均码长小于信源的熵值，则单义可译码不存在，在译码或反变换时必然带来失真或差错。

89.香农第一定理表明，在无失真信源编码中，采用扩展信源的手段，虽然可以减少每一信源符号所需要的平均码符号数，使编码的有效性有所提高，但无论怎样扩展，无失真信源编码的结果，在无噪离散信道中传输的有效性是有一定限度的，其极限值就是信源熵。当信息传输速率等于信道容量C时，编码效率达到最高，亦即信息传输的有效性最高。并没有给出怎样来实现这样的编码，所以说香农第一定理是一个存在性定理。

90.在一般的信息传输系统中，信宿将收到的消息yj根据某种规则判决为对应于信源符号消息集合中的某一个xi，这个判决的过程称为接收译码，简称译码，译码时所用的规则称

为译码准则。

91.信源编码要解决的主要矛盾是信息传输的有效性，关心的是编码效率，追求的是平均长度最短的最佳编码，采用的方法通常是尽量压缩信源中的冗余度。但由于最佳编码的码字中冗余度已经极小，如果在传输中发生了错误，就会发生张冠李戴的现象。实际的通信信道免不了总会存在干扰和噪声，为寻求通信的可靠性，有必要研究专门针对通信可靠性的编码，这就是信道编码。

92.香农第二定理告诉人们，对于有噪信道，只要信道编码采取足够的码长N，总存在某种编码方式，能使其传输错误概率任意小，且信道上的信息传输速率可以无限接近于信道容量，即在有噪信道中消息是可以可靠地传输的，这对于设计实际的通信系统具有十分重要的意义。 93.设由一离散无记忆信源 X： a1， a2， a3

P(X)：1/2，1/4，1/4

构成二重扩展信源X，求该扩展信源的熵H(X)。解二重扩展，即扩展信源的每个符号序列由给定信源中的2个符号组成，因此符号序列共有3=9种，分别是aiaj (i，

j=1，2，3)，不妨将它们看作新的信源符号，因此扩展信源

又可以看作是共有9个“单符号”的离散无记忆信源。

K[??PilbPi]i?1N13

由式H(XK)=K H(X)=

H(X)???P(aiaj)lbP(aiaj)2i,j?13有

问题转化到求aiaj的联合概率，因为ai、aj统计独立，故

P(aiaj)=P(ai)?P(aj)。略去其计算过程，得H(X2)=3比特/符

号序列

而扩展前信源X的熵为

且有H(X2)=2H(X)。