信息论与编码第五章课后答案

5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码C1、C2、C3、C4、C5和C6。

（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；

（3） 对所有唯一可译码求出其平均码长。

消息 概率C1 000 001 010 011 100 101 C2 0 01 011 0111 01111 C3 0 10 110 1110 11110 C4 0 10 1101 1100 1001 C5 1 000 001 010 110 110 C6 01 001 100 101 110 111 a1 a2 a3 a4 a5 a6 1/2 1/4 1/16 1/16 1/16 1/16 011111 111110 1111 解：（1）1,2,3,6是唯一可译码； (2)1,3,6是即时码。

5-2证明若存在一个码长为l1,l2,???,lq的唯一可译码，则一定存在具有相同码长的即时码。

证明：由定理可知若存在一个码长为L1,L2,?,Lq的唯一可译码，则必定满足kraft不等式

?ri?1q?li?1。由定理4?4可知若码长满足kraft不等式，则一定存在这样码长的即时码。

所以若存在码长L1,L2,?

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p

1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)max?1.585(bit)，

此结论可以推广到N元的离散信源。

1.3 证明不等式

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)ma?5bit)， x1.58( 此结论可以推广到N元的离散信源。

1.3 证明不等式l

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

《信息论与编码》-曹雪虹-课后习题答案

第二章

2.1一个马尔可夫信源有3个符号{}1,23,u

u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3

由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500