信息论与编码曹雪虹第三版课后答案

《信息论与编码》课后习题答案

第二章

2.1一个马尔可夫信源有3个符号 u1,u2,u3 ，转移概率为：p u1|u1 1/2，

p u2|u1 1/2，p u3|u1 0，p u1|u2 1/3，p u2|u2 0，p u3|u2 2/3，p u1|u3 1/3，p u2|u3 2/3，p u3|u3 0，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

0 1/21/2

p 1/302/3

1/32/30

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11 1

W1 W2 W3 W110 2W1 33 2512 WP W9 W1 W3 W2

由 得 2计算可得 W2 3

W1 W2 W3 125 2

6 W2 W3 W3 3 25 W1 W2 W3 1

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。 解：p(0|00) p(00|00) 0.

《信息论与编码》-曹雪虹-课后习题答案

第二章

2.1一个马尔可夫信源有3个符号{}1,23,u

u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3

由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图

相信我，没错的！！！

第三章

?21??33??12???3.1 设二元对称信道的传递矩阵为?33?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=

x3x4x5x6x7 X x1x2

5.1设信源 = 0.20.190.180.170.150.10.01 ()PX

(1)求信源熵H(X)；

(2)编二进制香农码；

(3)计算平均码长和编码效率。

解：(1)

H(X)= ∑p(xi)log2p(xi)

i=

1

7

= (0.2×log20.2+0.19×log20.19+0.18×log20.18+0.17×log20.17+0.15×log20.15+0.1×log20.1+0.01×log20.01)=2.609bit/symbol

K=∑kip(xi)=3×0.2+3×0.19+3×0.18+3×0.17+3×0.15+4×0.1+7×0.01

i

=3.14

η=

H(X)H(X)2.609

===83.1%R3.14K

x3x4x5x6x7 X x1x2

5.2对信源 =

0.20.190.180.170.150.10.01 编二进制费诺码，计算编码效率。PX()

=∑kip(xi)=2×0.2+3×0.19+3×0.1

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

x3x4x5x6x7 X x1x2

5.1设信源 = 0.20.190.180.170.150.10.01 ()PX

(1)求信源熵H(X)；

(2)编二进制香农码；

(3)计算平均码长和编码效率。

解：(1)

H(X)= ∑p(xi)log2p(xi)

i=

1

7

= (0.2×log20.2+0.19×log20.19+0.18×log20.18+0.17×log20.17+0.15×log20.15+0.1×log20.1+0.01×log20.01)=2.609bit/symbol

K=∑kip(xi)=3×0.2+3×0.19+3×0.18+3×0.17+3×0.15+4×0.1+7×0.01

i

=3.14

η=

H(X)H(X)2.609

===83.1%R3.14K

x3x4x5x6x7 X x1x2

5.2对信源 =

0.20.190.180.170.150.10.01 编二进制费诺码，计算编码效率。PX()

=∑kip(xi)=2×0.2+3×0.19+3×0.1

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p

1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)max?1.585(bit)，

此结论可以推广到N元的离散信源。

1.3 证明不等式

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)ma?5bit)， x1.58( 此结论可以推广到N元的离散信源。

1.3 证明不等式l