信息论与编码 曹雪虹 张宗橙 清华大学出版社 课后习题答案 第5章

x3x4x5x6x7 X x1x2

5.1设信源 = 0.20.190.180.170.150.10.01 ()PX

(1)求信源熵H(X)；

(2)编二进制香农码；

(3)计算平均码长和编码效率。

解：(1)

H(X)= ∑p(xi)log2p(xi)

i=

1

7

= (0.2×log20.2+0.19×log20.19+0.18×log20.18+0.17×log20.17+0.15×log20.15+0.1×log20.1+0.01×log20.01)=2.609bit/symbol

K=∑kip(xi)=3×0.2+3×0.19+3×0.18+3×0.17+3×0.15+4×0.1+7×0.01

i

=3.14

η=

H(X)H(X)2.609

===83.1%R3.14K

x3x4x5x6x7 X x1x2

5.2对信源 =

0.20.190.180.170.150.10.01 编二进制费诺码，计算编码效率。PX()

=∑kip(xi)=2×0.2+3×0.19+3×0.18+2×0.17+3×0.15+4×0.1+4×0.01

i

=2.74

H(X)H(X)2.609η====95.2%

R2.74K

x3x4x5x6x7 X x1x2

5.3对信源 = 编二进制和三进制哈夫曼码，计算

P(X) 0.20.190.180.170.150.10.01 各自的平均码长和编码效率。

解：

=∑kip(xi)=2×0.2+2×0.19+3×0.18+3×0.17+3×0.15+4×0.1+4×0.01

i

=2.72

H(X)H(X)2.609η

====95.9%

R2.72K

=∑kip(xi)=1×0.2+2×(0.19+0.18+0.17+0.15+0.1+0.01)

i

=1.8

H(X)H(X)2.609η====91.4%

R1.8×log3K2

log2mL

x7x8 xxxxxx X 123456

5.4设信源 =11111111 P(X) 248163264128128

(1)

(2)(3)(4)(5)

解：(1)

求信源熵H(X)；

编二进制香农码和二进制费诺码；

计算二进制香农码和二进制费诺码的平均码长和编码效率；编三进制费诺码；

计算三进制费诺码的平均码长和编码效率；

H(X)= ∑p(xi)log2p(xi)

i=1

8

11111111=×log22+×log24+×log28+×log216+×log232+×log264+×log2128+×log248163264128128=1.984bit/symbol

(2)

香农编码效率：

11111111

K=∑kip(xi)=×1+×2+×3+×4+×5+×6+×7+×7

248163264128128i

=1.984

H(X)H(X)1.984η====100%

R1.984K

费诺编码效率：

11111111

=∑kip(xi)=×1+×2+×3+×4+×5+×6+×7+×7

248163264128128i

=1.984

H(X)H(X)1.984η====100%

R1.984K

(4)

xix1x2x3x4x5x6x7x8

(5)

p(xi)0.5

0.250.1250.06250.031250.0156250.00781250.0078125

编码

01

01

2

2

012

01

码字01202122022122202221

ki1

1223344

11111111

K=∑kip(xi)=×1+×1+×2+×2+×3+×3+×4+×4

248163264128128i

=1.328

H(X)H(X)1.984η====94.3%

RK log2m1.328×log23

1 X 0

= 0.90.1 P(X)

5.5设无记忆二进制信源

先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。

(1)验证码字的可分离性；

(2)求对应于一个数字的信源序列的平均长度1；(3)求对应于一个码字的信源序列的平均长度K2；(4)计算

K2

，并计算编码效率；1

(5)若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K，并计算编码效率。

序列1010010001000010000010000001

数字0133456

二元码字1000100110101011110011011110

0000000100000000

78

11110

5.6有二元平稳马氏链，已知p(0/0)=0.8，p(1/1)=0.7，求它的符号熵。用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率。

5.7对题5.6的信源进行游程编码。若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率。

5.8选择帧长N=64

(1)对0010000000000000000000000000000001000000000000000000000000000000遍L-D码；

(2)对1000010000101100000000010010000101001000000001110000010000000010遍L-D码再译码；(3)对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；(4)对10100011010111000110001110100110000111101100101000110101011010010遍L-D码；(5)对上述结果进行讨论。

本文来源：https://www.bwwdw.com/article/lb11.html