信息论与编码曹雪虹第三版课后答案第四章

《信息论与编码》课后习题答案

第二章

2.1一个马尔可夫信源有3个符号 u1,u2,u3 ，转移概率为：p u1|u1 1/2，

p u2|u1 1/2，p u3|u1 0，p u1|u2 1/3，p u2|u2 0，p u3|u2 2/3，p u1|u3 1/3，p u2|u3 2/3，p u3|u3 0，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

0 1/21/2

p 1/302/3

1/32/30

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11 1

W1 W2 W3 W110 2W1 33 2512 WP W9 W1 W3 W2

由 得 2计算可得 W2 3

W1 W2 W3 125 2

6 W2 W3 W3 3 25 W1 W2 W3 1

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。 解：p(0|00) p(00|00) 0.

《信息论与编码》-曹雪虹-课后习题答案

第二章

2.1一个马尔可夫信源有3个符号{}1,23,u

u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3

由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图

相信我，没错的！！！

第三章

?21??33??12???3.1 设二元对称信道的传递矩阵为?33?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=

x3x4x5x6x7 X x1x2

5.1设信源 = 0.20.190.180.170.150.10.01 ()PX

(1)求信源熵H(X)；

(2)编二进制香农码；

(3)计算平均码长和编码效率。

解：(1)

H(X)= ∑p(xi)log2p(xi)

i=

1

7

= (0.2×log20.2+0.19×log20.19+0.18×log20.18+0.17×log20.17+0.15×log20.15+0.1×log20.1+0.01×log20.01)=2.609bit/symbol

K=∑kip(xi)=3×0.2+3×0.19+3×0.18+3×0.17+3×0.15+4×0.1+7×0.01

i

=3.14

η=

H(X)H(X)2.609

===83.1%R3.14K

x3x4x5x6x7 X x1x2

5.2对信源 =

0.20.190.180.170.150.10.01 编二进制费诺码，计算编码效率。PX()

=∑kip(xi)=2×0.2+3×0.19+3×0.1

x3x4x5x6x7 X x1x2

5.1设信源 = 0.20.190.180.170.150.10.01 ()PX

(1)求信源熵H(X)；

(2)编二进制香农码；

(3)计算平均码长和编码效率。

解：(1)

H(X)= ∑p(xi)log2p(xi)

i=

1

7

= (0.2×log20.2+0.19×log20.19+0.18×log20.18+0.17×log20.17+0.15×log20.15+0.1×log20.1+0.01×log20.01)=2.609bit/symbol

K=∑kip(xi)=3×0.2+3×0.19+3×0.18+3×0.17+3×0.15+4×0.1+7×0.01

i

=3.14

η=

H(X)H(X)2.609

===83.1%R3.14K

x3x4x5x6x7 X x1x2

5.2对信源 =

0.20.190.180.170.150.10.01 编二进制费诺码，计算编码效率。PX()

=∑kip(xi)=2×0.2+3×0.19+3×0.1

第四章作业

4.1 某新建三级公路，设计速度V＝30km/h，路面宽度B＝7m，路拱iG=2%，路肩bJ＝0.75m，

iJ＝3％。某平曲线α＝34°50\，R＝150m，Ls＝40m，加宽值b=0.7m，超高ih=3%，交

点桩号为K7+086.42。试求曲线上5个主点及下列桩号的路基路面宽度、横断面上的高程与设计高程之差：1）K7+030；2) K7+080；3）K7+140；4) K7+160。

解：

（1）平面要素计算

p=0.44 q=19.99 T=67.18 L=131.20 E=7.67

则五个主点桩号如下 ZH点：K7+019.24 HY点：K7+ 059.24 QZ点：K7+084.84 YH点：K7+110.44 HZ点：K7+150.44 加宽值采用比例过渡，bx=果如下表

Lxb,最终结L ZH

桩号

加宽值

K7+019.24 0 路基路面宽度

8.5

HY QZ YH HZ

K7+030 K7+059.24 K7+ 080 K7+084.84 K7+110.44 K7+140 K7+150.44 K7+160

0.19 0.7 0.7 0.7 0.7 0.18 0 0 单

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

Chapter 4 From Word to Text

syntax

■Syntax is the study of the rules governing the ways different

constituents are combined to form sentences in a language, or the study of the interrelationships

betweenstructures.

elements

in

sentence

4.1 Syntactic relations■Syntactic relations can be analysed into three kinds: ■relations of position 位置关系 ■relations of substitutability 替代关系

■relations of co-occurrence 同现关系4.1.1 Positional Relations ■For language to fulfill its communicative function, it must have a way to mark the grammatical roles

实验4 Huffman编码对英文文本的压缩和解压缩

一、实验内容

根据信源压缩编码——Huffman编码的原理，制作对英文文本进行压缩和解压缩的软件。要求软件有简单的用户界面，软件能够对运行的状态生成报告，分别是：字符频率统计报告、编码报告、压缩程度信息报告、码表存储空间报告。 二、实验环境

1. 计算机

2. Windows 2000 或以上 3. Microsoft Office 2000 或以上 4. VC++ 6.0 三、实验目的

1. 掌握Huffman编码的原理

2. 掌握VC开发环境的使用（尤其是程序调试技巧） 3. 掌握C语言编程（尤其是位运算和文件的操作） 4. 掌握数据结构的内容：链表、顺序表、堆栈、最优二叉树 5. 掌握结构化程序分析和开发的软件工程原理 四、实验要求

1. 提前预习实验，认真阅读实验原理。

2. 认真高效的完成实验，实验过程中服从实验室管理人员以及实验指导老

师的管理。

3. 认真填写实验报告。 五、实验原理

压缩/解压缩流程

压缩流程：

读取扫描文本文件——〉统计字符频率——〉生成码字——〉保存压缩文件 解压缩流程：

读取扫描压缩文件——〉提取字符频率——〉生成码树——〉保存文本文件 六、参考书

1.