信息论与编码-曹雪虹-课后习题答案

《信息论与编码》课后习题答案

第二章

2.1一个马尔可夫信源有3个符号 u1,u2,u3 ，转移概率为：p u1|u1 1/2，

p u2|u1 1/2，p u3|u1 0，p u1|u2 1/3，p u2|u2 0，p u3|u2 2/3，p u1|u3 1/3，p u2|u3 2/3，p u3|u3 0，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

0 1/21/2

p 1/302/3

1/32/30

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11 1

W1 W2 W3 W110 2W1 33 2512 WP W9 W1 W3 W2

由 得 2计算可得 W2 3

W1 W2 W3 125 2

6 W2 W3 W3 3 25 W1 W2 W3 1

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。 解：p(0|00) p(00|00) 0.8 p(0|01 )p

(10 |01 )

(00 |10)

p(0|11) p(10|11) 0.2 p(0|10 )pp(1|00) p(01|00) 0.2 p(1|01 )p

(11 |01

)

p(1|11) p(11|11) 0.8 p(1|10 )p(01 |10 )

0 0.80.20

000.50.5 于是可以列出转移概率矩阵：p

0.50.500 000.20.8

状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

5 W1 14 0.8W1 0.5W3 W1

0.2W1 0.5W3 W2

W2 1 WP W 4 7

得 计算得到 0.5W2 0.2W4 W3

Wi 1 W3 1 0.5W2 0.8W4 W4 i 1

7 W1 W2 W3 W4 15 W4

14

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111

p(xi)

666618I(xi) logp(xi) log

(2)

1

4.170 bit18

111

p(xi)

6636I(xi) logp(xi) log

(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

1

5.170 bit36

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是 其他15个组合的概率是2

111

6636

111

6618

1111

H(X) p(xi)logp(xi) 6 log 15 log 4.337 bit/symbol

361818 36i

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

23456789101112 X 1 1111151511 P(X)

3618129366369121836 H(X) p(xi)logp(xi)

i

111111115511

2 log 2 log 2 log 2 log 2 log log

361818121299363666 36

3.274 bit/symbol

(5)

1111

p(xi) 11

6636I(xi) logp(xi) log

11

1.710 bit36

2-4

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75

设随机变量Y代表女孩子身高

Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的 即：p(y1/x1) 0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1) logp(x1/y1) log

p(x1)p(y1/x1)0.25 0.75

log 1.415 bit

p(y1)0.5

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为3的概率p(x) p(1,2) p(2,1)

1 18

该消息自信息量I(x) logp(x) log18 4.170bit 2）因圆点之和为7的概率

p(x) p(1,6) p(6,1) p(2,5) p(5,2) p(3,4) p(4,3)

该消息自信息量I(x) logp(x) log6 2.585bit

2.7 设有一离散无记忆信源，其概率空间为

1 6

X x1 0x2 1x3 2x4 3

1/41/41/8 P 3/8

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1) log2

18

log2 1.415bit p(x1)3

同理可以求得I(x2) 2bit,I(x3) 2bit,I(x3) 3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I 14I(x1) 13I(x2) 12I(x3) 6I(x4) 87.81bit 平均每个符号携带的信息量为

87.81

1.95bit/符号 45

2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1) logn log4 2 bit/symbol 八进制脉冲的平均信息量H(X2) logn log8 3 bit/symbol 二进制脉冲的平均信息量H(X0) logn log2 1 bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲

(1) I(●)=Log(4) 2 I(－)＝Log 0.415

3

(2) H=

14

Log(4)

34Log

4 3

4

0.811

2-10

(2) P(黑/黑

)= H(Y/黑

)= (3) P(黑/白

)= H(Y/白

)= (4) P(黑

)=

H(Y)=

P(白

)=

P(白/白

)=

P(白/黑

)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2,……….,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj) p(xi) （1）H(Y)

p(yj)log

j 1

3

12381838

log 2 log 1.24bit/符号 p(yj)3823818

（2）H(X,Y) H(X) log238 5.25bit/符号

（3）H(X|Y) H(X,Y) H(Y) H(X) H(Y) 5.25 1.24 4.01bit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r xi,yj rij为

r11r12

r21r22 r

31r32r13 7/241/240 r23 1/241/41/24

r33 1/247/24 0

（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多

少？ 解：联合概率p(xi,yj)为

H(X,Y) p(xi,yj)log2

ij

1p(xi,yj)

2

72411

log2 4 log224 log24247244

=2.3bit/符号

1

H(Y) 3 log23 1.58bit/符号

3H(X|Y) H(X,Y) H(Y) 2.3 1.58

=0.72bit/符号

2.13 有两个二元随机变量X和Y，它们的联合概率为

并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ),

H(Y/XZ)和H(Z/XY)；

(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

131

p(x1) p(x1y1) p(x1y2)

882311

p(x2) p(x2y1) p(x2y2)

882

H(X) p(xi)logp(xi) 1 bit/symbol

i

131

p(y1) p(x1y1) p(x2y1)

882311

p(y2) p(x1y2) p(x2y2)

882

H(Y) p(yj)logp(yj) 1 bit/symbol

j

Z = XY的概率分布如下：

z 0z2 1

Z 1

71 P(Z)

8 8

2

711 7

H(Z) p(zk) log log 0.544 bit/symbol

888 8k

p(x1) p(x1z1) p(x1z2)p(x1z2) 0p(x1z1) p(x1) 0.5p(z1) p(x1z1) p(x2z1)p(x2z1) p(z1) p(x1z1) p(z2) p(x1z2) p(x2z2)p(x2z2) p(z2)

1

8

73 0.5 88

13311 1

H(XZ) p(xizk)logp(xizk) log log log 1.406 bit/symbol

28888 2ik

p(y1) p(y1z1) p(y1z2)p(y1z2) 0p(y1z1) p(y1) 0.5p(z1) p(y1z1) p(y2z1)p(y2z1) p(z1) p(y1z1) p(z2) p(y1z2) p(y2z2)p(y2z2) p(z2)

18

73 0.5 88

13311 1

H(YZ) p(yjzk)logp(yjzk) log log log 1.406 bit/symbol

28888 2jk

p(x1y1z2) 0p(x1y2z2) 0p(x2y1z2) 0

p(x1y1z1) p(x1y1z2) p(x1y1)p(x1y1z1) p(x1y1) 1/8p(x1y2z1) p(x1y1z1) p(x1z1)p(x1y2z1) p(x1z1) p(x1y1z1) p(x2y1z1) p(x2y1z2) p(x2y1)p(x2y1z1) p(x2y1) p(x2y2z1) 0

p(x2y2z1) p(x2y2z2) p(x2y2)

1

8

H(XYZ) p(xiyjzk)log2p(xiyjzk)p(x2y2z2) p(x2y2)

i

j

k

113 288

38

1333311 1

log log log log 1.811 bit/symbol

8888888 8

(2)

1333311 1

H(XY) p(xiyj)log2p(xiyj) log log log log 1.811 bit/symbol

8888888 8ij

H(X/Y) H(XY) H(Y) 1.811 1 0.811 bit/symbolH(Y/X) H(XY) H(X) 1.811 1 0.811 bit/symbolH(X/Z) H(XZ) H(Z) 1.406 0.544 0.862 bit/symbolH(Z/X) H(XZ) H(X) 1.406 1 0.406 bit/symbolH(Y/Z) H(YZ) H(Z) 1.406 0.544 0.862 bit/symbolH(Z/Y) H(YZ) H(Y) 1.406 1 0.406 bit/symbolH(X/YZ) H(XYZ) H(YZ) 1.811 1.406 0.405 bit/symbolH(Y/XZ) H(XYZ) H(XZ) 1.811 1.406 0.405 bit/symbolH(Z/XY) H(XYZ) H(XY) 1.811 1.811 0 bit/symbol

(3)

I(X;Y) H(X) H(X/Y) 1 0.811 0.189 bit/symbolI(X;Z) H(X) H(X/Z) 1 0.862 0.138 bit/symbolI(Y;Z) H(Y) H(Y/Z) 1 0.862 0.138 bit/symbol

I(X;Y/Z) H(X/Z) H(X/YZ) 0.862 0.405 0.457 bit/symbolI(Y;Z/X) H(Y/X) H(Y/XZ) 0.862 0.405 0.457 bit/symbolI(X;Z/Y) H(X/Y) H(X/YZ) 0.811 0.405 0.406 bit/symbol

2-14 (1)

P(ij)=

P(i/j)=

(2) 方法1:

=

方法2:

2-15 P(j/i)=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X) 0.3log2P(黑|白)=P(黑)

1010

0.7log2 0.8813bit/符号 37

P(白|白)＝P(白)

P(黑|黑)＝P(黑)

P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）

H (X) H(X2|X1) p(xi,yj)log2

ij

1p(xi,yj)

0.9143 0.7log2 0.8 0.3log2

10.8

111

0.0857 0.7log2 0.2 0.3log2

0.91430.08570.2

＝0.512bit/符号

2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？

解： 1)

H(X) log2n log2128 7 bit/symbol

H(X) NH(X) 3 10 7 2.1 10 bit/symbol

2)

N

5

6

H(X) log2n log210000 13.288 bit/symbolH(X) NH(X) 1000 13.288 13288 bit/symbol

3)

N

H(XN)2.1 106

N 158037

H(X)13.288

2.20 给定语音信号样值X的概率密度为p(x) 明它小于同样方差的正态变量的连续熵。 解：

1 x

e, x ,求Hc(X)，并证2

1 x

Hc(X) px(x)logpx(x)dx px(x)logedx

2 1

px(x)logdx px(x)( x)logedx

2 11 x

log loge e( x)dx

22

11

log loge e x ( x)dx log

22 11

log 2loge 2xe xdx

2201 x

log loge (1 x)e 0

212e log loge log

2

0

1 x

e( x)dx 2

E(X) 0,D(X)

H(X,)

2

2

1214 elog2 e2 log2 H(X) 2 2

2.24 连续随机变量X和Y的联合概率密度为：

1

p(x,y) r2

0

x2 y2 r2其他

，求H(X), H(Y), H(XYZ)和I(X;Y)。

（提示： 02log2sinxdx log22）

2

解：

p(x)

r2 x2

r2 x2

r

p(xy)dy

r2 x2

12r2 x2

dy ( r x r)

r2 x2 r2 r2

Hc(X) p(x)logp(x)dx

rr

2r2 x2

p(x)logdx

r r2rr2

p(x)log2dx p(x)logr2 x2dx

r r r

r r2

log p(x)logr2 x2dx

r2 r21

log logr 1 log2e

22

1

log2 r log2e bit/symbol

2

其中：

r

r

p(x)logr2 x2dx

r

2r2 x2

logr2 x2dx2 r r4r

2 r2 x2logr2 x2dx r0

40

令x rcos 2 rsin logrsin d(rcos )

r2

40

2 r2sin2 logrsin d r2 4

4

20

sin2 logrsin d sin logrd

2

20

4

4

20

sin2 logsin d

1 cos2 41 cos2

logr 2d 2logsin d

00 2 2

20

2

logr 2d

2

logr 2cos2 d

2

logsin d

2

20

cos2 logsin d

logr

1

logr 2dsin2

2

(

2

log22)

2

20

cos2 logsin d

logr 1

2

20

cos2 logsin d

1

logr 1 log2e

2

其中：

2

20

cos2 logsin d

20

1

logsin dsin2

20

1 sin2 logsin

1

2sin2 dlogsin 0

2

20

2sin cos

cos log2e

d

sin

2

log2e 2cos2 d

1 cos2

d

0 2

112 log2e d log2e 2cos2 d

log2e 2

11 log2e log2esin2

22 1

log2e

2

20

p(y)

r2 y2

r yp(xy)dx

r2 y2

2r2 y21

dx ( r y r)

r y r2 r2

p(y) p(x)

1

HC(Y) HC(X) log2 r log2e bit/symbol

2Hc(XY) p(xy)logp(xy)dxdy

R

p(xy)log

R

1

dxdy r2

log r2 p(xy)dxdy

R

log2 r2 bit/symbolIc(X;Y) Hc(X) Hc(Y) Hc(XY) 2log2 r log2e log r2 log2 log2e bit/symbol

2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

133 1

H(X) p(xi)logp(xi) log log 0.811 bit/symbol

444 4i

(2)

m

100 m

1 3

p(xi)

4 4

3100 m 100

4

3

41.5 1.585m bit4100

100 m

I(xi) logp(xi) log

(3)

H(X100) 100H(X) 100 0.811 81.1 bit/symbol

2-26

P(i)=

P(ij)=

H(IJ)=

2.29 有一个一阶平稳马尔可夫链X1,X2, ,Xr, ,各Xr取值于集合A a1,a2,a3 ,已知起始概率P(Xr)为p1 1/2,p2 p3 1/4，转移概率如下图所示

(1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵 (3) 求H0,H1,H2和它们说对应的冗余度 解：（1）

H(X1,X2,X3) H(X1) H(X2|X1) H(X3|X2,X1) H(X1) H(X2|X1) H(X3|X2)

111111

H(X1) log log log 1.5bit/符号

224444

，X的联合概率分布为

p(x2j) p(x1ix2j)

i

X2的概率分布为

那么

111131131

H(X2|X1) log4 log4 log4 log log3 log log3

48862126212

=1.209bit/符号

X2X3

那么

H(X3|X2)

=1.26bit/符号

771535535

log2 log4 log4 log log3 log log3 244883627236272

H(X1,X2,X3) 1.5 1.209 1.26 3.969bit/符号

所以平均符号熵H3(X1,X2,X3)

3.969

1.323bit／符号 3

14013

1 4 1 3 0

1 2 2

（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P

3 2 3224 1W1 W2 W3 1W1 2733

31 WP W 1由 得到 W1 W3 W2计算得到 W2

Wi 1143 4

3 1 W1 W2 W3

W3 14

又满足不可约性和非周期性

3 4111321

H (X) WiH(X|Wi) H(,,) 2 H(,,0) 1.25bit/符号

72441433i 1

(3)H0 log3 1.58bit/符号 H1 1.5符号 H2 bi/t

1.25

0.211.581.25

2 1 2 1 0.078

1.355

0 1 0 1

1.5 1.209

符号 1.35b5i/t

21.25

1 1 1 1 0.617

1.5

2-30

(1) 求平稳概率

P(j/i)=

解方程组

得到

(2)

信源熵为:

2-31

P(j/i)= 解方程组

得到W1= , W2= , W3=

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H 进行比较

图2-13

1 pp/2p/2 解:根据香农线图,列出转移概率距阵P p/21 pp/2 p/2p/21 p

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

p

(1 p)W1 W2 2

WP W 3 p

得到 W1 (1 p)W2

Wi 1 2 i 1

W1 W2 W3 1

由齐次遍历可得

1p W W3 W1

32

p1

W3 W2 计算得到 W

32

1 W 3

1pp12

H (X) WiH(X|Wi) 3 H(1 p,,) (1 p)log plog

3221 ppi

H(X) log3 1.58bit/符号 由最大熵定理可知H (X)存在极大值

,

或者也可以通过下面的方法得出存在极大值:

H (X)1 pp21 p log(1 p) ( 1) log p log p1 p2p2 2(1 p)

ppp11

又0 p 1所以 0, 当p=2/3时 1

2(1 p)2(1 p)2(1 p)22(1 p)

H (X)p

0<p<2/3时 log 0

p2(1 p) H (X)p

2/3<p<1时 log 0

p2(1 p)

所以当p=2/3时H (X)存在极大值,且H (X)max 1.58bit/符号

所以H (X) H(X,)

2-33

(1)

解方程组

:

得p(0)=p(1)=p(2)= (2)

(3)

当p=0或p=1时 信源熵为0

练习题：有一离散无记忆信源，其输出为X 0,1,2 ，相应的概率为

p0 1/4,p1 1/4,p2 1/2，设计两个独立的实验去观察它，其结果分别为Y1 0,1 ,Y2 0,1 ，已知条件概率:

(1) 求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些

(2) 求I(X;Y1Y2)，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少

关于X的信息

(3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义

P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2

11111

I(X;Y1) H(Y1) H(Y1|X) log2 log log 2 log2=0.5bit/符号

42424111

I(X;Y2) H(Y2) H(Y2|X) log2 log1 log1 log1 1bit/符号>I(X;Y1)

442

所以第二个实验比第一个实验好

（2）因为Y1和Y2 相互独立，所以p(y1y2|x) p(y1|x)p(y2|x)

本文来源：https://www.bwwdw.com/article/14m1.html