信息论与编码理论-第2章信息的度量-习题解答-20071017

第2章 信息的度量

第2章 信息的度量

习 题

2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？

解：

某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有：

⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)

⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)

2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？

解：

设“明天是星期几”为事件a：

⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)

2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？

解：

设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，

则“身高1米6以上的某女孩是大学生”的概率为：

p(a|b)?p(a)p(b|a)0.2?0.8??0.32

p(b)0.5信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)

2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：

⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)

1

信息论与编码理论

平均信息量为：H1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)

2.5 如有7行9列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA，YA）、（XB，YB），但A、B不能落入同一方格内。

(1) 若仅有质点A，求A落入任一个格的平均信息量。 (2) 若已知A已落入，求B落入的平均自信息量。

(3) 若A、B是可分辨的，求A、B同时都落入的平均自信息量。 解：

⑴ 若仅有质点A，A落入任一格内的概率均为1/63，则A落入任一个格的平均信息量为：H(A)???63?log63?log63?5.98(bit/符号)

i?1626311⑵ 若已知A已落入，质点B再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B落入的平均自信息量为：

H(B|A)???i?111?log?log62?5.95(bit/符号) 6262⑶ A、B同时都落入的平均自信息量，即为求联合熵H(AB)：

H(AB)?H(A)?H(B|A)?5.98?5.95?11.93(bit/符号)

a3a4a5a6??X??a1a22.6 设信源?求这信源的熵，并解释为什???0.20.190.180.170.160.17?，p(x)????么H(X) > log6，不满足信息熵的极值性。

解： 信息熵

H(X)??0.2log0.2?0.19log0.19?0.18log0.18?2?0.17log0.17?0.16log0.16?2.66(bit/符号)?log6 因为

?p(a)?1.07?1，所以独立变量不止6-1=5个，因此不满足信息熵的极值性。

ii?16

2.7 有两个二元随机变量X和Y，它们的联合概率为 XY 0 1 0 1 83 81 3 81 8并定义另一随机变量Z=XY（一般乘积）。试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)。

(2) H(X/Y)，H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)和 H(Z|XY)。

(3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和I(X;Z|Y)。

2

第2章 信息的度量

解：

从题意可知，

13p(x?0,y?0)?,p(x?0,y?1)?88

31p(x?1,y?0)?,p(x?1,y?1)?881可得：p(x?0)?p(x?1)?p(y?0)?p(y?1)?

2⑴ H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)

11H(X)??2?log?1(bit/符号)?H(Y)

22由于Z=XY，则有

p(z?0)?p(x?0,y?0)?p(x?0,y?1)?p(x?1,y?0)?1p(z?1)?p(x?1,y?1)?87711所以H(Z)??log?log?0.54(bit/符号)

8888随机变量X和Z的联合概率分布如下： ZX 0 1 1178

0 1 0 1 23 81 8由上表将X和Z的联合概率代入联合熵公式，求得： H(XZ)????p(X?i,Z?j)logp(X?i,Z?j)i?0j?0113311??log?log?log?1.41(bit/符号)228888同样Y、Z的联合概率分布如下： ZY 0 1 11

0 1 0 1 23 8i?0j?01 8H(YZ)????p(Y?i,Z?j)logp(Y?i,Z?j)?1.41(bit/符号)

3

信息论与编码理论

求H(XYZ)：13p(x?0,y?0,z?0)?p(x?0,y?0)?,p(0,0,1)?0,p(0,1,0)?p(0,1)?,8831p(0,1,1)?0,p(1,0,0)?p(1,0)?,p(1,0,1)?0,p(1,1,0)?0,p(1,1,1)?p(1,1)?

88H(XYZ)?H(XY)????p(X?i,Y?j)logp(X?i,Y?j)i?0j?011311??3?2???log?log??1.81(bit/符号)888??8⑵ H(X/Y)，H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)和

H(Z|XY)。

H(X|Y)?H(XY)?H(Y)?1.81?1?0.81(bit/符号)H(Y|X)?H(XY)?H(X)?1.81?1?0.81(bit/符号)H(X|Z)?H(XZ)?H(Z)?1.41?0.54?0.87(bit/符号)H(Z|X)?H(XZ)?H(X)?1.41?1?0.41(bit/符号)H(Y|Z)?H(YZ)?H(Z)?1.41?0.54?0.87(bit/符号)H(Z|Y)?H(YZ)?H(Y)?1.41?1?0.41(bit/符号)H(X|YZ)?H(XYZ)?H(YZ)?1.81?1.41?0.40(bit/符号)H(Y|XZ)?H(XYZ)?H(XZ)?1.81?1.41?0.40(bit/符号)H(Z|XY)?0(bit/符号)

⑶ I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和I(X;Z|Y)。

I(X;Y)?H(X)?H(X|Y)?1?0.81?0.19?bit/符号?I(X;Z)?H(X)?H(X|Z)?1?0.87?0.13?bit/符号?I(Y;Z)?H(Y)?H(Y|Z)?1?0.87?0.13?bit/符号?I(X;Y|Z)?H(X|Z)?H(X|YZ)?0.87?0.40?0.47?bit/符号?I(Y;Z|X)?H(Y|X)?H(Y|XZ)?0.81?0.40?0.41?bit/符号?I(X;Z|Y)?H(X|Y)?H(X|YZ)?0.81?0.40?0.41?bit/符号?

2.8 某一离散无记忆信源的符号集为{0,1}，已知p?0??1/4,p?1??3/4。

(1) 求该信源的信息熵。

(2) 有100个符号构成的序列，求某一个特定序列（例如有m个“0”和（100 – m）个“1”）的自信息量的表达式。

(3) 计算(2)中序列的熵。 解：

(1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/4≈0.81(bit/符号)

(2) 由于为离散无记忆信源，则有p(a1,a2,?a100)?p(a1)p(a2)?p(a100)

4

第2章 信息的度量

所以

I(a1,?,a100)??logp(a1,a2,?,a100)??logp(a1)p(a2)?p(a100)??mlogp(ai?0)?(100?m)logp(ai?1)

4?2m?(100?m)log?1.585m?41.53(3) H(X1?X100)?H(X1)?H(X2)???H(X100)?100H(X)?81(bit/符号)

2.9 设有离散无记忆信源S，其概率空间为

?S??a1a2?aq?? ?ps???ppp???q?i?2??1设另有一离散无记忆信源S?，其符号集为信源S符号集的两倍，即A={ai: i=1,2,…,q, q +1,?,2q }，并且符号的概率分布为：

pi??(1??)pi,(i?1,2,?,q)

pi???pi?q,(i?q?1,q?2,?,2q)请写出信源S'的信息熵与信源S的信息熵的关系。 解：

H(S)???p(ai)logp(ai)i?1qH(S?)???p?(ai)logp?(ai)???(1??)p(ai)log(1??)p(ai)???p(ai)log?p(ai)i?1i?1i?12qqq???p(ai)???1???log?1?????log????H(S)i?1q

?H(S)?[(1??)log(1??)??log?]?H(S)?H(?,1??)??p1??，2.10 设有一概率空间，其概率分布为p1,p2,?pq，并有p1?p2。若取p1??p2??，其中0?2?≤p1?p2，而其他概率值不变。试证明由此所得新的概率空间的熵p2??是增加的，并用熵的物理意义作以解释。

证明： 法1：

H(X)???pilogpii?1qH(?)??(p1??)log(p1??)?(p2??)log(p2??)??pilogpii?3qH(?)?H(X)??(p1??)log(p1??)?(p2??)log(p2??)?p1logp1?p2logp2?p1log

p1p2p???p2log??log1p1??p2??p2??5

本文来源：https://www.bwwdw.com/article/k05v.html