第2章 信息的统计度量

2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为1/6，试求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；

(3) “两个点数中至少有一个是1”这事件的自信息量。

解： (1)

p(xi)?11111????6666181I(xi)??logp(xi)??log?4.17 bit18(2)

p(xi)?111??66361I(xi)??logp(xi)??log?5.17 bit36(3)

p(xi)?1111??11?663611?1.71 bit36

I(xi)??logp(xi)??log

2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数的一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75

设随机变量Y代表女孩子身高

Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的 即：p(y1/x1)?0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1)??logp(x1/y1)??logp(x1)p(y1/x1)0.25?0.75??log?1.415 bit

p(y1)0.5

2.5 一副充分洗乱了的牌（含52张牌），试问： (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

· 1 ·

p(xi)?1 52!I(xi)??logp(xi)?log52!?225.581 bit

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

413p(xi)?13C52I(xi)??logp(xi)??log

4?13.208 bit13C5213

2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1)?logn?log4?2 bit 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为(XA,YA)、(XB,YB)，但A和B不能落入同一方格内。试求： (1) 若仅有质点A，求A落入任一方格的平均自信息量； (2) 若已知A已入，求B落入的平均自信息量；

(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。

解：

1(1) 48H(X)?logn?log48?5.58 bitp(xi)?

p(xi)?148(2) p(yj/xi)?1

47H(Y/X)????p(xi)p(yj/xi)logp(yj/xi)?logn?log47?5.55 bitij

t(3) H(XY)?H(X)?H(Y/X)?5.58?5.55?11.14 bi

· 2 ·

31112.10 一个消息由符号0，1，2，3组成，已知p(0)?，p(1)?，p(2)?，p(3)?。试求

8844由60个符号构成的消息的平均信息量。

解：

H(X)???p(xi)logp(xi)i ??(0.375log0.375?0.25log0.25?0.25log0.25?0.125log0.125) ?1.906 bit60H(X)?60?1.906?114.36 bit2.13 已知信源发出a1和a2两种消息，且p(a1)?p(a2)?0.5。此消息在二进制对称信道上传输，信道传输特性为

p(b1/a1)?p(b2/a2)?1??, p(b1/a2)?p(b2/a1)??

求互信息量I(a1;b1)和I(a2;b2)。

解：

1?(1??)p(a1)p(b1/a1)2p(a1/b1)???1??11p(ai)p(b1/ai)??(1??)???i22

1?(1??)p(a2)p(b2/a2)2p(a2/b2)???1??11p(a)p(b/a)?i2i????(1??)i22p(a1/b1)(1??)I(a1;b1)?log?log?1?log(1??) bit1p(a1)2

p(a2/b2)(1??)I(a2;b2)?log?log?1?log(1??) bit1p(a2)22.15 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率P(黑) = 0.3，白色的出现概率P(白) = 0.7。假设黑白消息视为前后无关，求信息熵H(X)。

解：

H(X)???p(xi)logp(xi)??(0.3log0.3?0.7log0.7)?0.881 bit

i

2.17 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

· 3 ·

晴

冷 12

晴

冷 8

忙

雨

暖 8 冷 27

闲

雨

暖 15 冷 4

暖 16 暖 12

若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。

解： (1)

根据忙闲的频率，得到忙闲的概率分布如下：

x忙x2闲??X???1??6339???P(X)?????102102??633939??63H(X)???p(xi)logp(xi)???log?log??0.960 bit102102102??102i

(2)

设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z

2

H(XYZ)?????p(xiyjzk)logp(xiyjzk)ijk128827271616?12 ???log?log?log?log102102102102102102102 ?102881515441212? ?log?log?log?log?102102102102102102102102? ?2.819 bit20232331312828??20H(YZ)????p(yjzk)logp(yjzk)???log?log?log?log?102102102102102102102102??jk ?1.980 bitH(X/YZ)?H(XYZ)?H(YZ)?2.819?1.980?0.839 bit

(3)

I(X;YZ)?H(X)?H(X/YZ)?0.960?0.839?0.121 bit

2.18 有两个二元随机变量X和Y，它们的联合概率分布函数如题表2.1所列。

题表 2.1

· 4 ·

Y X 0 1 0 1/8 3/8 1 3/8 1/8 同时定义另一随机变量Z = XY（一般乘积）。试计算： (1) 熵H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) 条件熵H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；

(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

p(x11)?p(x1y1)?p(x1y2)?8?318?2p(x)?p(x31122y1)?p(x2y2)?8?8?2

H(X)???p(xi)logp(xi)?1 bitip(y131)?p(x1y1)?p(x2y1)?8?8?12p(yp(x3112)?1y2)?p(x2y2)?8?8?2

H(Y)???p(yj)logp(yj)?1 bitj

Z = XY的概率分布如下：

?Z????z1?0z2?1???P(Z)????71???88??

2H(Z)???p(z?7711?k)logp(zk)???logk?88?8log8???0.544 bitp(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z71)?p(x1z1)?8?0.5?38

p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?18H(XZ)????p(xz?113311?izk)logp(xik)???log?log?log??1ik?228888?.406 bit

5 ·

·

本文来源：https://www.bwwdw.com/article/s8lf.html