信息论与编码习题解答

信息论与编码习题解答

第一章

1. 一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释）

答：从狭义信息论角度，虽然将要表演的内容观众已知，但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说，观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。

2．利用下图（图1.2）所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？

信源 加密 加密 密钥 信道 信宿 信源 译码 信源 编码 信道 干扰源 信道 编码 译码 解密 解密 密钥

图1.2 通信系统的一般框图

答：重大新闻是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。

第二章

1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：

239!P?CC22393240?2!?237!?240!3!?237!1240/3?1/80

所以，此事件给出的信息量为：I= – log2P = log280=6.32 (bit)

（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，这是一个必然事件，因此信息量为0。

（3）按照Shannon对信息量的定义，只在事件含有不确定成分，才有信息量，并且不确定成分越大，信息量也越大，必然事件则没有信息量。但是从广义信息论的角度，如果那个人不知道用天平二分法找假珠，另一个告诉他这个方法，使他由不知道到知道，也应该含有一定的信息量。

2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？

解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为

I(X) = – lb(1/128)=lb128=7 bit/像素

每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N次扩展。由此，每帧图像包含的信息量为

I(XN) = NI(X)= 3?105?7 =2.1?106 bit/帧

广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为

I(Y) = – lb(1/10000)=lb1000=13.29 bit/字

广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是

I(YN) = NI(Y)= 1000?13.29 =1.329 ?104 bit/字

由于口述一个汉字所包含的信息量为I(Y)，而一帧电视图像包含的信息量是I(XN)，因此广播员要恰当地描述此图像，需要的汉字数量为：

I(XN)I(Y)3．已知 X： 1, 0

P(X)： p, 1 – p （1）求证：H(X) = H(p)

?2.1?10613.29?1.58?105字

（2）求H(p)并作其曲线，解释其含义。

（1） 证明：H(X)= I(X1) +I(X2) = –plbp – (1–p)lb (1–p) =H(p) （2） 解：

H(p) 1 0 0.5 1 p

该H(p)曲线说明，当0与1等概出现时，即p=0.5时，熵最大。当p由0.5分别趋向于0和1时，熵逐渐减小至0。

4．证明H(X3|X1X2) ? H(X2|X1)，并说明等式成立的条件。

证明：设离散平稳信源输出的随机符号序列为…X1,X2,X3,…。又设

x1?X1,x2?X2,x3?X3,而且x1,x2,x3都取自于同一符号集A??a1,a2,?,ag?，并满足有

?P(xX2X12|x1)?1,?P(x3|x2)?1,?P(x3|x1x2)?1,X3X3?P(x)??P(x)??P(x)?1123X2X3

??P(xx)???P(xx)???P(xx)?1122313X1X2X2X3X1X3???P(xxx)?1123X1X2X3?P(xxx)?P(xx)12323X1

?P(xxx)?P(xx)12313X2?P(xxx)?P(xx)12312X3在区域[0，1]内设f(x)=－xlogx, f(x)在[0，1]内是?型凸函数，所以满足詹森不等式

?Pf(x)?f(?Px) 其中?P?1

iiiiii?1i?1i?1qqq现今xi?P(x3|x2x1),设其概率空间为P(x1|x2)，并满足

?P(x|x)?1

12X1所以根据詹森不等式得

?P(xX1X11|x2)[?xilogxi]??[?P(x1|x2)xi]log[?P(x1|x2)xi]X1X1??P(x1|x2)P(x3|x1x2)logP(x3|x1x2)???P(x1|x2)P(x3|x1x2)log?P(x1|x2)P(x3|x1x2)X1X1

所以

?P(xxx)?P(xx)12323X1?P(xxX113|x2)P(x2)?P(x3|x2)P(x2)

上式对所有x1,x2,x3的取值都成立，所以

?P(xxX113|x2)?P(x3|x2)

?P(xX11|x2)P(x3|x1x2)?P(x3|x2)所以??P(x1x3|x2)logP(x3|x1x2)??P(x3|x2)logP(x3|x2)X1因为0?P(x2)?1,x2?X2，所以上式两边相乘，等号不变。有

??P(x2)P(x1x3|x2)logP(x3|x1x2)??P(x2)P(x3|x2)logP(x3|x2)

X1上式对所有x2,x3都成立，所以对所有x2,x3求和下式也成立

????P(x1x2x3)logP(x3|x1x2)????P(x2x3)logP(x3|x2)

X1X2X3X2X3因为 H(X3|X1X2) ? H(X3|X2) 所以是平稳信源 H(X3|X2) = H(X2|X1) 得 H(X3|X1X2) ? H(X2|X1)

只有当P(x3|x1x2)?P(x3|x2)(对所有x1,x2,x3)时等式成立。

'?p1??， 5．设有一概率空间，其概率分布为{p1, p2, …, pq}，且p1>p2。若取p1'p2?p2??，其中0 <2? ? p1 – p2，而其它概率值不变。证明由此得到的新的概率空间的熵

是增加的，并用熵的物理意义加以解释。 证明：令a?得

?p1?p2?0的小数1?a?p1?p2??

p1?p2ap1?(1?a)p2?(1?a)p1?ap2??p1?p2p1?p1?p2??p2?p2??p1?p2p1?p2???p1??p2?p1??p1?p2p1?p2

因为f(x)=－xlogx是?型函数，根据?型凸函数的定义有

f[ap1?(1?a)p2]?af(p1)?(1?a)f(p2)

所以 f(p2??)?af(p1)?(1?a)f(p2) 即 ?(p2??)log(p2??)??[同理得

?p1?p2p1logp1?p1?p2??p2logp2]

p1?p2(1??)??[ ?(p1??)logpp1?p2???p1logp1?p2logp2]

p1?p2p1?p2以上两不等式两边相加，不等号不变。

所以得

?(p1??)log(p1??)?(p2??)log(p2??)??p1logp2?p2logp2

6．某办公室和其上级机关的自动传真机均兼有电话功能。根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。 解：设发传真和打电话分别为事件X1与X2,对方按传真和按电话接续分别为事件Y1和Y2,则

P(X1)=30%,P(X2)=70%

P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=0.285, P(X1Y2)=0.015 P(X2Y1)=0.007, P(X2Y2)=0.693

P(Y1)= P(X1Y1)+ P(X2Y1)= 0.292 P(Y2)=1－ P(Y1)= 0.708

H(X)=－ P(X1)lb P(X1) － P(X2)lb P(X2) =0.8814 bit/符号

H(Y)=－ P(Y1)lb P(Y1) － P(Y2)lb P(Y2) =0.8713 bit/符号 22lbP H(XY)= ? ? ? P (XiYj ) (XiYj ) =1.0239 bit/两个信符 i?1j?1 I(X;Y)=H(X)+H(Y) － H(XY)=0.7288 bit/信符 （1）听到电话振铃的疑义度

H(X|Y2)=－ P(X1Y2)lb P(X1Y2)－ P(X2Y2)lb P(X2Y2)= 0.4575 bit/信符 （2）接续信道的噪声熵

本文来源：https://www.bwwdw.com/article/5rxa.html