《信息理论与编码》,答案，考试重点（1--3章）

《信息理论与编码》习题参考答案

1. 信息是什么?信息与消息有什么区别和联系?

答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。

第2章

1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？

答：依据题意，这一随机事件的概率空间为

?X??x1x2??P???0.80.2?????

其中：

x1表示摸出的球为红球事件，

x2表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是

I?x1???logp?x1???log0.8b)如果摸出的是白球，则获得的信息量是

（比特）

I?x2???logp?x2???log0.2np?x1?np?x2?（比特）

c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为

次，白球出现的次数为

次。随机摸取n次后总共所获得信息量为

np?x1?I?x1??np?x2?I?x2?d)则平均随机摸取一次所获得的信息量为

1?np?x1?I?x1??np?x2?I?x2???n?????p?x1?logp?x1??p?x2?logp?x2???H?X???0.72 比特/次

2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。

根据题意，则知：

P?A??0.25 P?B??0.50 P?BA??0.75

而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A

事件发

生。所以其概率为PAB

根据贝叶斯定律可得

??P?AB??P?AB?P?B??P?A?P?BA?P?B??0.25?0.75?0.375

0.5则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量

I?AB???logP?AB????log0.375?1.415（比特）

3. 设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？

答：发送集合X??0,1,…,9?,接收集合Y??0,1,…,9,其中 ?

p?y?i??因为

110?i?0,2,4,6,8?

181p?y?ix?j??2p?y?ix?j??所以

?i,j?1,3,5,7,9?i,j?1,3,5,7,9i?j?

i?j?p(y?i)??p?x?j?p?y?ix?j??i,j110?i,j?1,3,5,7,9?

最后得：

H?Y????p?y?i?logp?y?i??log10?3.232（比特/符号）

i?09?0?X??4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为???3?P???41?。 1??4?(1) 求信源熵。

(2) 求由m个“0”和(100-m)个“l”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答：

（1）信源熵为

134H?X??log4?log?0.8113 比特/符号

443（2）该特定序列用A表示则

?1??3?I?A???log???? ?4??4??41.5?1.585m (bit)（3）因为信源是无记忆信源，所以

m?100?m?H?X100??100H?X??81.13 比特/符号序列

5. 有一离散无记忆信源，其输出为X??0,1,2?，相应的概率为p0?1/4，p1?1/4，p2?1/2，设计两个独立实验去观察它，其结果分别为Y1??0,1?，Y2??0,1?。

已知条件概率如表2-4所示。 p?y1x? 0 1 0 1 0 1/2 表2-4 习题5表 p?y2x?1 0 1 1/2 0 1 2 0 1 1 0 1 0 0 1 2 (1) 求I?X;Y1?和I?X;Y2?，并判断作哪一个实验好些。

(2) 求I?X;Y1,Y2?，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于X的信息。

(3) 求I?X;Y1Y2?和I?X;Y2Y1?，并解释它们的含义。 答：

（1）I?X;Y1?=H?Y1??HY1X，要求H?Y1?和HY1X需要先求P?Y1?，

????P?XY1?，P?Y1X?已知。

I?X;Y2?=H?Y2??H?Y2X?，要求H?Y2?和H?Y2X?需要先求P?Y2?，

P?XY2?，P?Y2X?已知。

由P?XY1??P?X?PY1X及联合概率分布与边缘概率分布的关系可得

??P?XY1?及P?Y1?，如表2-1所示：

表2-1 Y1 Y2 0 1 P?XY1? X 0 1 2 P?XY2? 0 1 X 1/4 0 1/4 1/2 0 1/4 1/4 1/2 0 1 2 1/4 1/4 0 1/2 0 0 1/2 1/2 P?Y1? 所以

P?Y2? 11H?Y1??log2?log2?1 比特/符号

2211111H?Y1X??log1?log1?log2?log2? 比特/符号

4444211I?X;Y1??H?Y1??H?Y1X??1?= 比特/符号

22同样可求出P?XY2?及P?Y2?，如表2-2所示： 所以

11H?Y2??log2?log2?1 比特/符号

22111H?Y2X??log1?log1?log1?0 比特/符号

442I?X;Y2??H?Y2??H?Y2X??1 比特/符号

因此第二个实验好些。

（2）I?X;YY12??H?Y2Y2??HY2Y2X，因此要求出P?YY12X和12?，PYY????YYP?XYY12X?=P?Y1X?P?Y2X?。 12?。由于1、2是相互独立的实验，所以P?YYP?Y1X?????P?YY12X??P?XYY12??P?YY12?（见表2-2和表2-3）

P?Y2X???表2-2 Y1Y2 P?YY12X? X 00 01 10 11 0 1 2 1 0 0

0 0 1/2 表2-3 0 1 0 0 0 1/2 Y1Y2 P?XYY12? X 0 1 2 00 01 10 11 1/4 0 0 1/4 0 0 1/4 1/4 0 1/4 0 1/4 0 0 1/4 1/4 P?YY12? 1111H?Y1X??log4?log4?log4?log4?2 比特/符号

444411111H?YYX?log1?log1?log2?log2? 比特/符号 ?124444213I?X;YY?HYY?HYYX?2?= 比特/符号 ?????12121222可以看到：做Y1和Y2两个实验比做Y1一个实验可多得到的信息为

I?X;YY12??I?X;Y1??31?=1 比特/符号 22可以看到：做Y1和Y2两个实验比做Y2一个实验可多得到的信息为

31?1= 比特/符号 2231（3）I?X;Y1Y2??I?X;YY它表示做完Y2实?IX;Y??1= 比特/符号，???12222I?X;YY12??I?X;Y2??验以后，从Y1实验可得到关于X的信息量。

I?X;Y1Y2??I?X;YY12??I?X;Y1??31?=1 比特/符号，它表示做Y1完实验以22后，从Y2实验可得到关于X的信息量。

?X??x1x2?6. 设信源?接收符号为Y??y1,y2?，信道传递概率????通过一干扰信道，PX0.60.4??????如图2-7所示。求：

(1) 信源X中事件x1和x2分别携带的自信息量。

(2) 收到消息yj?j?1,2?后，获得的关于xi?i?1,2?的信息量。 (3) 信源X和信源Y的信息熵。 (4) 损失熵H?XY?和噪声熵H?YX?。 (5) 接收到消息Y后获得的平均互信息。

图2-7 习题6图

答：（1）

因为

P?x1??0.6所以

P?x2??0.4

I?x1???log0.6?0.737(比特) I?x2???log0.4?1.322(比特)

（2）

收到消息yi的概率为：

y?P?y1???P?xi?P??ix??0.6*56?0.4*34?0.8i?? i?1P?y2??1?P?y1??0.2所以收到消息yj后获得的关于xi的信息量即Ixi,yj为：

2??5P?y1x1?I?x1,y1??log?log6?0.059(比特/符号)

P?y1?0.81P?y2x1?I?x1,y2??log?log6??0.263(比特/符号)

P?y2?0.23P?y1x2?I?x2,y1??log?log4??0.093(比特/符号)

P?y1?0.81P?y2x2?I?x2,y2??log?log4?0.322(比特/符号)

P?y2?0.2（3）

H?X????P?xi?logP?xi????0.6*log0.6?0.4*log0.4??0.971(比特/符号)

i?122H?Y????P?yi?logP?yi????0.8*log0.8?0.2*log0.2??0.722(比特/符号)

i?1（4）

H?YX???P?X,Y?logX,Y1PY?X?

其中

5P?x1,y1??P?x1?P?y1x1??0.6*?0.561P?x1,y2??P?x1?P?y2x1??0.6*?0.16

3P?x2,y1??P?x2?P?y1x2??0.4*?0.341P?x2,y2??P?x2?P?y2x2??0.4*?0.14所以噪声熵：

H?YX??0.5*log1111?0.1*log?0.3*log?0.1*log] 56163414?0.715(比特/符号)

损失熵：

H?XY??H?X??H?YX??H?Y??0.971?0.715?0.722

?0.964(比特/符号)

（5）接收到消息Y后所获得的平均互信息量为：

I?X,Y??H?X??H?XY??0.971?0.964?0.007(比特/符号)

7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。

表2-5 习题7表 信源符号 概率 u0 1/2 0 u1 1/4 10 u2 1/8 110 u3 1/8 111 试求：

代码 (1) 消息的符号熵。

(2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。

(3) 消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为p?0?和p?1?，求相邻码间的条件概率p?01?、p?10?、p?11?、p?00?。

答：

（1）信源熵为

1117H?U??log2?log4?log8? 比特/符号

2444（2）设平均代码长度为L，则

11117L??1??2??3??3? 二进制码元/符号

24884二进制码元的熵为

H?U?L?1 比特/二进制码元

（3）由于符号间相互独立，因此

111??11p?0??248?，p?1??1?p?0??

22L为求相邻码元间的条件概率，先求相邻码元间的联合概率：

111?11???2??????888?48?1p?1,1???

4L所以

p?11??p?1,1?1? p?1?21 2p?01??1?p?11??同理

111111?????224282?1 p?0,0??4Lp?00??p?0,0?1? p?0?21 2p?10??1?p?00??

8. 二次扩展信源的熵为H?X2?，而一阶马尔可夫信源的熵为H?X2X1?，试比较两者的大小，并说明原因。

答：

H?X2??2H?X??H?X??H?X2X1?

二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。

9. 设有一个马尔可夫信源，它的状态集为?s1,s2,s3?,符号集为?a1,a2,a3?，及在某状态下发出符号的概率为P?aksi??i,k?1,2,3?，如图2-8所示。

图2-8 习题9图

试求：

(1) 求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。 (2) 计算信源处在某一状态下输出符号的条件熵H?XS?j?(3) 求出马尔可夫信源熵H?。 答：

（１）由状态图得：

?j?s1,s2,s3?。

1?PS?P?S1??P?S3???1?2??P?S??1P?S??1P?S??212 42??11PS?PS??1?P?S2???3?42???P?S1??P?S2??P?S3??1所以信源的状态极限概率为：

1?PS???1??2 ??P?S??P?S??123??4所以信源的符号极限概率为：

11?Pa?PS?PS?PS??3??1???1?2?1?2??1 P?a2??P?S2???4??1Pa?PS?????33??4（２）信源处在某一状态输出符号的条件熵为：

11111?3?111??1H?XS1??H?,,????log?log?log??(比特/符号)

24444?2?244??2?11?H?XS2??H?0,,??1(比特/符号)

?20?H?XS3??H?1,0,0??0(比特/符号)

（３）马尔科夫信源熵为：

1311H???P?Si?H?XSi??*?*1?*0?1(比特/符号)

2244i?110. 一个马尔可夫过程的基本符号为0，l，2，这3个符号等概率出现，并且具有相同的转移概率。

(1) 画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1。 (2) 画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。 答：

（状态图略）

（1）一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为W??W1,W2,W3?，根据

3111?W?W?W??131323W3??W?1W?1W?1W?2123333 ??111?W3?W1?W2?W3333???W1?W2?W3?1

Dmax

和最小失真度Dmin的要求。 答：

由最大平均失真度的定义可知

Dmax?min?P(x)d(xi,yj)YX1122114?min[(??),(??)]?Y3333333最小失真度为

3

Dmin??P(xi)mind(xi,yj)i?1j1?(1?1?1)?13如果信道要达到最大失真度Dmax，信道的转移概率矩阵为

?10??01???1????，或P(y/x)??01?，或P(y/x)???1???（0???1）

P(yj/xi)??10jiji??????????10???01????1????如果信道要达到最大失真度Dmin，信道的转移概率矩阵为

?1?10??10??1????P(yj/xi)??01?，或P(yj/xi)??10?，或P(yj/xi)???2????0101?????0?阵为

?0?1?d(xi,yj)??? ?01??0?1?? 2?1??7. 已知一个等概率离散无记忆信源X?[0,1]，信宿接收符号为Y?[0,1,2]，失真函数矩

试求信源的率失真函数R(D)。 答：

由失真函数d(xi,yi)可以看出,信源输出消息符合为0,1,且等概率P0?P1?1，2信宿接收到的消息符号有3个，分别为0，1，2，由失真函数d(xi,yi)可知：d(0,1)??；

d(0,0)?0；d(0,2)?1；d(1,2)?1；d(1,1)?0；d(1,0)??。

由于失真度d(xi,yi)为对称性，p(yj/xi)亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：

?p(y1/x1)p(yj/xi)???p(y1/x2)其中，假设A为信道的转移概率。

p(y2/x1)p(y2/x2)p(y3/x1)??A1?A0? ????p(y3/x2)??01?AA?D???p(xi)p(yj/xi)d(xi,yj)ij?[p(x1)p(y1/x1)d(x1,y1)?p(x1)p(y2/x1)d(x1,y2)?p(x1)p(y3/x1)d(x1,y3)?p(x2)p(y1/x2)d(x2,y1)?p(x2)p(y2/x2)d(x2,y2)?p(x2)p(y3/x2)d(x2,y3)] 1111?1??1????A?0??(1?A)?1??0?0????0????(1?A)?1??A?0?2222?2??2?11?(1?A)?(1?A)?1?A22将D?1?A代入到转移概率矩阵P(Y/X)，得到：

0??1?DD P(Y/X)???D1?D??0再由概率性质p(yj)??p(xi,ji，求得信宿端各符号的概率分布为 )p(yj/xi)111?Dp(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)??A??0?22211p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)??(1?A)??(1?A)?D 22111?Dp(y3)?p(x1)p(y3/x1)?p(x2)p(y3/x2)??0??A?222进而可以得到信宿接收的各消息的概率分布

1?D??1?Dp(yj)??,D, ?22??由此可以得到：

1?D??1?DH(Y)?H[p(yj)]?H?,D,2??2?

H(Y/X)?H[p(yj/xx)]?H?1?D,D,0?最后可求得：

1?D??1?DR(D)?I(X;Y)??H(Y)?H(Y/X)??H?,D,?H?1?D,D,0??22??1?D1?D1?D1?D??log?DlogD?log?(1?D)log(1?D)?DlogD

2222??(1?D)log(1?D)?(1?D)log2?(1?D)log(1?D)?1?D（比特/信源符号）

8. 设一等概率离散无记忆信源X?[x1,x2,x3]，其失真函数为汉明失真函数， (1) 试求最小失真度Dmin和R(Dmin)。 (2) 试求最大失真度Dmax和R(Dmax)。

(3) 若最大允许失真度D?1/3，试问信源每一个符号的平均二进制码长是多少？ 答：

汉明失真函数和信道转移概率矩阵分别为

?011??1/31/31/3??，P??1/31/31/3? d(xi,yj)??101???????110???1/31/31/3??（1）最小失真度Dmin和R(Dmin)分别为

1Dmin??P(xi)mind(xi,yj)?(0?0?0)?0，R(Dmin)?H(X)?H(1/3)。

j3i?1（2）最大失真度Dmax和R(Dmax)分别为

3Dmax?min?P(x)d(xi,yj)?2/3

Yi?13R(Dmax)?R(2/3)=0

x2??X??x1?9. 设一离散无记忆信源????，每秒发出2.66个符号，通过一个二进制?p(x)??1/43/4?无噪信道传输，该信道每秒仅能传两个二进制符号，试问：

(1) 该信道能否实现对该信源符号的无失真传输。

(2) 如果不能，在失真度为汉明失真的条件下，该信道的最大允许失真为多少？ 答：

（1）由已知信源可以求得该信源的熵

131133H(X)?H(,)??log?log?0.811（比特/信源符号）

444444信源输出的信息率为Rt?2.66?0.811?2.16（比特/秒），而在二元无噪无损信道中传输时，由于该信道每秒仅能传两个二进制符号，即信道的最大信息传输率为

Ct?2（比特/秒）

根据信道编码定理，无论采用何种信源编码都必然会失真。 （2）若该信道的失真度为汉明失真，所以信源的率失真函数为

R(D)?1?H(D)（比特/信源符号）

Rt(D)?2.66?R(D)（比特/秒）

当Ct?Rt(D)，此信源在此信道中传输时不会产生差错，总的信源失真就是允许失真，即

2?2.66?[1?H(D)]?H(D)?0.257?D?0.0513

10. 已知连续信源X的概率密度函数为p(x)?d(xi,yj)?x?y，试求信源的信息率失真函数R(D)。

21，其失真函数为??(1?x2)2 答：

求解连续信源X的信息率失真函数R(D)时，首先求解最大允许失真度D

D??????????p(x)p(y/x)d(x,y)dxdy????????????p(x)p(x/y)d(x,y)dxdy

??p(y)dy?p(x/y)x?ydx??令D(y)??p(x/y)x?ydx，可以求得

???D??p(y)D(y)dy

???由限功率的最大连续熵定理，在Y?y条件下的最大熵为

?1Hcmax(X/y)???p(x/y)logp(x/y)dx?log2πeD(y)

??2根据条件熵的定义可得

Hc(X/Y)??p(y)Hcmax(X/y)dy??p(y))log2πeD(y)dy

??????则平均互信息

Ic(X;Y)?Hc(X)?Hc(X/Y)

由于R(D)函数是试验信道满足保真度准则条件下的最小平均互信息，故将连续信源的概率密度函数代入即可求得率失真函数R(D)，即

R(D)??1?log(?

D1?D )?log22π

本文来源：https://www.bwwdw.com/article/gpq8.html