江苏大学信息论复习参考

复习参考

一、居住在某地区的女孩中有25%是大学生，在女大学生中有75%的身高在1.6米以上，而女孩中在1.6米以上的占总数的一半。假如我们得知“身高在1.6米以上的某女孩是大学生”这一消息，问获得的多少信息量?

解：设事件A：女孩是大学生； B：女孩身高在1.6米以上

根据题意，可知：P（A）=0.25 P（B）=0.50 P（B|A）=0.75

而“身高在1.6米以上的某女孩是大学生” 这一消息表明在B事件发生的条件下，A事件的发生，故其概率为P（A|B）

根据贝叶斯定律，可得：

P（A|B）=P（AB）/P（B）=P（A）* P（B|A）/ P（B）=0.25*0.75/0.5=0.375

故得知“身高在1.6米以上的某女孩是大学生”这一消息获得的多少信息量为： I（A|B） = - logP（A|B）=log（8/3）=3-log3≈1.42(比特/符号)

二、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者

根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05

而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D）

根据贝叶斯定律，可得：

P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝0.1

P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP（A|D）=log（0.15）≈2.73

三、一阶马尔可夫信源的状态图如下所示，信源X的符号集为{0,1,2}。

⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵

pp/20p/2p/2p/22p/2p/21pp

解：⑴该信源达到平稳后，有以下关系成立：

??? ????p(0)?p(0)?p?p(1)?p/2?p(2)?p/2p(1)?p(0)?p/2?p(1)?p?p(2)?p/2p(2)?p(0)?p/2?p(1)?p/2?p(2)?pp(0)?p(1)?p(2)?1

可得p(0)?p(1)?p(2)?1/3 ⑵

H??p(0)?H(X|0)?p(1)?H(X|1)?p(2)?H(X|2)?3?p(0)?H(X|0)?H(X|0)?H(p,p2,p2)??plogp?plogp2)

?H(p)?p

四、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及在某状态下发出符号集的概率是p(ak|si)（i，k=1，2，3），如图所示

（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率

（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3) （3）求出马尔可夫信源熵H?

解：（1）该信源达到平稳后，有以下关系成立：

?Q(E1)?Q(E3)?Q(E1)???31?Q(E)?Q(E)?Q(E)?212??42 ? 可得?Q(E2)???Q(E)?1Q(E)?1Q(E)312??42?Q(E3)??Q(E)?Q(E)?Q(E)?1?123?3273727

p(a1)?p(a2)?p(a3)??i?13Q(Ei)p(a1|Ei)?Q(Ei)p(a2|Ei)?Q(Ei)p(a3|Ei)?372737

?i?13

?i?13H(X|S1)???p(ak|S1)logp(ak|S1)?1.5（bit/符号）k?13（2）H(X|S2)???p(ak|S2)logp(ak|S2)?（1bit/符号）

k?13H(X|S3)???p(ak|S3)logp(ak|S3)?（0bit/符号）k?13（3）H??

?Q(Ei?1i)?H(X|Ei)?2/7*3/2?3/7*1?2/7*0?6/7（bit/符号）

?X??x1五、设信源????p(x)???0.7x2?，接收符号集为Y??y1,y2?。?，通过一干扰信道（如下图）

0.3?求 ⑴H(X)和H(Y) ⑵H(X|Y)和H(Y|X)

6/7x11/72/3y1x2y21/3

解：⑴H(X)=?0.7log0.7?0.3log0.3=log5?1?0.7log7?0.3log3?0.881(比特/符号)

p(y1)?p(x1)p(y1|x1)?p(x2)p(y1|x2)?0.7?67?0.3?1723?0.6?0.2?0.8 13?0.1?0.1?0.2

p(y2)?p(x1)p(y2|x1)?p(x2)p(y2|x2)?0.7??0.3?H(Y)??0.8log0.8?0.2log0.2?log5?1.6?0.722(比特/符号)

⑵

H(Y|X)?p(x1)H(Y|x1)?p(x2)H(Y|x2)?0.7?H(?0.7?(67log76?17log7)?0.3?(23log32?13log3)6121,)?0.3?H(,)7733

?0.7log7?0.6log6?0.3log3?0.2log2?0.7log7?0.3log3?0.8?0.690(比特/符号)

H(X|Y)?H(XY)?H(Y)?H(X)?H(Y|X)?H(Y)

?0.881+0.690-0.722=0.849(比特/符号)

六、二元对称信道的传递矩阵为??0.6?0.40.4?? 0.6?（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y） （2）求该信道的信道容量及其最大信道容量对应的最佳输入分布

2解：⑴H(X)=???p(xi)logp(xi)=?0.75log75?0.25log25?0.811(比特/符号)

i?1p(y1)?p(x1)p(y1|x1)?p(x2)p(y1|x2)=0.75*0.6+0.25*0.4=0.55 p(y2)?p(x1)p(y2|x1)?p(x2)p(y2|x2)?0.75*0.4+0.25*0.6=0.45 H(Y)??0.55log0.55?0.45log0.45??0.992(bit/符号)

H(Y|X)?p(x)H(Y|x1)?p(x2)H(Y|x2)?0.75?H(0.6,0.4)?0.25?H(0.4,0.6)??(0.6log0.6?0.4log0.4)?0.97（1bit/符号）H(X|Y)?H(XY)?H(Y)?H(X)?H(Y|X)?H(Y)

?0.811+0.971-0.992=0.79 (bit/符号)

( I(X;Y)=H(X)-H=0.811-0.79=0.021(bit/符号)

（2）此信道为二元对称信道，所以信道容量为

C=1-H(p)=1-H(0.6)=1-0.971=0.029(bit/符号) 当输入等概分布时达到信道容量

七、求传递矩阵为??p?2???p?2?p?2?p?2?4???的信道的信道容量，其中p?1?p 4???p?2???4???，?? p?2???4????p?2?解：这是一个准对称信道，可把信道矩阵分为：???p?2?N1?M1?1?4?，N2?4?,M2?8?

2故C?logr?H(p?2?,p?2?,4?)??k?1NklogMk

?log2?H(p?2?,p?2?,4?)?(1?4?)log(1?4?)?4?log8??1?H(p?2?,p?2?,4?)?(1?4?)log(1?4?)?12??4?log?

八、信源??X??x1????P(x)??0.4x2???x3???x4???x5????x6????x7????x8?? ?????（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L （2）利用费诺码编成二元变长的惟一可译码，并求其L 解：（1）编码过程如下图

得到的唯一可译码为{00，11，010，011，1010，1011，1000，1001}

L=0.4×2+0.2×2+0.1×3×2+0.05×4×4=2.6(码元/信源符号)

（2）编码过程如下图

得到的唯一可译码为{0，100，101，1100，1101，1110，11110，11111}

L=0.4×1+0.2×3+0.1×3+0.1×4+0.05×4×2+0.05×5×2=2.6(码元/信源符号)

本文来源：https://www.bwwdw.com/article/keoa.html