信息科学基础2012A卷及答案

河北科技大学2012——2013 学年第一学期

《信息科学基础》试卷（A）

学院 理学院 班级 姓名 学号

题号 得分 得分 一、简答题（共8题，每题5分）

1. 如有6行8列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为(XA,YA)、(XB,YB)，但A，B不能落入同一方格内。试求：

（1） 若仅有质点A，求A落入任一个格的平均自信息量；

（2） 若已知A已入，求B落入的平均自信息量；

（3） 若A，B是可分辨的，求A，B同时落入的平均自信息量。

?X??a1???P???0.2a20.19a30.18a40.17a50.16a6?? 0.17?一 二 总分 2．设离散无记忆信源为?求信源的熵，并解释为什么H(X)?log6不能满足信源的极值性。

A卷（共14页）第1页

?S??sss3?? 0.3?23.令离散无记忆信源????1?P??0.50.2（1）求对S的最佳二元码、平均码长和编码效率；

（2）求对S2的最佳二元码、平均码长和编码效率。

4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。

5.一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。

（1）画出单纯马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵H1 ；

A卷（共14页）第2页

（2）画出二阶马尔可夫过程状态图，并求稳定状态下二阶马尔可夫信源熵H2。

6.当信源是无记忆时，无记忆的N次扩展信道的平均互信息与原信道平均互信息的关系如何？

7. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。

??0?18. 一个马尔科夫链的状态转移矩阵为p=??2?1??2?1??1?，该马尔可夫链是否具有遍?6?0??01312历性？为什么？

A卷（共14页）第3页

得分 二、综合题（共6题，每题10分）

1. 设有一个二进制二阶马尔可夫信源，其信源符号集为{0,1}，条件概率为p(0|00)=p(1|11)=0.8, p(1|00)=p(0|11)=0.2, p(0|01)=p(0|10)=

p(1|01)=p(1|10)=0.5.这个信源的符号数是q=2, 共有四种可能状态：S1=00；S2=01；S3=10；S4=11. （1）给出信源的状态转移矩阵. （2）求出平稳分布.

（3）该平稳分布所对应的信源熵.

2、有一个一阶平稳马尔可夫链X1,X2,?Xr,?，各Xr取值于集A?{a1a2?aq}，已知起始概率p(xr)为p1?P(X1?x1)?i 12，p2?p3?14，其转移概率如下表所示。

j 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 1 2 3 A卷（共14页）第4页

(1)求X1X2X3的联合熵和平均符号熵； (2)求这个链的极限平均符号熵； (3)求H0，H1，H2和它们对应的冗余度。

3.设有一离散信道，其信道矩阵为（1）最佳概率分布？ （2）当

，

时，求平均互信息

，求：

信道疑义度

（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率并求此

最小，

A卷（共14页）第5页

由平稳分布的矩阵方程 WP=W, 以及p(S1)+p(S2)+p(S3)+p(S4)=1， 可以得到平稳分布为： p(S1)=p(S4)=5/14, p(S2) =p(S3)=1/7.

(3)该平稳分布的信源熵 H=p(S1)*H(0.8,0.2)+ p(S2)*H(0.5,0.5)+ p(S3)*H(0.5,0.5)+ p(S4)*H(0.8,0.2)=0.8 bit/符号。 2.（1）答：信源是一阶马尔可夫的，所以

H(X1)??12log212?12log214?1.5(bit)

由p(x1x2)?p(x2/x1)p(x1)知X1X2的联合概率为

p(x1x2) 1 1/4 1/6 1/6 2 1/8 0 1/12 3 1/8 1/12 0 1 2 3 因此 H(X2/X1)??X1X2p(x1x2)logp(x2/x1)?1.209(bit)

由p(x2x3)?p(x3/x2)p(x2)知X2X3的联合概率为

p(x2x3) 1 7/24 5/36 5/36 2 7/48 0 5/72 3 7/48 5/72 0 1 2 3 X1X2X3的联合熵为H(X1,X2,X3)?H(X1)?H(X2/X1)?H(X3/X2)?3.969(bit)

平均符号熵为 H3(X)?13H(X1,X2,X3)?1.323(bit/符号)

WP?W?（2）答：设信源稳态符号概率分布W=[w1 w2 w3]，由?

w?w?w?123?1A卷（共14页）第11页

4?w??17?3?解得?w2?

14?3?w??314?47111321,,)?H(,,0)?2?1.25(bit/符号) 2441433信源的极限平均符号熵H??H(（3）三个熵分别为H0(X)?log23?1.585(bit) H1(X)?H(X1)?1.5(bit)

12H2(X)?H(X1,X2)?1.355(bit)

由冗余度的计算公式R?1?R2?0.145

HH0，得它们的冗余度分别为R0?0，R1?0.054，

3.答：1）是准对称信道，因此其最佳输入概率分布为。

2）当则

，

时，有

3）此时可用最大似然译码准则，译码规则为

且有

4.答：1）n=6，k=3，由C=mG可得所有码字为：

000000，001011，010110，011101，100101，101110，110011，111000

A卷（共14页）第12页

2）此码是系统码，由G知，，则

，能纠一

3）由H可知，其任意2列线性无关，而有3列线性相关，故有位错。

错误图样E 伴随式

100000 010000 001000 000100 000010 000001

101 110 011 100 010 001

4）由知E＝010000，则

5.答：至少需要二位二进制编码元来发送4个等概率发生的信息 晴-00 云-01 雨-10 雾-11

4个信息的概率恰好是2的负整数幂，根据bi??logpi得 晴-2位 云-3位 雨-3位 雾-1位

采用霍夫曼编码方法得 雾-0 晴-10 云-110 雨-111 它们的平均码长分别为：

第一种情况：L?2（码元/信源符号） 第二种情况：L?1.75（码元/信源符号）

6.答： 由矢量失真函数的定义得

1NNdN(X,Y)??i?1d(Xi,Yi)?13[d(X1,Y1)?d(X2,Y2)?d(X3,Y3)]

dN(000,000)?0，dN(000,001)?13

类似可得到其他元素数值，矢量失真矩阵为

A卷（共14页）第13页

??0??1??3?1?3??2[d??3N]??1?3?2??3?2??3???1

112333021332130311330223311312312332213331221?333?212??3313?212??3133?1221?333??0112? 333??11?30233?121??3303?211?3330???A卷（共14页）第14页1

本文来源：https://www.bwwdw.com/article/mzrx.html