05电信信息论与编码试卷B答案

名 姓 师 教 号题学审 号 序 号 学班教教师 题 纸命卷试 学大峡三2007 — 2008 学年第 二 学期

《信息论与编码》课程考试试卷B参考答案

… 注意：1、本试卷共 3 页； 2、考试时间120分钟 … 3、姓名、学号必须写在指定地方 阅卷负责人签名： ……题 …号 一 二 三 四 五 六 七 八 总 分 ……得 …分 …… …阅卷人 得分 …一、（8分）简答：1、什么是平均自信息（信息熵）？什么是平均

.… …互信息？

……线 1、平均自信息为

封表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。（4分）

密 过平均互信息为

超表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表 要示通信前后整个系统不确定性减少的量。（4分） 不 题阅卷人 得分 试 二、（12分）把已知信源??X?…?P?X??????x1x2??0.50.5?接到如图所示的信道?……上，求在该信道上传输的平均互信息量I?X;Y?、疑义度H?X|Y?、噪声熵H?Y|X?和联合熵

……H?XY?。

…解、求出各联合概率（2分）

.…… p?x1y1??p?x1?p?y1|x1??0.5?0.98?0.49 …… p?x1y2??p?x1?p?y2|x1??0.5?0.02?0.01 .…… p?x2y1??p?x2?p?y1|x2??0.5?0.20?0.10 …… p?x2y2??p?x2?p?y2|x2??0.5?0.8?0.4

……… … 求出Y集各消息概率

p?y1??0.59 p?y2??0.41 求出p?x1|y1??0.831p?x2|y1??0.169

p?x1|y2??0.024p?x2|y2??0.976 （2分）

H?XY??1.43bit/symbol （2分） H?Y??0.98bit/symbol

H?X??1bit/symbol

H?X|Y??0.45bit/symbol （2分）

H?Y|X??0.43bit/symbol （2分） I?X;Y??0.55bit/symbol （2分）

阅卷人 得分 三、（15分）设有一信源，它在开始时以P(a)=0.6, P(b)=0.3, P(c)=0.1

的概率发出X1。如果X1为a时，则X2为a,b,c的概率为1/3；如果X1为b

时，则X2为a,b,c的概率为1/3；如果X1为c时，则X2为a,b的概率为1/2, 为c的概率为0。而且，后面发出Xi的概率只与Xi-1有关，又P(Xi|Xi-1)=P(X2|X1) i?3。试利用马尔可夫信源的图示

法画出状态转移图，并计算信源熵H?。.

解：画出的状态转移图如下： （2分）

a :1/3

a b:1/3 c:1/3 a:1/3 a:1/2 c:1/3

b c b:1/3 b:1/2 B卷

名 姓 师 教 号题学审 号 序 号 班 学师教教 题纸命卷试 学大峡三 求出极限状态分布，可得方程为 (6分)

Q?a??1…3Q?a??13Q?b??1…2Q?c? …… Q?b??13Q?a??13Q?b??12Q?c?

……… Q?c??13Q?a??13Q?b?

…… Q?a??Q?b??Q?c??1 …… 解之得

….… Q?a??Q?b??3…8 Q?c??14 （3分） … 求出

…线3 H ??封?Q?Ei?H?ak|Ei?=1.439bit/symbol （4分）

i?1 密 过 阅卷人 得分 超四（10分）.试证明

要 若

?Lmpi?1，pL

不i?1?qj?j?1 题 则 H?p?q11,p2,?,pL?1,q1,q2,?,qm??H?p1,p2,?,pL?1,pL??pLH? ?,q2,?q?试?p,m?LpLpL??……证明:H?p1,p2,?,pL?1,q1,q2,?,qm? …… ??…?L?1mpilogpi??qjlogqj (2分)

i?1j?1….…L?1m ??…?pilogpi?pLlogpL??qjlogqj?pLlogpL （2分）

i?1j?1……Lmm. ??…?pilogpi??qjlogqj?j?1?qjlogpL （2分）

i?1j?1………?Lm ??pilogpi?jlogqj （1分）

…i?1?qj?1pL……… L???p?p?m qjqj?ilogpiL??i?1??logj?1pLp? （1分）

L? ?H?p1,p2,?,pL?1,pL??pLH??q?1,q2,?,qm?（2分） ?pp?LpLL? ? 阅卷人 得分 五、（20分）信源空间为

??X??x1x2x3x4x5x6x7?P(X)???0.200.190.180.170.150.100.01?，

试分别构造????二元香农码和霍夫曼码，并计算平均码长和编码效率（要求有编码过程）。

解：1）二元哈夫曼码的码字依序为：10，11，000，001，010，0110，0111。（6分）

平均码长 L?2.72 bit/symbol （2分） 编码过程略

编码效率 ??0.959 （2分）

2）二元香农码的码字依序为：000，001，010，011，100，1010，1111111。（6分）

平均码长 L?3.14 bit/symbol （2分） 编码过程略

编码效率 ??0.831 （2分）

阅卷人 得分 六（10分）求以下两信道P1/31/31/61/6?1????1/61/61/31/3??，

P?1/21/41/81/8?2???1/41/21/81/8??的信道容量。 解:C?1111?1?log24?H??3,3,6,6??=0.0817bit/symbol (4分)

将PQ?1/21/4??1/81/8?2分解为1???1/41/2??，Q2???1/81/8?? (2分)

B卷

名 姓 师 教 号题学审 号 序 号 班 学师教教 题 纸命卷试 学大峡三 C?112?log22?H??2,4,18,1?8?????1?2?1?4??log?11??11??11?2? ?2?4?????8?8??log2??8?8?? ……… =0.0612bit/symbol （4分） …

…… … ……阅卷人 得分 …信源??X??01?… 七（10分）.对二元??，其失真?P(X)??????1?矩阵?….……D???0??…??0??，求a>0时率失真函数的Dmin与Dmax。

…因为失真矩阵中每行都有一个0，所以有，，（4分）

而

??1/2，Dmax??1????， （3分）

??1/2，Dmax???， （3分）

阅卷人 得分 八（15分）设某二元码为C??11100,01001,10010,00111? （1） 计算此码的最小距离dmin；

（2） 计算此码的码率R，假设码字等概率分布

（3） 采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？ （4） 此码能纠正几位码元的错误？ 解：（1）dmin?3 （3分） （2）R?log245?25bit/symbol （3分） （3）10000译成10010；01100译成11100；00100译成11100或00111 （6分） （4）dmin?3?2?1?1，即e=1,此码能纠正所有发生一位码元的随机错误。（3分）

B卷…………………….………….………………试 题 不 要 超 过 密 封 线

本文来源：https://www.bwwdw.com/article/a9w2.html