信息论与编码理论习题答案

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列 (b) ?13

?4??花色任选13!?413413 p(b)==13 13C52A5213 信息量=logC52?log413=13.208 bit

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的

点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、

H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。

解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，

则X?x1，Y?x1?x2，Z?x1?x2?x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2?x3)=H(Y)

12345366log36+log18+log12+log9+loglog6 )+3636363636536 =3.2744 bit

=2?(

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概

率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

XY信道i?1,3,5,7,9Χi?0,2,4,6,8√

I(X;Y)=H(Y)-H(Y|X)

因为输入等概，由信道条件可知，

1?p(y?ii为奇数)???10 ??p(y?ii为偶数)?1(1?1?1?1?1)?1?102888810?即输出等概，则H(Y)=log10

H(Y|X)=??i?p(xyijj)logp(yj|xi)

=???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi)

ji偶ji奇 =0-??p(xiyj)logp(yj|xi)

ji奇 = - =

i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi)

11111?log2?5+??log8?4?5 102102413 =?=1 bit

44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit

2.11 令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，

u5=1001，u6=1010，u7=1100，u8=1111 通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解：

即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)

111 p(0)=(1?p)?4+p?4=

882 I(u1;0)=logp(0|u1)1?p=log=1+log(1?p) bit

1p(0)211 p(00)=[2(1?p)2?4(1?p)p?2p2]=

84p(00|u1)(1?p)2 I(u1;00)=log=log=2[1?log(1?p)] bit

1/4p(00)11 p(000)=[(1?p)3?3(1?p)2p?3(1?p)p2?p3]=

88 I(u1;000)=3[1+log(1?p)] bit

1 p(000)0=[(1?p)4?6(1?p)2p2?p4]

88(1?p)4 I(u1;0000 bit )=log(1?p)4?6(1?p)2p2?p4

2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。 解：根据题2.9分析

13216621610216log216+logloglogH(Z)=2(+++ 216216321662161015216212162521627216loglogloglog+++) 21615216212162521627 =3.5993 bit

I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit

I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)H(Y,Z|X)?H(Y|X)+H(Z|X)，给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)?H(Z|X)

证明：(b) H(Y,Z|X)=-???p(xyz)logp(yz|x)

xyz =-???p(xyz)log[p(y|x)p(z|xy)]

xyz

=-???p(xyz)logp(y|x)-???p(xyz)logp(z|xy)

xyzxyz =H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-???p(xyz)logp(z|xy)

xyz =??p(xy)[-?p(z|xy)logp(z|xy)]

xyz ???p(xy)[-?p(z|x)logp(z|x)]

xyz =-???p(xyz)logp(z|x)

xyz =H(Z|X)

当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得

H(Y|X)+H(Z|X,Y)?H(Y|X)+H(Z|X)

于是H(Y,Z|X)?H(Y|X)+H(Z|X)

?1,?1?2.28 令概率空间X??11?，令Y是连续随机变量。已知条件概率密度为

?,??22?

??14,?2?y?x?2 p(y|x)??，求：

??0,其他 (a)Y的概率密度?(y) (b)I(X;Y)

(c) 若对Y做如下硬判决

?1,??y?1? V??0,???1?y?1

??1,??y??1? 求I(X;V)，并对结果进行解释。

解：(a) 由已知，可得

?1????3?y?1p(y|x??1)=?4

??0??else?1????1?y?3 p(y|x?1)=?4

??0??else ?(y)=p(x??1)p(y|x??1)+p(x?1)p(y|x?1)

?1?8???3?y??1?1?????1?y?1 =?4

?1???1?y?3?8??0??else1?111log8?2?log4=2.5 bit (b) HC(Y)=???3?184 HC(Y|X)=?p(x??1)?p(y|x??1)logp(y|x??1)dy

?31 ?p(x?1)?p(y|x?1)logp(y|x?1)dy

?1311111311 =??logdy??logdy =2 bit

2?3442?144 I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit

(c) 由?(y)可得到V的分布律

V p 再由p(y|x)可知

V p(V|x=-1) p(V|x=1)

11log2??2log4?1.5 bit 241112?log2]?2=1 bit H(V|X)?[log222-1 1/4 0 1/2 1 1/4 -1 1/2 0 0 1/2 1/2 1 0 1/2 H(V)? I(X;V)=H(V)?H(V|X)= 0.5 bit

2.29 令Q1(x)和Q2(x)是同一事件集U上的两个概率分布，相应的熵分别为

H(U)1和H(U)2。

(a)对于0???1，证明Q(x)=?Q1(x)+(1??)Q2(x)是概率分布

(b)H(U)是相应于分布Q(x)的熵，试证明H(U)??H(U)1+(1??)H(U)2

证明：(a) 由于Q1(x)和Q2(x)是同一事件集U上的两个概率分布，于是

q1(x)?0，q2(x)?0

?q1(x)dx=1，?q2(x)dx=1

xx 又0???1，则

q(x)=?q1(x)+(1??)q2(x)?0

?q(x)dx=??q1(x)dx+?(1??)q2(x)dx=1

xxx 因此，Q(x)是概率分布。

(b) H(U)=??[?q1(x)?(1??)q2(x)]log[?q1(x)?(1??)q2(x)]dx

x =???q1(x)log[?q1(x)?(1??)q2(x)]dx

x?(1??)?q2(x)log[?q1(x)?(1??)q2(x)]dx

x ????q1(x)logq1(x)dx?(1??)?q2(x)logq2(x)dx （引理2）

xx =?H(U)1+(1??)H(U)2

第三章 信源编码——离散信源无失真编码

ND(D?1)3.1 试证明长为N的D元等长码至多有

个码字。

D?1证：①在D元码树上，第一点节点有D个，第二级有D2，每个节点对应一

D(1?DN)D(DN?1)个码字，若最长码有N，则函数有?D==，此

1?DD?1i?1Ni时，所有码字对应码树中的所有节点。

②码长为1的D个；码长为2的D2个，…，码长为N的DN个

D(DN?1)∴总共?D=个

D?1i?1Ni

?a2??a1,?3.2 设有一离散无记忆信源U??若对其输出的长为100的事件序?。

??0.004,0.996??列中含有两个或者少于两个a1的序列提供不同的码字。 (a) 在等长编码下，求二元码的最短码长。 (b) 求错误概率（误组率）。 解: (a)不含a1的序列 1个

1长为100的序列中含有1个a1的序列 C100=100个 2长为100的序列中含有2个a1的序列 C100=4950个

∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码N?logM =12.3，故取N=13 logD(b)当长度为100的序列中含有两个或更多的a1时出现错误， 因此错误概率为

012Pe=1?C100(0.996)100-C100(0.004)(0.996)99?C100(0.004)2(0.996)98

=7.775?10?3

?a1,a2???3.3 设有一离散无记忆信源，U=?13?，其熵为H(U)。考察其长为L的输出

?,??44?序列，当L?L0时满足下式

?I(uL)?Pr??H(U)????? ?L?(a)在?=0.05，?=0.1下求L0 (b)在?=10?3，?=10?8下求L0 (c)令T是序列uL的集合，其中

I(uL)?H(U)?? L 试求L=L0时情况(a)(b)下，T中元素个数的上下限。

134解：H(U)=??pklogpk=log4?log=0.81 bit

443E[I(ak)] =H(U)

?I2=E{[I(ak)?H(U)]2}=E[I(ak)2]-H2(U)

=?pk(logpk)2?H2(U)

k =0.471

则根据契比雪夫大数定理

?I(uL)??Pr??H(U)????I2?? ?L?L?2?I20.471(a) L=2==1884

0.1?(0.05)2???I20.47113?10(b) L?==4.71 ?8?32210?(10)???(c) 由条件可知uL为典型序列，若设元素个数为MT，则根据定理

(1???)2L(H(U)???)?MT?2L(H(U)???)

其中????，????，可知

(i) ?????0.1，?????0.05，L?1884 下边界：(1???)2L(H(U)???)?0.9?21431..84 上边界：2L(H(U)???)=21620..24 故0.9?21431..84?MT?21620..24

(ii) ?????10?6，?????10?3，L?4.71?1011 (1???)2L(H(U)???)?0.9999?23.81?10 2L(H(U)???)=23.82?10

故0.9999?23.81?10?MT?23.82?10

3.4 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。

11111111字母 a1 a2 a3 a4 概率 0.4 0.3 0.2 0.1 码A 1 01 001 0001 码B 1 10 100 1000 (a) 各码是否满足异字头条件？是否为唯一可译码？ (b) 当收到1时得到多少关于字母a1的信息？ (c) 当收到1时得到多少关于信源的平均信息？

解：①码A是异头字码，而B为逗点码，都是唯一可译码。

②码A I(a1;1)?log2p(a1|1)1?log2?1.32 bit p(a1)0.4p(a1|1)p(1)p(a1,1)0.4?log2?log?0 bit

p(a1)p(1)p(a1)p(1)0.4?1码B I(a1;1)?log2③码A U=｛a1,a2,a3,a4｝

I(u;1)??p(ak|1)I(ak;1)=p(a1|1)I(a1;1)?0=1.32 bit

k?14 码B I(u;1)??p(ak|1)I(ak;1)=0 bit

k?14（收到1后，只知道它是码字开头，不能得到关于U的信息。）

3.5 令离散无记忆信源

???aU??1?0.16??a20.14a30.13a40.12a50.10a60.90a70.08a80.07??a9a10???0.060.05??(a) 求最佳二元码,计算平均码长和编码效率。 (b) 求最佳三元码,计算平均码长和编码效率。

解：(a)

0.5800.4210.310.270.230.190000100111001101110010001110101011a10.16a20.14a30.13a40.1210101010.15010.1101010101a5a6a7a8a9a100.100.090.080.070.060.05

H(U)???pklogpk=3.234 bit

平均码长 n??pknk=3.26=R?nlogD

k效率 ??H(U)H(U)??99.2% RnlogD (b)

0.430.330.240001021012202122110111a1a201210.160.140.130.120.100.090.080.070.060.05010120.11102012a3a4a5a6a7a8a9a10

平均码长 n??pknk=2.11

kR?nlogD=3.344

效率 ??

H(U)?96.6% Ra2.........a3.....??a1.........3.6 令离散无记忆信源 U???

0.5...0.3.....0.2??(a) 求对U的最佳二元码、平均码长和编码效率。 (b) 求对U的最佳二元码、平均码长和编码效率。 (c) 求对U的最佳二元码、平均码长和编码效率。 解：(a)

0.510001a10.5a20.33201101a30.2

n=0.5×1+0.3×2+2×0.2=1.5

H(U)???pklogpk?1.485 bit

??H(U)?99% R (b) ∵离散无记忆 ∴H(U1U2)=2H(U)=2.97 bit

p(a1a1)=0.25, p(a1a2)=0.15, p(a1a3)=0.1, p(a2a1)=0.15, p(a2a2)=0.09 p(a2a3)=0.06, p(a3a1)=0.1, p(a3a2)=0.06, p(a3a3)=0.04

0.5500.4510110.2510a1a10.300.250.20.15010110010101101110000000101100111a1a20.150.150.10.10.090.060.060.0401010.1a2a1a1a3a3a1a2a201a2a3a3a2a3a3

n2??pknk?3

n?n2?1.5 2??H(U1U2)2.97==0.99 3n2logD(c) 有关U3最佳二元类似 略 3.7 令离散无记忆信源

a2..........ak?a1.........?U???

?p(a1)p(a2)p(ai)?且0≤P(a1)≤P(a2)≤…. ≤P(ak)<1。定义Qi=?p(ak), i>1，而Q1=0，今按

k?1i?1下述方法进行二元编码。消息ak的码字为实数Qk的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度nk是大于或等于I(ak)的最小整数。

a1...a2.......a3......a4......a5.......a6.......a7......a8.....????构造码。 (a) 对信源U??11111111???4,4,8,8,16,16,16,16??(b) 证明上述编码法得到的码满足异字头条件，且平均码长n满足

H(U)≤n≤H(U)+1。

解：(a)

符号 Qi 0 1 161 83 161 43 84 83 4L 4 4 4 4 4 3 2 2 C 0000 0001 0010 0011 0100 011 10 11 a8 a7 a6 a5 a4 a3 a2 a1

(b) 反证法证明异字头条件

令k

这与假设ak是ak?的字头（即Qk??Qk?pk）相矛盾，故满足异字头条件。 由已知可得

log11?nk?log?1 pkpk对不等号两边取概率平均可得

?pkklog11??pknk??pklog?1 pkpkkk即 H(U)?n?H(U)?1

?a1.....a2?3.8 扩展源DMC，U???0.6,0.4??

??(a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U的最佳二元码、平均码长和编码效率。 (c)求对U的最佳二元码、平均码长和编码效率。 (d)求对U的最佳二元码、平均码长和编码效率。 解：(a) C1?0，C2=1，n=1

H(U)?0.97 bit H(U)?97% R(b) DMC信道

432??00011011a1a1a1a2a2a1a2a20.360.240.240.160.401010.6011

n2?2，n?1，?? (c)

H(U)?97% n0.4960.28801a1a1a10.504011010.2160.1920.160.204011100000110010111001101a1a1a2a1a2a1a2a1a1a1a2a20.1440.1440.1440.0960.0960.0960.064010110101a2a1a2a2a2a1a2a2a2

n3=2.944 n=0.981 ?=98.85% (d) 略

a2,....a3,......a4,....a5,...a6??a1,.....3.9 设离散无记忆信源 U???试求其二元和三元

0.3,..0.2,..0.15,..0.15,..0.1,..0.1??Huffman编码。

解：

0.60.40.3010.20101101a10.311 a20.2 000 a30.15001 100 a0.154a50.1101 a60.1

012110001022021a10.30.20.150.150.10.101aa0.201223aaa456

3.11 设信源有K个等概的字母,其中K=??2j,1???2。今用Huffman编码法进

行二元编码。

（a）是否存在有长度不为j或j+1的码字，为什么？ （b）利用?和j表示长为j+1的码字数目。 （c）码的平均长度是多少？

解：Huffman思想：将概率小的用长码，大的用短码，保证n↓，当等概时，趋

于等长码。

a) 对??1时，K=2j，则用长度为j码表示；当??2时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当1???2时，则介于两者之间，即只存在j，j+1长的码字。

b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元

Huffman编码思想（必定占满整个码树），即

j?N?N?K???2j?1?j ?j?(j?1)?1??Nj?2?Nj?1?2从而Nj?(2??)?2j，Nj?1?(??1)?2j?1 c） L?

3.12 设二元信源的字母概率为p(0)? 1011 0111 1011 0111

(a) 对其进行算术编码并进行计算编码效率。 (b) 对其进行LZ编码并计算编码效率。 解：

12?3??1?(a) p(s)??????316

4?4??4?124112Nj?j?Nj?1?(j?1)=j?2? KK?13，p(1)?。若信源输出序列为 44????(i?)pu(iF)ui?1()?F(ui?1)?Fu?? 根据递推公式 ?可得如下表格

(i?)pui()??1?p(ui?1)?pu其中，F(1)=0， F(1)= 3， p(0)=1， p(1)=3 444ui ? 1 0 1 1 0 1 p(ui) 1 3 4313?? 4416339?? 164649327?? 64425633 5434 46F(ui) 0 1 41 4? ? ? ? 1 35 74? ? ? ? ? ? ? ? ? 1508125135 416?0.0101100111100100? 1 1 0 1 1 0 1 1 1 从而 C = 0101100111101 36 4837 4937 10438 11439 41239 413310 144311 154312 416134log4?logH(U)443?99.85% ???13R16 (b) 首先对信源序列进行分段：

1 0 11 01 111 011 0111

然后对其进行编码，编码字典如下所示

段号 短语 i j 编码 1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101

5 6 7

111 011 0111 3 4 6 1 1 1 0111 1001 1101 R?nlogD?17? 7?4416134H(U)?log4?log?0.8113bit

443H(U)???46.36%

R?.a1..........a2........a3......a4??，各ai相应编成码字0、10、110和1110。 1..1..1..1??4,8,8??2,?

3.13 设DMS为U=??

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。 解：

概率 1/2 1/4 1/8 1/8 信源符号 a1 a2 码字 0 10 110 1110 a3 a4

设信源序列长为N，则相应码字长为（条件是N要足够长）

NNN7L??1??2??3?N

2484相应码序列中0出现的次数

L0?NNN7?1??1??1?N 2488∴ p(0)=

L011= p(1)=1-p(0)=

2L2??01??3.14 设有一DMS, U=??

??0.90.1?? 采用如下表的串长编码法进行编码

信源输出序列 1 01 001 … 00000001 00000000 (a)求H(U)。

0串长度（或中间数字） 0 1 2 … 7 8 输出二元码字 0000 0001 0010 … 0111 1 (b)求对于每个中间数字相应的信源数字的平均长度n1。 (c)求每个中间数字对应的平均长度n2。

(d)说明码的唯一可译性。 解：

(a) H(U)??0.9log0.9?0.1log0.1?0.469 bit 由已知可得下表 先验 信源输出 0串长度 概率 序列 （或中间数字） 0.1 1 0 0.09 01 1 0.081 001 2 0.0729 0001 3 0.0656 00001 4 0.059 000001 5 0.0531 0000001 6 0.0478 00000001 7 0.4305 000000001 8 (b) n1?1?0.1?2?0.9??8?0.4305?5.6953 bit (c) n2?1?0.4305?4?(1?0.4305)?2.7085 bit (d) 异字码头

输出二元码字 0000 0001 0010 0011 0100 0101 0110 0111 1 第四章 信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

p0??1?p? 01?pp(a)????01?p??p?1?它是一对称信道，达到C需要输入等概，即p=

3∴C ?log3??p(j?k)logp(j?k)

3 ?log?(?1p)lo?gp(1?p)pl?og?Hlo gpbit/符号

?1?p?2(b) ??p??21?p2p2p21?p2p?2?? 1?p?2??pplog?2 22plo?g1?H(p )bit/符号 2?它是一对称信道

1?p1?plog?2?∴C?log4?221?p?p)log?p ?2?(12p0??1?p? p1?p0（c）????01??0?p??1?p它是分信道?和?1?的和信道 ??p1?p?C1?log2?(1?p)log(1?p)?1?H(p)

C2?0

1?H(p)?1?2由2c?2c1?2c2，可知C?log??? bit/符号

4.3求图中DMC的容量及最佳输入分布

3/401/41/31/3001/301/31/311/31/423/4221/3111/311/321/31/331/3

（a） (b)

解：（a）由图知

?3?4?1P???3??0??141314?0??1? 3??3?4?? ?发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道

?3?4?1P???3??0??0141314?0??3??1?4??3??0?3????4?3/41414?0?? 3?4??01/411/413/42

C?1?q?1?1/4?3/4 bit/符号 （b）由图知

?1?3?P??0???1??313130013131?3??1? 3??1?3???为准对称

∴当输入等概，即Q0?Q1?Q2?112此时?0??1??2???2?

339111?3???3?

3331时达到信道容量C 3∴C?I(x?0,Y)??p(j?0)logjp(j?0)?j

11111123 =log3?log3?log3?log bit/符号

232313329934.5 N个相同的BSC级联如图。

X0X1X2?XN?1XN 且Q0为?N，

?p1?p?各信道的转移概率矩阵?令Qt?p{Xt?},0,10,,t??。1?pp??已知。

(a) 求Qt的表达式。

(b) 证明N??时有QN?1/2，且与Q0取值无关，从而证明N??时的级

联信道容量CN?0(p?0) 解：N个信道级联后BSC可表示为

1?pN?10pN?1pN?1011?pN?11

N个级联可以看成N-1个级联后与第N个级联

1?pN?10pN?1pN?11?p0pp011?pN?111?p1

∴pN?(1?pN?1)?p?pN?1?(1?p)?pN?1?(1?2p)?p 同理可得

pN?1?pN?2?(1?2p)?p pN?2?pN?3?(1?2p)?p

?

p2?p1?(1?2p)?p

p1?p 从而

pN?pN?1?(1?2p)?p???????[pN?2?(1?2p)?p]?(1?2p)?p???????pN?2?(1?2p)2?p?(1?2p)?p???????pN?3?(1?2p)3?p?(1?2p)2?p?(1?2p)?p ???????p?(1?2p)N?1i?0N?1?p?(1?2p)ii?0N?2???????p?(1?2p)i1?(1?2p)N1?(1?2p)N???????p??1?(1?2p)2(a)

QN?Q0(1?pN)?(1?Q0)pN???????Q0?(1?2Q0)pN1?(1?2p)N???????Q0?(1?2Q0)2(b)

?1?(1?2p)N?limQN?lim?Q0?(1?2Q0)?N??N??2??

1?2Q01??????????????Q0??22因此与Q0无关。 由于

QN?p{xN?0}1

???????p{x0?0}?(1?pN)?p{x0?1}?pN?2与p{x0?0}?Q0无关，因此pN?

1，C=0。 24.8 一PCM语音通信系统，已知信号带宽W=4000 Hz，采样频率为2W，且采

用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。试求所需的信息速率.

111119解：H(V)???pklogpk?log2?log4?log8?log16??4log32? bit

24816324k∴信息速率R?fsH(V)?8000?9?18000 bit/s 4

4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。 解：每个像素信息量为I?log8?3 bit

每秒传输30帧，即30?500?600?9?106个像素 ∴R?9?106?3?2.7?107 bit/s

4.10 带宽为3 kHZ，信噪比为30 dB的电话系统，若传送时间为3分钟，试估计

可能传送话音信息的数目。 S解：()dB=30dB=103=1000

NS则C?Wlog(1?)?3000log(1?1000)?R bit/s=29.9 Kb/s

N又传送时间t=30分钟=180 s

∴信息量为29.9?180=5.382 Mbit 4.12 若要以R=105?bit/s的速率通过一个带宽为8 kHz、信噪比为31的连续信道

传送，可否实现？

解：根据SHANNON公式

C?Wlog(1?S)?8000log32?40 Kb/s N当连续信道为高斯信道时，C

第五章 离散信道编码定理

5.1 设有一DMC，其转移概率矩阵为

?1/21/31/6??1/61/21/3? ????1/31/61/2??若Q(x1)=1/2，Q(x2)?Q(x3)=1/4，试求两种译码准则下的译码规则，并计算误码率。

解：

（1）最大后验概率译码准则

首先计算 p(x?y)?p(y1)?p(x)py(?x)

p(y)111111317?????? p(y2)? p(y3)? 2246438324212p(x1?y1)? p(x1?y2)? p(x1?y3)?

327132p(x2?y1)? p(x2?y2)? p(x2?y3)?

987213p(x3?y1)? p(x3?y2)? p(x3?y3)?

987?p(x1?y1)?p(x3?y1)?p(x2?y1) p(x(2x?1?y2)?p p(x(1x?3?y3)?p∴译码规则为

2y)?p(3x? 2y)p(2x? 3y)3y)?y1?x1 y2?x1 y3?x3

1111?11?11∴Pe?????????

2644?36?24（2）最大似然准则译码

计算p(y?x)

?p(y1?x1)?p(y1?x3)?p(y1?x2)

p(y(2y?1x)?2?x2)?p p(y(3y?2x)?3?x3)?pp(2y? 3x)p(3y? 1)x∴译码规则

y1?x1 y2?x2 y3?x3

1?11?1?11?1?11?1∴Pe????????????????

2?36?4?63?4?36?2显然它不是最佳。

第六章 线性分组码

6.1 设有4个消息a1,a2,a3,和a4被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出

最佳译码表及相应的译码错误概率表示式。 解：

?0?0（1）C?m?G???1??10?p1????001???p10?0?p01p11p02p12?010??0???01??1??10101011000110?1?? 1??0??10010??11010??01011? ?H?从而构造出G??????01101???00101??（2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下

001?00100 101?10100 010?01000 110?00010 011?00001 111?00110 100?10000 000?00000

5432（3）P?1?(1?p)?5(1?p)p?2(1?p)p e

6.4 设二元(6,3)码的生成矩阵为

?100011?? G??010001????001110??试给出它的一致校验矩阵为。

解：

?001100??

101010H＝?????110001??

第六章 线性分组码

6.1 设有4个消息a1,a2,a3,和a4被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出

最佳译码表及相应的译码错误概率表示式。 解：

?0?0（1）C?m?G???1??10?p1????001???p10?0?p01p11p02p12?010??0???01??1??10101011000110?1?? 1??0??10010??11010??01011? ?H?从而构造出G??????01101???00101??（2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下

001?00100 101?10100 010?01000 110?00010 011?00001 111?00110 100?10000 000?00000

5432（3）P?1?(1?p)?5(1?p)p?2(1?p)p e

6.4 设二元(6,3)码的生成矩阵为

?100011?? G??010001????001110??试给出它的一致校验矩阵为。

解：

?001100??

101010H＝?????110001??

本文来源：https://www.bwwdw.com/article/kxqw.html