2014年武汉理工大学信息理论与编码期末复习资料（计算题含答案） - 图文

不确定性与信息

2.3一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？

（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 P52?52??8.066?10

因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 P?A??671?1.24?10?68 52?可得，任一特定排列所给出的信息量为

I?A???log2P?A??log252??225.58bit/符号 ?67.91dit/符号

（2）设事件B为从中抽取13张牌，所给出的点数都不同。

扑克牌52张中抽取13张，不考虑其排列顺序，共有C52种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为4。因为牌都是充分洗乱的，所以在这C52种组合中所有的点数都不相同的事件都是等概率发生的。所以

1313

13413413?13?39??1.0568?10?4 P?B??13?C5252?则事件B发生所得到的信息量为

413 I?B???logP?B???log213?13.208 bit/符号

C52 ?3.976 dit/符号 2.4 同时扔出两个正常的骰子，也就是各面呈现的概率都是16，求：

（1）“2和6 同时出现”这事件的自信息量。 （2）“两个3同时出现”这事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均自信息量。 （4）两个点数之和（即2，3，?，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。

解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为16，所以36种中任一状态出现的概率相等，为136。

（1） 设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，

即2，6和6，2。

所以 P?A??21? 3618得 I?A???logP?A??log218?4.17 bit/符号

（2） 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种

状态，所以 P?B??1 36 得 I?B???logP?B??log236?5.17 bit/符号

（3） 设两个点数的各种组合构成信源X。这信源X的符号集A（样本集）就是这36种

状态，所以A??x1,x2,,x36?，并且其为等概率分布。得

?x,x,,x36??X??12 ? 1????11??P?x???,,,?36??3636所以 H?X??log236?5.17 比特/符号

设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即Z?X?Y（一般加法）。

而

?1,2,3,4,5,6??X??? ????111111?

,,,,,?P?x???666666??1,2,3,4,5,6??Y???????111111?

,,,,,?P?y???666666??2,3,4,5,6,7,8,9,10,11,12??Z???所以得 ????12345654321?

,,,,,,,,,,?P?z???3636363636363636363636?满足

?P?z??1

i?1n这是因为z?2是由x?1加y?1一种状态得到；z?3是由x?1加y?2和y?1加x?2两种状态得到；z?4是由x?1加y?3，y?2加x?2及x?3加y?1三种状态得到，其他类似，由于X与Y统计独立，可得 Pz?z???P?x?P?y???P?y?P?x?

YX z?x?y

由此可求出所有的概率分布。（可参见第三章习题解答3.6题。）

所以得 H?z????P?z?logP?z?

z ?log236??68106?4?log2?log23?log24?log25?log26?

36363636?36?10?2612??log23?log25?

36?3636? ?log236?? ?5.17?1.896?3.27 比特/符号

（4） 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立

出现的，每种状态出现的概率是136。现设两个点数中至少有一个数是1的事件为C事件，则得

P?C??11 36所以得 I?C???logP?C????log2??11???1.71 比特/符号 36? 2.5

设在一只布袋中装有100只手感完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：

（1） 红色球和白色球各50只； （2） 红色球99只，白色球1只； （3） 红，黄，蓝，白色各25只。

求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。 （1） 若布袋中有红色球和白色球各50只，即 P?R??P?W??501? 10021则 I?R??I?W???log2?log22?1 bit/符号

2991?0.99 P?W???0.01 100100（2） 若布袋中红色球99只，白色球1只，即 P?R??则 I?R???log2P?R???log20.99?0.0145 bit/符号 I?W???log2P?W???log20.01?6.644 bit/符号 （3） 若布袋中有红，黄，蓝，白色各25只，即 P?R??P?Y??P?B??P?W??251? 1004

I?R??I?Y??I?B??I?W???log22.7 设信源为

1?2 bit/符号 4x2x3x4x5x6??X??x1?P???0.20.190.180.170.160.17?

??X??求熵，井解释为什么H(X)?log26，不满足信源熵的极值性。

解： H?X???

?P?x?logP?x?

i2ii6???0.2log20.2?0.19log20.19?0.18log20.18?0.17log20.17?0.16log20.16?0.17log20.17?

?2.657 bit/symbol H?X??log26?2.585

不满足极值性的原因是

?P?x??1.07?1，信源不满足完备性条件。

ii62.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。

（1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量?

（3）如果你问一位女同志，则答案中含有的平均信息量是多少? 答案：王虹老师

解：对于男性，是红绿色盲的概率记作P?a1??7%，不是红绿色盲的概率记作

P?a2??93%，这两种情况各含的信息量为

100?3.83 bit/符号 7100 I?a2??log2?1Pa?log?0.105 bit/符号 ???2?2?93 I?a1??log2??1P?a1????log2平均每个回答中含有的信息量为

H?A??P?a1?log2??1P?a1????P?a2?log2??1P?a2???

793?3.83??0.105 100100 ?0.366 bit/符号

对于女性，是红绿色盲的概率记作P?b1??0.5%，不是红绿色盲的记作

?P?b2??99.5%，则平均每个回答中含有的信息量为

H?B??P?b1?log2??1P?b1????P?b2?log2??1P?b2???

510009951000 ?log2??log2100051000995 ?0.045 bit/符号 H?A??H?B?

?

2.11设随机变量X?{x1,x2}?{0,1}和Y?{y1,y2}?{0,1}的联合概率空间为

?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)??P???18?

383818??XY??定义一个新随机变量Z?X?Y（普通乘积）。

（1）计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；

（2）计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；

（3）计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y)；

131 解 （1）p?x?0??p?x?0,y?0??p?x?0,y?1????

882311 p?x?1??p?x?1,y?0??p?x?1,y?1????

882 H?X????P?xi?logP?xi??1bit/符号

i131?? 882311 p?y?1??p?x?0,y?1??p?x?1,y?1????

882 H?Y????pyjlogpyj?1 bit/symbol

p?y?0??p?x?0,y?0??p?x?1,y?0??j????

Z?XY的概率分布如下

?z?0z?1??Z?? 1? ?P(Z)???7???8??8711??7H(Z)???p(zk)???log?log)??0.544bit/symbol

888??8K由p(xz)?p(x)p(zx)得

2p(x?0,z?0)?p(x?0)p(z?0x?0)?1 2p(x?0,z?1)?p(x?0)p(z?1x?0)?03p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?

81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bt/symb

28888??2ik由对称性可得H(YZ)??1.406bt/symbol

由p(xyz)?p(xy)p(zxy),又p(zxy)要么等于1，要么等于0.

p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1 8p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)?0p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)?03p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?

8p(x?1,y?0,z?1)?p(x?1,y?1)p(z?1x?1,y?0)?0p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)?0p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk38181333311??1???log?log?log?log??1.811bit/symbol8888888??8（2） H?XY???

?11333311?????xy㏒p=-?log?log?log?log??1.811bit/symbol ???88888888?pxiyj2ijijH?X/Y?=H?XY?-H?Y??1.811?1?0.811bit/symol H?Y/X?=H?XY?-H?X??1.811?1?0.811bit/symol H?X/Z?=H?XZ?-H?Z??1.406?0.544?0.862bit/symol H?Z/X?=H?XZ?-H?X??1.406?1?0.406bit/symol H?Y/Z?=H?YZ?-H?Z??1.406?0.544?0.862bit/symol H?Z/Y?=H?YZ?-H?Y??1.406?1?0.406bit/symol

H?X/YZ?=H?XYZ?-H?YZ??1.811?1.406?0.405bit/symol H?Y/XZ?=H?XYZ?-H?XZ??1.811?1.406?0.405bit/symol H?Z/XY?=H?XYZ?-H?XY??1.811?1.811?0bit/symol

(3)

I?X:Y??H?X??H?X/Y??1?0.811?0.189bit/symol I?X:Z??H?X??H?X/Z??1?0.862?0.138bit/symol I?Y:Z??H?Y??H?Y/Z??1?0.862?0.138bit/symol

I?X:Y/Z??H?X/Z??H?X/YZ??0.862?0.405?0.457bit/symol I?Y:Z/X??H?Y/X??H?Y/XZ??0.811?0.405?0.406bit/symol I?X:Z/Y??H?X/Y??H?X/YZ??0.811?0.405?0.406bit/symol

2.16 每帧电视图像可看成是由3?105个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。

问每帧图像含有多少信息量？

现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？

（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？

解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为

???X????a1,???????a2,????,??a128?128?P(a)???1128,1128,,1128????P(ai)?1

i????i?1

得每个像素亮度含有的信息量为：

H(X)?log128?7??比特像素

一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧图像含有的信息量为

H(X)?NH(X)?2.1?10??比特每帧

广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是

N6????Y????b1,???b2,????bq?q ?????????P(bj)?1,??q?10?000

P(b)j???1q,1q,,1q?i?1得该汉字字汇中每个汉字含有的信息量

H(Y)?logq?log210?000?13.29??比特字

广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为

H(Y)?NH(Y)?1000log210?1.329?10??比特千字

若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是H(Y),每帧电视图像含有的信息量是H(X),则广播员口述此图像至少需用的汉字数等于

NN44H(XN)2.1?106??1.58?105字?158000字

H(Y)13.29

2.18 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按 p(0)?0.4,p(1)?0.6的概率发出符号。 （1）试问这个信源是否是平稳的？

（2）试计算H(X),H(X3X1X2)及H?；

（3）试计算H(X)并写出X4信源中可能有的所有符号。

解：

（1） 此信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起

点无关。因此这个信源是平稳信源；又因为信源发出的符号之间彼此独立，所以该信源是离散无记忆信源。 （2）

42H(X2)?2H(X)??2?(0.4log0.4?0.6log0.6)?1.942?bitsymbol

H(X3/X1X2)?H(X3)???p(xi)logp(xi)?(0.4log0.4?0.6log0.6)?0.971?bitsymboliH??limH(XNX1X2N??XN?1)?H(XN)?0.971?bitsymbol

（3） H(X)?4H(X)??4?(0.4log0.4?0.6log0.6)?3.884?bitsymbol

4X4的所有符号：

0000??0001??0010??00110100??0101??0110??0111

1000???1001??1010??10111100???1101??1110??11112.23设DMS信源为

[XPX]=[x114x234]

试求：

（1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。 解：（1）

134log4+log443=0.5+0.75*0.125*3.322H(x)=_=0.811(bit/符号)η=0.811=81.1001

υ=1η=0.189

（2）二次扩展信源的概率空间及熵

[xpX2_2_2]=[x1x1116_x2x1316x2x1316x2x2916]

H(x)=2H(x)=1.622(bit/二元符号)

三次扩展信源的概率空间及熵

_3xx1x1x1x1x1x2 x1x2x1x1x2x2x2x1x1x2x1x2x2x2x1x2x2x2[p]=[19X36436436464364964H(_3x)=3H(_x)=2.433(bit/二元符号)2.25设连续随机变量X的概率密度函数为

fbx20≤x≤aX(x)={0其他（1）求X的熵；

（2）求Y=X+A(A>0)的熵； （3）求Y=2X的熵。 解：（1）

h(x_)=-∫a0f_(x)logf_(x)dxxx=-∫a0bx2logbx2dx=-logb∫afa0_(x)dx-2b∫x2logxdxx0=-logb-2bloge∫a0x2Inxdx

33=-logb-2bloge(a3Ina-a9)2ba329loge-ba3=3loga-logb因为

∫a0f_(x)dx=1x

所以

b=3a2

故

9642764]

h(x)==_2loge-2loga-log3+3loga3

2loge-log3+loga3y1=x+A(A>0)__若

dx则

__=1

dy所以

h(y1)=h(x)=若

__2loge-log3+loga3

y2=2x

__dx则

__dy1=2

所以

h(y2)=h(x)-log=

__1223loge-log+loga32

3.2 信道线图如下，试确定该信道的转移概率矩阵

0.200.30.30120.1530.0440.00950.000960.0001710.30.2

解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号

轾0.20.30.30.150.040.0090.0009犏犏0.00010.00090.0090.040.150.30.3臌3.3DMC的转移矩阵如下

0.00010.2

?0.60.30.1???P??Y|X??0.30.10.6?

??（1）画出信道线图； （2）若输入概率为?PX???0.5（1）

a10.10.30.60.30.10.5?，求联合概率、输出概率以及后验概率。

b1b2a2b30.6

（2）P(a1)乘以[PY|X]的第1行，P(a2)乘以[PY|X]的第2行，得联合概率矩阵[PXY]：

?0.30.150.05?[PXY]?? ??0.150.050.3?[PXY]的各列元素相加得对应的输出概率，写成矩阵形式： [PY]??0.450.200.35?

[PXY]的各列元素除以对应的输出概率，得后验概率矩阵：

?2/33/41/7?[PX|Y]?? ??1/31/46/7?

3.4 信道的疑义度、散布度和平均互信息

3.4设离散无记忆信源X通过离散无记忆信道X,PY|X,Y传送信息，设信源的概率分布和信道的线图分别为

??a10.20.10.8b1 ??X??a1a2?a2 ?????P??0.60.4?0.9b2

试求：

（1）信源X的符号a1和a2分别含有的自信息；

（2）从输出符号bj(j?1,2)所获得的关于输入符号ai(i?1,2)的信息量； （3）信源X和信道输出Y的熵； （4）信道损失熵H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。 解：

(1) I(a1)?log10.6?0.7370 bit/符号

I(a2)?log1 (1) ?P0.4?1.3220 bit/符号

Z?????PZ??PY?0.8=?0.60.4???0.1?Y? ?0.2???0.520.48? ?0.9?I(a1;b1)?I(b1)?I(b2b1)

=0.9434?0.3219?0.6215 bit/符号

I(a1;b2)?I(b2)?I(b2b1)

=1.0589?2.3220??1.2631 bit/符号 I(a2;b1)?I(b1)?I(b1a2)

=0.9434?3.322??2.3786 bit/符号

I(a2;b2)?I(b2)?I(b2a2)

=1.0589?0.1520?0.9609 bit/符号

(2) H(Z)?0.6?0.7370?0.4?1.3220?0.971 bit/符号

H(Y)?0.52?0.9434?0.48?1.0589?0.9988 bit/符号

(3)、(4)

H(Ya1)?H(0.8,0.2)?0.8?0.3219?0.2?2.3220?0.7219 bit/符号 H(Ya2)?H(0.1,0.9)?0.1?3.322?0.9?0.152?0.469 bit/符号

H(Yz)?0.6?0.7219?0.4?0.469?0.6207 bit/符号 I(z;Y)?H(Y)?H(Yz)?0.9988?0.6207?0.3781 bit/符号

又根据 IZ;Y?H(Z)?H(ZY) ?H(ZY)?H(Z)?I(Z;Y)

?? =0.971?0.3781?0.5929 bit/符号

3.5设有一批电阻，按阻值分：70%是2k?，30%是5k?；按功率分：64%是1/8W，其余是1/4W。现已知2k?阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的

关于瓦数的信息量是多少？

解：设阻值信源为Z，

1??Z??2k?5k???0?P???0.70.3???0.70.3?

????Z??

设功率信源为Y

?Y??1W????8??PY????0.64a111154151W??01?4???0.640.36?

?0.36???0.8b1

a20.9b2

1W1W0.08?0.56?88 共70% 5K?? 2K???0.141W?0.221W44 H(Ya1)?H(0.8,0.2)?0.7219 bit/符号

4114151115H(Ya2)?H(,)?log?log15151541511411=?1.9069??0.4475 1515 =0.5085?0.3282?0.8367 bit/符号

H(YZ)?0.7?0.7219?0.3?0.8367?0.7563 bit/符号 H(Y)?0.64?0.6439?0.36?1.474?0.9427 bit/符号

?I(Z;Y)?H(Y)?H(YZ)?0.9427?0.7563

=0.1864 bit/符号

3.7求下列两个信道的信道容量和最佳输入分布，并加以比较。其中p?p?1。

?p??(1)??p??p??p??2???p?? (2)?2????p??p??p??2?00? 2???解：(1)方法一：从信道矩阵(1)可知，其行中各元素相等，但各列元素不同，因此不是

对称信道。正因为各行元素相等，所以我们假设输入分布为等概率分布，即

P(a1)?P(a2)?1 2在输入等概率分布下，计算得

1?P(b)??12(1?2?)?1?P(b)?(1?2?) 满足P(b1)?P(b2)?P(b3)?1 ?22??P(b3)?2???

然后计算

I(x?a1;Y)=

?P(bj|a1)logj?13P(bj|a1)P(bj)

???p??p??2???(p??)log?2?log? =?(p??)log112???(1?2?)(1?2?)?22?2 =(1?2?)log?(p??)log(p??)?(p??)log(p??)

1?2?3P(bj|a2)又I(x?a2;Y)=?P(bj|a2)log

P(bj)j?1???p??p??2???(p??)log?2?log? =?(p??)log112???(1?2?)(1?2?)?22? =(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?可见I(x?a1;Y)?I(x?a2;Y)，当P(ai)?0 i?1,2时。 所以，根据信道容量解的充要性（参考书[1]中）定理3.3得 I(X;Y)?C 故 C?(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?假设的输入分布就是最佳的输入分布。 方法二：

此信道是准对称信道。信道矩阵中Y可划分为二个互不相交的子集，由于集列所组成的矩阵

??p???p??,,p????2??，?? ?p????2??2而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。

?p2?p3?)? C1?logr?H(p1?Nk?1klogMk

其中r?2，N1?M1?1?2?，N2?2?，M2?4?，所以

C1=log2?H(p??,p??,2?)?(1?2?)log(1?2?)?2?log4?

=log2?(p??)log(p??)?(p??)log(p??)?

2?log2??(1?2?)log(1?2?)?2?log4?

=log2?2?log2?(1?2?)log(1?2?)?(p??)log(p??)? (p??)log(p??)

=(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。现采用准对称信道的信道容量公式进行计算。此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为

?p?? ??p??这两矩阵为对称矩阵。

,,p????2?，?p?????00? 2???其中 r?2 N1?M1?1?2? N2?M2?2? 所以 C=logr?H(p??,p??,2?,0)??Nk?12klogMk

=log2?(p??)log(p??)?(p??)log(p??)?

2?log2??(1?2?)log(1?2?)?2?log2?

=log2?(1?2?)log(1?2?)?(p??)log(p??)?(p??)log(p??) =(1?2?)2?2?log2?(p??)log(p??)?(p??)log(p??) 1?2? =C1?2?log2 输入等概率分布（P(a1)?P(a2)?1）时达到此信道容量。比较此两信道容量，可得 2 C2?C1?2?log2

3.8 求下列二个信道的信道容量及其最佳的输入概率分布。

a11616131613b1b2b3b4a10.020.020.98b1

解：图3.8中两信道的信道矩阵为

a2131613a20.98b2

?1?3 P1???1??6161313161?6?? 1?3?? 其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 C1?log4?H?111??1,,,??0.0817 比特/符号 636??3

最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。 现计算这二元对称信道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵

P???0.980.02??

0.020.98??所以其信道容量（即最大信息传输率）

C?1?H(p)?1?H(0.98)?0.8586 比特/符号 3.5.5 （原3.8，傅详3.11） 设信道转移矩阵为

00??1?01?p? ??P?pY|X?????p1?p??0?（1）求信道容量和最佳输入分布的一般表达式；

（2）当p?0和p?12时，信道容量分别为多少？并针对计算结果作一些说明。

解：(1)

?P(bj?13jai)?j??P(bjai)logP(bjai) (i?1,2,3)

j?13?1?0???(1?P)?2?P?3?(1?P)log(1?P)?PlogP ?P??(1?P)??PlogP?(1?P)log(1?P)3?2解方程组得

?1?0? ?

????(1?P)log(1?P)?PlogP3?2 所以 C=log?2?

j(1?P)log(1?P)?PlogP? =log?1?2?2??

=log?1?2?1???(1?P)log(1?P)?Plogp?? ?1?H(p)? =log?1?2?? 1?Pp? =log?1?2(1?P)?P??

P(b1)?2?1?c?2?c?11?

1?2(1?P)1?P??P1?21?H(P) P(b2)?2

?2?c(1?P)P?PP? 1?2(1?P)1?P?PPP(b3)?2?3?c?P(b2)

而

P(bj)??P(ai)P(bjai) (j=1,2,3)

i?13P(b1)?P(a1)??得 ?P(b2)?P(a2)(1?P)?P(a3)P

?P(b)?P(a)P?P(a)(1?P)23?3解得

P(a1)?P(b1)?1 1?PP1?2(1?P)?P(1?P)1?P?PP P(a2)?P(a3)?P(b2)?P(b3)?1?PP1?2(1?P)?P 当P=0,此信道为一一对应信道，得

C?log3，P(a1)?P(a2)?P(a3)?1 3411当P?1时，C?log2，P?a1??，P(a2)?P(a3)?

223.14设两个DMC的转移矩阵分别为

b1b2b1b2b3?0.90.1?a1 ?0.60.30.1?a1 ???(1)?P?(2)P??Y|X??0.10.9?a?Y|X??0.30.10.6?a??2??2求2次扩展信道的转移矩阵。

解：(1)

?0.81?0.09?P???2??YZ2???0.09??0.010.090.810.010.090.090.010.810.090.01?0.09?? 0.09??0.81? (2)

?0.36??P???0.183Y??Z3???0.18??0.090.180.060.090.030.060.360.030.180.180.090.060.030.090.030.030.010.030.180.010.060.060.030.360.180.030.010.180.060.01?0.06?? 0.06??0.36?4.1设DMS的概率空间为

?U??u1u2u3u4??P???12141818?

??U??对其单个符号进行二进制编码，即码元集合为X?{0,1}。

定义编码f为

f2(u1)?w1?0,l1?1f2(u2)?w2?10,l2?2f2(u3)?w3?110,l3?3

f2(u4)?w4?111,l4?4试计算（1）该信源的熵H(U)；（2）由码字构成的新信源W的熵H(W)；（3）由码元{0,1}构成的新信源X的熵H(X)；（4）信息率R；（5）编码效率?c；（6）码的冗余度?c

解：

11111111log-log-log-log=1.75bits/symbol 22448888（2）H(W)=H(U)=1.75bits/symbol

1111112（3）p(0)??1??????0?

24283831111211p(1)??0??????1?

242838312H(X)=H(,)=0.9183bits/symbol

331111（4）l?1??2??3??3??1.75bits/码字

2488H(U)1.75R===1bit/码元

l1.75H(U)1.75==100% （5）hc=llog21.75′1（6）?c?1??c?1?1?0

（1）H(U)=-4.7设DMS为

u2u3u4u5u6??U??u1??P??0.370.250.180.100.070.03?

??U??用二元符号表X?{x1?0,x2?1}对其进行定长编码。

（1）求无失真定长编码的最小码长和编码效率；

（2）将编码器输出视为新信源X，求H(X)；

（3）若所编的码为{000,001,010,011,100,101}，求编码器输出码元的一维概率分布

P(x1)和P(x2)；

（4）H(X)?H[P(x1),P(x2)]吗？为什么？ 解：（1）

111111?0.25log?0.18log?0.1log?0.07log?0.03log0.370.250.180.10.070.03 ?0.37?1.43?0.25?2?0.18?2.47?0.1?3.32?0.07?3.83?0.03?5.06 ?0.53?0.54?0.44?0.33?0.27?0.15 ?2.22bit/符号 L?H(U)

取 L?3,r?2 H(U)?0.37log?c?H(u)2.22??74% llogr3 (2) 无失真编码是保熵编码 H(W)?H(U)?2.22bit/码 因为L?3, 所以 H(Z)?2.22?74 0.74bit/符号 3（3）W?{000,001,010,011,100,101}

设平均每个码字所含码元“0”和“1”的个数为l(0),l(1)

??l?l?l(0)?3?2.24?0.762.22?0.753 0.76P(x2?0)??0.253H(0.75,0.25)?0.75?0.41?0.25?2?0.81bit/码元P(x1?0)?（4）H(Z)?H[P(x1),P(x2)] 前者为算术平均，后者为统计平均

??

4.14信源同题4.5.4，进行二进制费诺编码，求平均码长和编码效率，并分析编码的冗余压缩效果。 信源符号 u1 u2 u3 u4 u5 u6 概率 0.25 0.25 0.2 0.15 0.1 0.05 0 0 1 0 1 1 码字 码长 00 2 01 2 10 2 0 110 3 0 1110 4 1 1 1111 4 l?0.25?2?0.25?2?0.2?2?0.15?3?0.10?4?0.05?4?2.45比特/符号

H(U)2.4232????98.91%

llogr2.45?1

4.15信源同题4.5.4，进行二进制香农编码，求平均码长和编码效率，并分析编码的冗余压缩效果。

信源符号 概率 码长 累积概率 码字 u1 0.25 2 0 00 u2 0.25 2 0.25 01 u3 0.2 3 0.5 100 u4 0.15 3 0.7 101 u5 0.1 4 0.85 1101 u6 0.05 5 0.95 11110 l?0.25?2?0.25?2?0.2?3?0.15?3?0.10?4?0.05?5?2.7比特/符号 H(U)2.4232????89.75%

llogr2.7?14.18某一页传真文件的一扫描行的像素分布如下:

|←85白→∣←7黑→∣←33白→∣←728黑→∣←875白→∣ 试确定:

(1) 该扫描行的MH码； (2) 本行编码的压缩比。

解：（1）11011 0010111 00011 00010010 0000001001011 00000010111 011010010 00101100 000000000001

（2）压缩比=原始数据量/压缩后数据量=1728比特/78比特=22.15

本文来源：https://www.bwwdw.com/article/w71o.html