第3章 - 离散信源(1)题与答案

3.1 设有一离散无记忆信源，其概率空间为

?X??x1?0x2?1x3?2x4?3?? ?P(X)???3/81/41/41/8????该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。

求：

(1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？

解： (1)

此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：

?3??1??1?p?????????

?8??4??8? bit 此消息的信息量是：I??logp?87.811

(2)

此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951 bit

142563.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为

1??X??0?P(X)???1/43/4?

????(1) 求信息符号的平均熵；

(2) 由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

133??1H(X)???p(xi)logp(xi)???log?log??0.811 bit

444??4i

(2)

?1??3?p(xi)???????4??4?m100?m3100?m?10043?41.5?1.585m bit4100100?m

I(xi)??logp(xi)??log(3)

H(X100)?100H(X)?100?0.811?81.1 bit

3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。

题表 3.2

· 1 ·

信源 u0 1/2 0 u1 1/4 10 u2 1/8 110 u3 1/8 111 p 代码 (1) 求信息的符号熵； (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵；

(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率p0和p1，求相邻码间的条件概率p0/1、p1/0、p1/1、p0/0。

解： (1)

1111111??1H(X)???p(xi)logp(xi)???log?log?log?log??1.75 bit

2448888??2i

(2)

1111?1??2??3??3?1.752488i

11HN(X)?H(X)?H(X)?1 bitNLL?E(li)??p(xi)li?

(3)

设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N/8, N/8个。

NNNN7N?1??1??1??0? 24888NNNN7N而1的个数为?0??1??2??3?

24888则0的个数为因而p0?p1?0.5

p0/1p1/011?p10/p1?4? p0/0?p00/p0?12211?22?1 ?p01/p1? p1/1?p11/p1?12211?22?1122 14?1122

3.7 设有一个信源，它产生0，1序列的信息。该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的；

· 2 ·

(2) 试计算H(X2), H(X3/X1X2)及H∞；

(3) 试计算H(X4)并写出X4信源中可能有的所有符号。

解： (1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……” ．．．．．．．．．．．．．．． (2)

H(X2)?2H(X)??2?(0.4log0.4?0.6log0.6)?1.942 bitH(X3/X1X2)?H(X3)???p(xi)logp(xi)??(0.4log0.4?0.6log0.6)?0.971 bit

iH??limH(XN/X1X2...XN?1)?H(XN)?0.971 bitN??? (3)

H(X4)?4H(X)??4?(0.4log0.4?0.6log0.6)?3.884 bitX4的所有符号：0000000100100011010001010110011110001001101010111100110111101111

3.11 有一马尔可夫信源，已知转移概率为p(S1/S1)?2/3，p(S2/S1)?1/3，p(S1/S2)?1，

p(S2/S2)?0。试画出状态转移图，并求出信源熵。

解：

?p(S1)?p(S1)p(S1/S1)?p(S2)p(S1/S2)??p(S2)?p(S2)p(S2/S2)?p(S1)p(S2/S1)2?p(S)?p(S1)?p(S2)1??3??p(S2)?1p(S1)?3?1?p(S)?p(S1)?23???p(S1)?p(S2)?1?p(S1)?3/4 ??p(S2)?1/4H?????p(Si)p(Sj/Si)logp(Sj/Si)ij2/3S11S22311??32 ????log??log?3433??43 ?0.689 bit

1/3· 3 ·

3.21黑白传真机的信息元只有黑色和白色两种X={黑，白}，一般气象图上黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7，黑白消息前后没有关联，其转移概率为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8。求该一阶马尔可夫信源的不确定性H(X/X)，并画出该信源的状态转移图。

解：

?p(S1)?p(S1)p(S1/S1)?p(S2)p(S1/S2)??p(S2)?p(S2)p(S2/S2)?p(S1)p(S2/S1)?p(S1)?0.8p(S1)?0.1p(S2)??p(S2)?0.9p(S2)?0.2p(S1)?p(S2)?2p(S1)??p(S1)?p(S2)?1?p(S1)?1/3??p(S2)?2/3H?????p(Si)p(Sj/Si)logp(Sj/Si)ijp(黑/黑)=0.8黑S1p(白/黑)=0.2

p(白/白)=0.1白S2122?1? ????0.8log0.8??0.2log0.2??0.1log0.1??0.9log0.9?333?3? ?0.553 bit

p(白/白)=0.93.23 设信源产生A, B, C三种符号p(B/B)?1/2，p(A/B)?p(C/B)?1/4，p(A/A)?5/8，

p(B/A)?1/4，p(C/A)?1/8，p(C/C)?5/8，p(B/C)?1/4，p(A/C)?1/8。试计算冗余

度。

解：

5/8C1/4B1/21/41/4A5/81/481/511?p(s)?p(s)?p(s)?p(sC)AAB?848?111?p(s)?p(s)?p(s)?p(sC) ?BAB424?115?p(s)?p(s)?p(s)?p(sC)CAB?848? · 4 ·

81/

??p(sA)?p(sB)?p(sC)?p(sA)?p(sB)?p(sC)?1??p(sA)?1/3?p(sB)?1/3??p(sC)?1/3333H??????p(ei)p(ej/ei)logp(ej/ei)ijk ???155111111??3?8log8?3?4logp4?3?8log8 ?13?14log14?13?111112log2?3?4log4 ?1111111553?8log8?3?4log4??3?8log8?? ?1.366 bitR?1?H?H?1?1.366?0.138

0log3

3.26 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。(1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。

a1=3/4a2=2/3Sa2=1/41S2a31/=11=/4a3S3a3=3/4

解： (1)

??p(s1)?3p(s11)?p(s3)?44??p(s212)?p(s2)?p(s?341)

??13?p(s3)?3p(s2)?4p(s3)

5 ·

·

?p(s1)?p(s3)??3p(s)?p(s1)2??4

p(s)?4/11?1??p(s2)?3/11?p(s)?4/11?3(2)

H??????p(ei)p(ej/ei)logp(ej/ei)ijk3333411?43 ????log??log41144?114322311 ??log??log11331133411433? ??log??log?11441144? ?0.840 bit

· 6 ·

本文来源：https://www.bwwdw.com/article/h11v.html