信息论与编码第二章课后答案

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

p(xi)?1 52!I(xi)??logp(xi)?log52!?225.581 bit

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概

信息论与编码课后习题答案

第二章

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)

111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)

两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：

15 25 35 45 55 65 16 26 36 46 56 66

其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??

实验二 离散信道及其容量

一、实验目的

1、 2、 3、

理解离散信道容量的内涵；

掌握求二元对称信道（BSC）互信息量和容量的设计方法； 掌握二元扩展信道的设计方法并会求其平均互信息量。

二、实验原理

若某信道输入的是N维序列x，其概率分布为q(x),输出是N维

序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为

C?maxI(X;Y)。

q(x)三、实验内容

1、给定BSC信道，信源概率空间为

X

P

=

０ １ 0.6 0.4

?0.990.01?信道矩阵 P??? 0.010.99??求该信道的I(X;Y)和容量，画出I(X;Y)和?、C和p的关系曲线。 2 、编写一M脚本文件t03.m，实现如下功能：

在任意输入一信道矩阵P后，能够判断是否离散对称信道，若是，求出信道容量C。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为

X

Px

=

０ １ ２ 0.3 0.5 0.2

P=

0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.

实验二 离散信道及其容量

一、实验目的

1、 2、 3、

理解离散信道容量的内涵；

掌握求二元对称信道（BSC）互信息量和容量的设计方法； 掌握二元扩展信道的设计方法并会求其平均互信息量。

二、实验原理

若某信道输入的是N维序列x，其概率分布为q(x),输出是N维

序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为

C?maxI(X;Y)。

q(x)三、实验内容

1、给定BSC信道，信源概率空间为

X

P

=

０ １ 0.6 0.4

?0.990.01?信道矩阵 P??? 0.010.99??求该信道的I(X;Y)和容量，画出I(X;Y)和?、C和p的关系曲线。 2 、编写一M脚本文件t03.m，实现如下功能：

在任意输入一信道矩阵P后，能够判断是否离散对称信道，若是，求出信道容量C。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为

X

Px

=

０ １ ２ 0.3 0.5 0.2

P=

0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p

1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)max?1.585(bit)，

此结论可以推广到N元的离散信源。

1.3 证明不等式

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

解： 信源熵 H(X)???pklog2(pk)

k?15

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

plog?01?pp?11?p1p?2可知当概率P=Q=1/2时，有信源熵H(X)max

对于三元离散信源，当概率

?1(bit)

时，信源熵

P1?P2?P3?1/3H(X)ma?5bit)， x1.58( 此结论可以推广到N元的离散信源。

1.3 证明不等式l