信息论与编码陈运第三版答案第五章

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=

5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码C1、C2、C3、C4、C5和C6。

（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；

（3） 对所有唯一可译码求出其平均码长。

消息 概率C1 000 001 010 011 100 101 C2 0 01 011 0111 01111 C3 0 10 110 1110 11110 C4 0 10 1101 1100 1001 C5 1 000 001 010 110 110 C6 01 001 100 101 110 111 a1 a2 a3 a4 a5 a6 1/2 1/4 1/16 1/16 1/16 1/16 011111 111110 1111 解：（1）1,2,3,6是唯一可译码； (2)1,3,6是即时码。

5-2证明若存在一个码长为l1,l2,???,lq的唯一可译码，则一定存在具有相同码长的即时码。

证明：由定理可知若存在一个码长为L1,L2,?,Lq的唯一可译码，则必定满足kraft不等式

?ri?1q?li?1。由定理4?4可知若码长满足kraft不等式，则一定存在这样码长的即时码。

所以若存在码长L1,L2,?

信息论与编码课后习题答案详解

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H X( 1) = logn = log4 = 2 bit symbol/ 八进制脉冲的平均信息量

H X( 2) = logn = log8 = 3 bit symbol/

二进制脉冲的平均信息量H X( 0) = logn = log2 =1 bit symbol/ 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍。

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X 代表女孩子学历 X P(X)

x1（是大学生） x2（不是大学生）

0.25 0.75

相信我，没错的！！！

第三章

?21??33??12???3.1 设二元对称信道的传递矩阵为?33?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x

逻辑学第三版答案

第五章 复合命题及其推理

一、分析下列语句各表达什么复合命题？请写出其逻辑式。

1.书山有路巧为径，学海无涯乐作舟。

答：这是一个二支联言命题，可表示为：p∧q

2．只有发展外向型经济，才能打入国际市场。

答：这是一个必要条件假言命题，可表示为：p←q

3．但凡家庭之事，不是东风压倒西风，就是西风压倒东风。

答：这是一个二支不相容选言命题，可表示为：p  q

4．并不是每一个科学家都是上过大学的。

答：这是个负A 命题，它等值一个O 命题：¬(SAP) ←→ SOP

5．足球的进攻方式，主要是中路突破，此外或边线进攻，或长传短切， 或单刀直入。

答：这是一个四支不相容选言命题：p  q  r  s

6．法律如果并且只有推开特权的大门，才能跨进人民的心。

答：这是一个充分必要条件假言命题：p←→ q

二、下列语句是否表达选言命题？如表达，各表达什么选言命题？请

写出逻辑式。

1．身体不好，或者是由于有病，或者是由于锻炼差，或者是由于营养 不良。

答：表达一个三支相容选言命题：p∨q∨r

2．这堂课是你上，还是我上？

答：表达一个二支不相容选言命题：p  q

3．这次围棋名人赛，要么小林光一取得胜利，要么马晓春取得胜利。 答：表达一个二支不相容选言命

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，

p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，

p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

1/2u11/31/21/32/32/3u2u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

?p解：p(

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

2-1、一阶马尔可夫链信源有3个符号

?u1,u2,u3?，转移概率为：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13 ，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

0??1/21/2??

02/3 [p(sj|si)]?1/3????1/32/30?? 状态转换图为：

令各状态的稳态分布概率为W1，W2，W3，则： W1=

111122W1+W2+W3 ， W2=W1+W3 , W3=W2 且：W1+W2+W3=1 233233?稳态分布概率为：

296 W1=，W2=，W3=

525252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

?0.8 0.2 0 0??0 0 0.5 0.

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z

组成一个马尔可夫链，且有

，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为500