信息论与编码傅祖芸课后答案
“信息论与编码傅祖芸课后答案”相关的资料有哪些?“信息论与编码傅祖芸课后答案”相关的范文有哪些?怎么写?下面是小编为您精心整理的“信息论与编码傅祖芸课后答案”相关范文大全或资料大全,欢迎大家分享。
信息论+傅祖芸+答案
解:从信息论的角度看,
第二章课后习题
【2.1】设有 12 枚同值硬币,其中有一枚为假币。只知道假币的重量与真币的重量不同, 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币,试问至少必须称多少次?
1“12 枚硬币中,某一枚为假币”该事件发生的概率为 P???;
12 1 “假币的重量比真的轻,或重”该事件发生的概率为 P???;
2
为确定哪一枚是假币,即要消除上述两事件的联合不确定性,由于二者是独立的,因
此有
1 而用天平称时,有三种可能性:重、轻、相等,三者是等概率的,均为 P???,因此天
3 平每一次消除的不确定性为 I?? log 3 比特
因此,必须称的次数为
I 1 I 2
-35log 3 ???????? 2.9 次 -30log 24 I?? log12?? log 2?? log 24 比特
因此,至少需称 3 次。
【延伸】如何测量?分 3 堆,每堆 4 枚,经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时,试问这三种情况分别获得多少信息
信息论+傅祖芸+答案
解:从信息论的角度看,
第二章课后习题
【2.1】设有 12 枚同值硬币,其中有一枚为假币。只知道假币的重量与真币的重量不同, 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币,试问至少必须称多少次?
1“12 枚硬币中,某一枚为假币”该事件发生的概率为 P???;
12 1 “假币的重量比真的轻,或重”该事件发生的概率为 P???;
2
为确定哪一枚是假币,即要消除上述两事件的联合不确定性,由于二者是独立的,因
此有
1 而用天平称时,有三种可能性:重、轻、相等,三者是等概率的,均为 P???,因此天
3 平每一次消除的不确定性为 I?? log 3 比特
因此,必须称的次数为
I 1 I 2
-35log 3 ???????? 2.9 次 -30log 24 I?? log12?? log 2?? log 24 比特
因此,至少需称 3 次。
【延伸】如何测量?分 3 堆,每堆 4 枚,经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时,试问这三种情况分别获得多少信息
信息论与编码课后习题答案
信息论与编码课后习题答案
第二章
2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, … , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。 解:
(1)
11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)
111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)
两个点数的排列如下: 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64
共有21种组合:
15 25 35 45 55 65 16 26 36 46 56 66
其中11,22,33,44,55,66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??
信息论与编码总答案
2.1一个马尔可夫信源有3个符号?u1,u2,u3?,转移概率为:p?u1|u1??1/2,
p?u2|u1??1/2,p?u3|u1??0,p?u1|u2??1/3,p?u2|u2??0,p?u3|u2??2/3,
p?u1|u3??1/3,p?u2|u3??2/3,p?u3|u3??0,画出状态图并求出各符号稳态概率。解:状态图如下
状态转移矩阵为:
1/2u11/31/21/32/32/3u2u3
0??1/21/2??p??1/302/3?
?1/32/30???设状态u1,u2,u3稳定后的概率分别为W1,W2、W3
11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?
2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:p(0|00)=0.8,p(0|11)=0.2,
p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5。
画出状态图,并计算各状态的稳态概率。
?p解:p(
《信息论、编码与密码学》课后习题答案
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1
考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS。求信源熵H(X)。
解: 信源熵 H(X)???pklog2(pk)
k?15
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)
故得其信源熵H(X)为2.228bit
1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解: 若二元离散信源的统计特性为
P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值,由dH(X)/d(P)=0可得
plog?01?pp?11?p
1p?2可知当概率P=Q=1/2时,有信源熵H(X)max
对于三元离散信源,当概率
?1(bit)
时,信源熵
P1?P2?P3?1/3H(X)max?1.585(bit),
此结论可以推广到N元的离散信源。
1.3 证明不等式
《信息论、编码与密码学》课后习题答案
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1
考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS。求信源熵H(X)。
解: 信源熵 H(X)???pklog2(pk)
k?15
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)
故得其信源熵H(X)为2.228bit
1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解: 若二元离散信源的统计特性为
P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值,由dH(X)/d(P)=0可得
plog?01?pp?11?p1p?2可知当概率P=Q=1/2时,有信源熵H(X)max
对于三元离散信源,当概率
?1(bit)
时,信源熵
P1?P2?P3?1/3H(X)ma?5bit), x1.58( 此结论可以推广到N元的离散信源。
1.3 证明不等式l
信息论与编码曹雪虹课后习题答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有3个符号{}1,23,u
u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。
解:状态图如下
状态转移矩阵为:
设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3
由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移
概率为:
(0|00)p =0.8,(0|11)p =0.2,(1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出状态图
信息论与编码试卷与答案
一、概念简答题(每题5分,共40分)
1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?
答:平均自信息为
表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?
答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。
4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。
答:通信系统模型如下:
数据处理定理为:串联信道的输入输出X、Y、Z
组成一个马尔可夫链,且有
,。说明经数据处理后,一般只会增加信息的损失。
5.写出香农公式,并说明其物理意义。当信道带宽为500
《信息论、编码与密码学》课后习题答案
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1
考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS。求信源熵H(X)。
解: 信源熵 H(X)???pklog2(pk)
k?15
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)
故得其信源熵H(X)为2.228bit
1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解: 若二元离散信源的统计特性为
P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值,由dH(X)/d(P)=0可得
plog?01?pp?11?p1p?2可知当概率P=Q=1/2时,有信源熵H(X)max
对于三元离散信源,当概率
?1(bit)
时,信源熵
P1?P2?P3?1/3H(X)ma?5bit), x1.58( 此结论可以推广到N元的离散信源。
1.3 证明不等式l
信息论与编码-曹雪虹-课后习题答案
《信息论与编码》课后习题答案
第二章
2.1一个马尔可夫信源有3个符号 u1,u2,u3 ,转移概率为:p u1|u1 1/2,
p u2|u1 1/2,p u3|u1 0,p u1|u2 1/3,p u2|u2 0,p u3|u2 2/3,p u1|u3 1/3,p u2|u3 2/3,p u3|u3 0,画出状态图并求出各符号稳态概率。
解:状态图如下
状态转移矩阵为:
0 1/21/2
p 1/302/3
1/32/30
设状态u1,u2,u3稳定后的概率分别为W1,W2、W3
11 1
W1 W2 W3 W110 2W1 33 2512 WP W9 W1 W3 W2
由 得 2计算可得 W2 3
W1 W2 W3 125 2
6 W2 W3 W3 3 25 W1 W2 W3 1
2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:p(0|00)=0.8,p(0|11)=0.2,
p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5。
画出状态图,并计算各状态的稳态概率。 解:p(0|00) p(00|00) 0.