信息论与编码理论-第3章信道容量-习题解答-071102

信息论与编码理论

第3章 信道容量

习题解答

?2/31/3?3-1 设二进制对称信道的转移概率矩阵为?? 1/32/3??Y|X和)解: (1) 若P(a1)?3/4,P(a2)?1/4，求H(X),H(Y),H(X|Y),H(I(X;Y)。

3311H(X)=??p(ai)log p(ai)???log()?log()?0.8113(bit/符号)

4444i=132117p(b1)=p(a1)p(b1|a1)+p(a2)p(b1|a2)=????43431231125p(b2)=p(a1)p(b2|a1)+p(a2)p(b2|a2)=????

43431227755H(Y)=??p(bj)log(bj)=?log()?log()?0.9799(bit/符号)12121212j=12H(Y|X)=??p(ai,bj)logp(bj|ai)???p(bj|ai)logp(bj|ai)i,jj222211???log()??log()?0.9183(bit/符号)3333

I(X;Y)=H(Y)?H(Y|X)=0.9799?0.9183?0.0616(bit/符号) H(X|Y)=H(X)?I(X;Y)=0.8113?0.0616?0.7497(bit/符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p) 1122C=1-H(P)=1+log()+log()=0.0817(bit/符)3333BSC信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位

1

第3章 信道容量

3-4 设BSC信道的转移概率矩阵为

?1??1??1 Q?????21??2?1）写出信息熵H(Y)和条件熵H(Y|X)的关于H(?1)和H(?2)表达式，其中

H(?)???log??(1??)log(1??)。

2）根据H(?)的变化曲线，定性分析信道的容道容量，并说明当?1??2的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}

p(b1)?p(a1)?p(b1|a1)?p(a2)?p(b1|a2)?p?(1??1)?(1?p)??2p(b2)?p(a1)?p(b2|a1)?p(a2)?p(b2|a2)?p??1?(1?p)?(1??2)

H(Y)??p(b1)logp(b1)?p(b2)logp(b2)??[p?(1??1)?(1?p)??2]log[p?(1??1)?(1?p)??2]?[p??1?(1?p)?(1??2)]log[p??1?(1?p)?(1??2)]?H[p?(1??1)?(1?p)??2]H(Y|X)???p(ai)p(bj|ai)logp(bj|ai)i,j?12

??p?[(1??1)log(1??1)??1log(?1)]?(1?p)[(1??2)log(1??2)??2log(?2)]?p?H(?1)?(1?p)?H(?2)

（2）H(?)的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。

C?max{I(X;Y)}?max{H(Y)?H(Y|X)}p(x)p(x)?max{H[p?(1??1)?(1?p)??2]?p?H(?1)?(1?p)?H(?2)}p(x)

由于函数H（ε）是一个凸函数，有一个性质：

f(???1?(1??)??2)???f(?1)?(1??)?f(?2)

2

信息论与编码理论

可知：C??

假设?1??2??时此信道是一个二元对称信道，转移概率分布为：

???1?? Q?????1???信道容量：

?1??2??C?1-?log?-(1-?)log(1-?) ?1-H(?)3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。 解：

p(xi)=1 10I(X)?log10?3.32bit/像素1秒内可以传送的信息量为：

3.3219bit/像素?30?10000像素?30=2.9897?107bit SSC?Blog(1?),已知:10log10()?30dBNNS??103 N2.9897?107?Blog(1?103)可得:B?2.9995?106HZ

3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度

N0/2?0.5?10?8W／Hz的加性高斯白噪声的干扰，信息传输速率

R?24kbit/s，信号功率P?1W。

1）若信道带宽无约束，求信道容量；

解：带限的加性高斯白噪声波形信道的信道容量为

3

第3章 信道容量

无带宽约束时：

C?limCt?limw???PSN0WPlog(1?S)w???NPSN0W0P ?Sloge?1.4427?108bit/sN0

2）若信道的频率范围为0到3KHz，求信道容量和系统的频带利用率R/W（bps/Hz）(注：W为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小Eb/N0是多少dB？ W=3KHZ

在最大信息速率条件下，每传输1比特信息所需的信号能量记为Eb

Eb=PS CC?Wlog(1?PS)?Wlog(1?SNR)N0W1)?4.5074?104bps?81?10?3000

?3000?log(1?R24kbit/s??8bps/HzW3KHzEbP1?S??33.47dB?84N0N0C1?10?4.5074?10噪比为多少dB？信号功率要变化多数dB?

3）若信道带宽变为100KHz，欲保持与2）相同的信道容量，则此时的信

W?100KHZ4.5074?104bps?Wlog(1?SNR?PSP)?105log(1?S)N0WN0WPS?0.3667即:?4.3654dBN0W5?8?3Ps'?0.3667?10?10?0.3667?10w信号功率的变化为:Ps'0.3667?10?310log10?10log10??34.3569dBPs1

4

信息论与编码理论

第4章 无失真信源编码

习题参考答案

4-1：

(1) A、B、C、E编码是唯一可译码。 (2) A、C、E码是及时码。

(3) 唯一可译码的平均码长如下：

111111lA??p(si)li?3?(?????)?3 码元/信源符号

2416161616i?1111111lB??p(si)li??1??2??3??4??5??6?2.125码元/信源符

2416161616i?1号

66111111lC??p(si)li??1??2??3??4??5??6?2.125码元/信源符

2416161616i?1号

6111111lE??p(si)li??1??2?(???)?4?2码元/信源符号

2416161616i?14-3：

(1)

6H(X)=-?p(xi)logp(xi)i=181111111111=-log-log-log-log-log22448816163232 111111 -log-log-log646412812812812863=1bit/符64(2) 平均码长：

11111111l??p(si)li?3?(???????)?3码元/信源符号

248163264128128i?1所以编码效率：??(3) 仙农编码：

6H(X)?0.6615 l 5

本文来源：https://www.bwwdw.com/article/rozv.html