信息论复习题
更新时间:2023-08-27 20:18:01 阅读量: 教育文库 文档下载
- 信息论与编码推荐度:
- 相关推荐
1、求基本高斯信源的差熵。(10分)
2、一个随机变量x的概率密度函数为p(x) kx,0 x 2V。试求该信源的相对熵。 3、黑白气象传真图的消息只有黑色和白色两种,即信源X 黑,白,设黑色的出现概率为P(黑) 0.3,白色的出现概率为P(白) 0.7。
(1)假设图上黑白消息出现前后没有关联,求熵H(X)。
(2)假设消息前后有关联,其依赖关系为P(白/白) 0.9,P(黑/白) 0.1,
P(白/黑) 0.2,P(黑/黑) 0.8,求此平稳离散信源的熵H2(X)。
(3)分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N长序列X和Y,且信道是无记忆的,则
I(X;Y) I(Xk,Yk),这里Xk和Yk分别是序列X和Y中第k位随机变量;并且证明当
k 1
N
且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道,各子信道的噪声均值为0,方差为 i:
2
12=0.1, 22=0.2, 32=0.3, 42=0.4, 52=0.5, 62=0.6, 72=0.7, 82=0.8, 92=0.9,
。输入信号X是10个相互统计独立、均值为0、方差为Pi的高斯变量,且 102=1.0(W)满足:
P 1(W)。求各子信道的信号功率分配方案。
ii 1
10
8、给定语音信号样值x的概率密度函数为p(x)
1 x
e, x ,求Hc(X),2
并比较Hc(X)与具有同样方差的正态变量的连续熵的大小。 9、某二元信源
1 X 0 0a ,其失真矩阵定义为,求该信源的Dmax, D
p(x) 0.50.5 a0
Dmin和该信源的信息率失真函数R(D)。
10、设连续信源X,其概率密度函数为p(x) 此信源的R(D)函数。
a ax
e,失真度为d(x,y) x y,试求2
11、一个二进制非等概信源,符号集A {0,1},p(0) p1 p,p(1) p2 1 p,试验信道输出符号集B {0,1},失真函数为汉明失真。求该信源的信息率失真函数R(D)。
12、设一个四元等概信源
123 X 0
0.250.250.250.25 ,接收符号集为p(x)
0
1
失真矩阵定义为D AY {0,1,2,3},
1 1
10111101
1 1 ,求Dmax,Dmin及信源的R(D)函数,1 0
并作出率失真函数曲线(取4到5个点)。
13、信源符号X有6种字母,概率为0.3,0.24,0.20,0.14,0.08,0.04。
(1) 求符号熵H(X)。
(2) 用香农编码法编成二进制变长码,计算其编码效率。 (3) 用费诺编码法编成二进制变长码,计算其编码效率。 (4) 用霍夫曼编码法编成二进制变长码,计算其编码效率。 (5) 用霍夫曼编码法编成三进制变长码,计算其编码效率。
14、信源符号X有6种字母,概率为0.3,0.22,0.18,0.16,0.08,0.06。
a) 求符号熵H(X)。
b) 用香农编码法编成二进制变长码,计算其编码效率。 c) 用费诺编码法编成二进制变长码,计算其编码效率。 d) 用霍夫曼编码法编成二进制变长码,计算其编码效率。 e) 用霍夫曼编码法编成三进制变长码,计算其编码效率。
15、有一个n元等概率、平稳无记忆信源X {0,1, ,n 1},接收符号集为
Y {0,1, ,n 1},且规定失真矩阵为
0 1[d]
1
求率失真函数R(D)。
16、设高斯信源X的概率密度函数为
1 1 0 1
1 0
p(x)
x m 2 1
exp 2
2 2
2
且失真函数定义为差方失真,d(x,y) x y z2。求该信源的率失真函数的香农下限。
17、设有多维无记忆加性连续信道,输入信号序列为:x x1,x2, ,xL ,输出信号序列为:
其噪声为高斯噪声,噪声序列n n1,n2, ,nL 中的各分量是均值为0,y y1,y2, ,yL ,
方差为 i2的高斯噪声,分两种情况计算其信道容量:
(1)在各单元时刻(i 1,2, ,L)上的噪声都是均值为0、方差为 的高斯噪声; (2)在各单元时刻(i 1,2, ,L)上的噪声都是均值为0、方差为 i2的高斯噪声,但
输入信号的总平均功率受限,其约束条件为:
L
L2 L2
E xi Exi Pi P
i 1 i 1 i 1
2
18、设二进制对称信道的转移概率矩阵为
2/31/3
P
1/32/3
(1)若p(x0) 3/4,p(x1) 1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y);
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
19、某信源发送端有两个符号:xi,i 1,2,p(x1) a,每秒发出一个符号。接收端有三种符号:yj,j 1,2,3,转移概率矩阵
1/21/20
P
1/21/41/4
(1)计算接收端的平均不确定性;
(2)计算由于噪声产生的不确定性H(Y/X);
(3)计算信道容量。
20、在干扰离散信道上传输符号1和0,在传输过程中每100个符号发生一个错传的符号。已知p(0) p(1) 1/2,信道每秒内允许传输1000个符号。求此信道的容量。
21、发送端有三种等概率符号(x1,x2,x3),p(xi) 1/3,接收端收到三种符号(y1,y2,y3),信道转移概率矩阵为
0.50.30.2
P 0.40.30.3
0.10.90
(1)计算接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵H(Y/X);
(3)计算接收端收到一个符号y2的错误概率; (4)计算从接收端看的平均错误概率; (5)计算从发送端看的平均错误概率; (6)从转移矩阵中能看出该信道的好坏吗? (7)计算发送端的H(X)和H(X/Y)。
22、设无记忆信源
1 X 1,0, 11
,接收符号集Y , ,失真矩阵
22 p(x) 1/3,1/3,1/3
12
,试求:
D 11Dmax和Dmin及达到Dmax、Dmin时的转移概率矩阵。
21
23、已知二元信源
1 X 0, 01
以及失真矩阵,试求: d ij
p(x) p,1 p 10
(1)Dmin;(2)Dmax;(3)R(D)。
24、某信源有8个符号 a1,a2,a3, ,a8 ,概率分别为1/2,1/4,1/8,1/16,1/32,1/64,1/128,1/128,试编成这样的码:000,001,010,011,100,101,110,111的码。求
(1)信源的符号熵H(X)。 (2)出现一个1或一个0的概率。
(3)这种码的编码效率。
(4)相应的香农码及其编码效率。 (5)相应的费诺码及其编码效率。
25、已知符号集合 x1,x2,x3, 为无限离散消息集合,它们出现的概率分别为p(x1) 1/2,
p(x2) 1/4,p(x3) 1/8,p(xi) 1/2i等。
(1)用香农编码方法写出各个符号消息的码字。
(2)计算码字的平均信息传输速率; (3)计算信源编码效率。
26、已知一信源包含8个消息符号,其出现的概率为
P(X) 0.1,0.18,0.4,0.05,0.06,0.1,0.07,0.04 。
(1)若该信源在每秒内发出一个符号,求该信源的熵和信息传输速率。 (2)对这8个符号作霍夫曼编码,写出相应码字,并求出编码效率。 (3)采用香农编码,写出相应码字,求出编码效率。 (4)采用费诺编码,写出相应码字,求出编码效率。
正在阅读:
信息论复习题08-27
劳力士售后维修中心地址 - 图文12-28
2018-2024年中国电磁线市场调查与投资战略报告(目录) - 图文03-17
2013年青岛市义务教育学校市级三好学生、优秀学生干部和先进班集05-16
2017-2018人教版小学五年级下册数学期末试卷及答案05-29
java程序设计期末复习题06-03
游杏花村作文300字07-10
绿意作文600字07-04
- exercise2
- 铅锌矿详查地质设计 - 图文
- 厨余垃圾、餐厨垃圾堆肥系统设计方案
- 陈明珠开题报告
- 化工原理精选例题
- 政府形象宣传册营销案例
- 小学一至三年级语文阅读专项练习题
- 2014.民诉 期末考试 复习题
- 巅峰智业 - 做好顶层设计对建设城市的重要意义
- (三起)冀教版三年级英语上册Unit4 Lesson24练习题及答案
- 2017年实心轮胎现状及发展趋势分析(目录)
- 基于GIS的农用地定级技术研究定稿
- 2017-2022年中国医疗保健市场调查与市场前景预测报告(目录) - 图文
- 作业
- OFDM技术仿真(MATLAB代码) - 图文
- Android工程师笔试题及答案
- 生命密码联合密码
- 空间地上权若干法律问题探究
- 江苏学业水平测试《机械基础》模拟试题
- 选课走班实施方案
- 信息论
- 复习题
- 热水供热系统管道水力计算表
- 投标文件编制开题报告范本
- GB50300-2013建筑工程施工质量验收统一标准附表word版
- “流水别墅”建筑设计分析
- iphone上市整合传播方案2012
- 人身损害赔偿金计算方法
- 送电线路杆塔标志牌模式及挂设标准(杆号牌、警告牌、色标牌)
- 2017导游政策和法律法规试题库_旅游法的基本知识测试题试题库
- 高等数学分析4.5微分及其运算
- 2010年司法考试法制史彩色讲义_5_7
- 中国带金刚石、立方氮化硼工作部件凿岩钻探工具行业研究分析报告
- 北京电信通光纤接入简介
- 广州旧版六年级英语上册UNIT 7巩固练习
- 不锈钢厚壁管全位置焊接方法及工艺
- 动画视听语言声音
- 2017-2018学年最新人教部编版七年级语文上册全册教案及教学反思
- 富饶的西沙群岛教学设计
- 电子云原子轨道泡利原理洪特规则教案
- 初中物理电学实验探究题的分类与解法攻略教学设计
- 键盘扫描显示实验