信息论与编码考试题库

第二章习题：

补充题：掷色子，（1）若各面出现概率相同

（2）若各面出现概率与点数成正比

试求该信源的数学模型 解： （1）根据

?p(a)?1，且p(a)?i16?p(a6)，得

i?1p(a1)?1?p(a6)?，所以信源概率空间为

6?1P??1???662163164165166? 1??6??p(a6)?6k，得k? （2）根据

?p(ai)?1，且p(a1)?k,p(a2)?2k,i?11。 21?1P??1???2122213321442155216? 6??21??2-2 由符号集?0,1?组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态

概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(

____________号学______ __题___答_名不姓_内___线___封____密_级班____________名系

成都信息工程学院考试试卷

2008——2009学年 第一学期

课程名称：信息论与编码 使用班级：电子工程系05级信处1-4班

试卷形式：开卷□闭卷□

试题 一 二 三 四 五 六 七 八 总分 得分

常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为??X??xx2x3x4?P????10.1250.125，则其无记忆??0.50.25??二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

?P(y1/x1)P(y2/x1)0000?2、信道转移矩阵为??00P(y3/x2)P(y?4/x2)00?，其中P(yj/xi)??0000P(y5/x3)P(y6/x3)??两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：

____________号学______ __题___答_名不姓_内___线___封____密_级班____________名系

成都信息工程学院考试试卷

2008——2009学年 第一学期

课程名称：信息论与编码 使用班级：电子工程系05级信处1-4班

试卷形式：开卷□闭卷□

试题 一 二 三 四 五 六 七 八 总分 得分

常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为??X??xx2x3x4?P????10.1250.125，则其无记忆??0.50.25??二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

?P(y1/x1)P(y2/x1)0000?2、信道转移矩阵为??00P(y3/x2)P(y?4/x2)00?，其中P(yj/xi)??0000P(y5/x3)P(y6/x3)??两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：

（一）

一、判断题.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）

3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.

8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10.必然事件和不可能事件的自信息量都是0.

编码答案

（一）

7、某二元信源

一、判断题共 10 小题，满分 20 分.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基

1 X 0

P(X) 1/21/2 ，其失真矩阵

0a

，则该信源的Dmax= D a0

三、本题共 4 小题，满分 50 分.

1、某信源发送端有2种符号xi(i 1,2),p(x1) a；接收端

底或生成矩阵有可能生成同一码集. 符 号 y ( j 1 ,2 ) ， 转 移 概 率 矩 阵 为 有3 种,3（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通

信

（ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ）

7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确

信息论与编码考试试卷

2012——2013学年 第一学期

课程名称：信息论与编码

试卷形式：开卷□闭卷□

试题 得分 一 二 三 四 五 六 七 八 总分 常用对数：log23?1.585

一、 选择题（共10分，每小题2分）

x2x3x4??X??x1、有一离散无记忆信源X，其概率空间为????1，??P??0.50.250.1250.125?则其无记忆二次扩展信源的熵H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。

0000??P(y1/x1)P(y2/x1)?，00P(y/x)P(y/x)002、信道转移矩阵为?3242???000P(y5/x3)P(y6/x3)??0?其中P(yj/xi)两两不相等，则该信道为

A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（ ） A、互信息量一定不大于C

B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C

4、在串联系统中，有效信息量的值（ ） A、趋于变大

RT

信息论与编码考试复习大纲

第一章

1. 通信系统的物理模型。

2. 根据信息论的各种编码定理和通信系统指标，编码问题可分解为3类，分别是：信源编码，信道编码，和加密编码。 3. 简述信息的四个主要特征。

4. 简述一个通信系统包括的各主要功能模块及其作用。 第二章

1. 信源的分类：无记忆信源（单个符号的无记忆信源和符号序列的无记忆信源）和有记忆信源（符号序列的有记忆信源和符号序列的马尔科夫信源）。 2. 自信息量的计算公式，注意单位。

3. 离散信源熵计算公式，例2-5；特别是联合熵和条件熵和下面的互信量的计算。 4. 互信息的计算三种表达式，以及与概率分布和条件概率之间的关系。 5. 疑义度和噪声熵的概念。

6. 熵的性质：非负性，对称性，确定性，香农辅助定理，最大熵定理。

7. 离散无记忆信源的序列熵：当信源无记忆且满足平稳性时，平均每个符号熵为？

8. 连续信源的最大熵定理：限峰功率最大熵定理（满足？分布，分布函数是？）和限平均功率最大熵定理（满足？分布，分布函数？），其值是多少？ 9. 冗余度的计算。 第三章

1. 信息传输率和信息传输速率公式和物理意义。

2. 信道容量的计算公式，特别是无干扰离散信道，及物理意义。

3. 对

（一）

一、判断题.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）

3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.

8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10.必然事件和不可能事件的自信息量都是0.

实验4 Huffman编码对英文文本的压缩和解压缩

一、实验内容

根据信源压缩编码——Huffman编码的原理，制作对英文文本进行压缩和解压缩的软件。要求软件有简单的用户界面，软件能够对运行的状态生成报告，分别是：字符频率统计报告、编码报告、压缩程度信息报告、码表存储空间报告。 二、实验环境

1. 计算机

2. Windows 2000 或以上 3. Microsoft Office 2000 或以上 4. VC++ 6.0 三、实验目的

1. 掌握Huffman编码的原理

2. 掌握VC开发环境的使用（尤其是程序调试技巧） 3. 掌握C语言编程（尤其是位运算和文件的操作） 4. 掌握数据结构的内容：链表、顺序表、堆栈、最优二叉树 5. 掌握结构化程序分析和开发的软件工程原理 四、实验要求

1. 提前预习实验，认真阅读实验原理。

2. 认真高效的完成实验，实验过程中服从实验室管理人员以及实验指导老

师的管理。

3. 认真填写实验报告。 五、实验原理

压缩/解压缩流程

压缩流程：

读取扫描文本文件——〉统计字符频率——〉生成码字——〉保存压缩文件 解压缩流程：

读取扫描压缩文件——〉提取字符频率——〉生成码树——〉保存文本文件 六、参考书

1.

实验4 Huffman编码对英文文本的压缩和解压缩

一、实验内容

根据信源压缩编码——Huffman编码的原理，制作对英文文本进行压缩和解压缩的软件。要求软件有简单的用户界面，软件能够对运行的状态生成报告，分别是：字符频率统计报告、编码报告、压缩程度信息报告、码表存储空间报告。 二、实验环境

1. 计算机

2. Windows 2000 或以上 3. Microsoft Office 2000 或以上 4. VC++ 6.0 三、实验目的

1. 掌握Huffman编码的原理

2. 掌握VC开发环境的使用（尤其是程序调试技巧） 3. 掌握C语言编程（尤其是位运算和文件的操作） 4. 掌握数据结构的内容：链表、顺序表、堆栈、最优二叉树 5. 掌握结构化程序分析和开发的软件工程原理 四、实验要求

1. 提前预习实验，认真阅读实验原理。

2. 认真高效的完成实验，实验过程中服从实验室管理人员以及实验指导老

师的管理。

3. 认真填写实验报告。 五、实验原理

压缩/解压缩流程

压缩流程：

读取扫描文本文件——〉统计字符频率——〉生成码字——〉保存压缩文件 解压缩流程：

读取扫描压缩文件——〉提取字符频率——〉生成码树——〉保存文本文件 六、参考书

1.