信息论复习题2

复习题纲 第一章 概述 题纲：

I. 什么是信息？ II. 什么是信息论？ III. 什么是编码？ 需掌握的问题：

1. 信息的定义是什么？（有本体论定义、认识论定义、Shannon信息论定义） 2. 认识论信息定义和本体论信息定义的区别？认识论信息定义包括那三个要

素？

3. 信息的性质是什么？并给与说明。（参考能量的性质来理解记忆） 4. 信息论中信息的分类是把信息分成哪三类？这三种信息与认识论信息定义中

的三个要素的一一对应关系是什么？ 5. 人类利用信息历史上的五个变革？

6. 信息论产生的标志？（年代、作者、论文名称） 7. 现代科学的三大论，分别是什么？作者分别是谁？ 8. 信息论研究范围的是什么？ 9. 狭义信息论的研究内容？

10.画出通信系统模型图，并说明每一部分的作用。

11.通信系统性能的三个衡量指标？Shannon信息论中是如何提高这三个性能

指标的？

12.什么是码？什么是编码？举例说明。 第二章 信源熵 题纲：

I. 信源的数学模型及分类

II. 自信息量 III. 互信息量 IV. 熵

1. 定义 2. 含义

3. 联合熵、条件熵 4. 性质（9个）

V. 平均互信息

1. 定义 2. 含义

3. 联合平均互信息、条件平均互信息 4. 性质（6个）

VI. 多符号离散信源的数学模型及分类

1. 随机过程介绍 2. 数学模型 3. 分类

VII. 无记忆多符号离散平稳信源 VIII. 有记忆多符号离散平稳信源

1. 熵 2. 平均符号熵 3. 极限熵 4. 性质（4个）

IX. 马尔可夫信源

1. 马尔可夫过程 2. 马尔可夫信源 3. m阶马尔可夫信源 4. 含义

X. 信源冗余度和自然语言的熵

1. 结论：记忆长度越长，信源信息量越小 2. 信源冗余度

3. 通信的原理

XI. 连续信源的熵

1. 数学模型及分类 2. 相对熵的定义 3. 含义

4. 联合相对熵、条件相对熵 5. 几种特殊连续信源的熵 6. 性质（4个）

需掌握的问题：

1. 信源的数学模型是什么？

2. 信源如何分类，不同信源类别的区别是什么？ 3. 不同类别信源的数学描述是什么？ 4. 自信息量的大小如何计算？（公式）

5. 自信息量公式中对数的底数不同单位分别是什么？（单位的中英文名称） 6. 自信息量的含义是什么？（它对什么量的度量）

7. 联合自信息量、条件自信息量、自信息量之间的关系是什么？ 8. 自信息的性质是什么？（能够证明）说明各个性质的含义。 9. 互信息量的大小如何计算？（公式）

10.互信息量的含义是什么？互信息量在通信系统模型中描述哪部分的信息量？ 11.联合互信息量、条件互信息量、互信息量之间的关系是什么？ 12.互信息的性质是什么？（能够证明）说明各个性质的含义。 13.熵的表达式是什么？怎么推导的？ 14.熵的单位是什么？ 15.熵的含义是什么？

16.单符号离散信源最大熵是多少？信源概率如何分布时能达到？ 17.熵的性质是什么？（能够证明，并说明每个性质的含义） 18.联合熵、条件熵和熵的关系。

19.平均互信息的定义是什么？平均互信息的表达式怎么推导？

20.平均互信息的含义？

21.信道疑义度、损失熵和噪声熵的含义？

22.平均互信息的性质？（能够证明，并说明每个性质的含义） 23.联合平均互信息、条件平均互信息和平均互信息的关系？ 24.数据处理定理描述的问题？如何解决这个问题？ 25.数据处理定理中不等式的证明？

26.自信息量、熵、互信息、平均互信息之间的关系？

27.什么是随机过程，随机过程的特点，随机过程和随机变量的区别。 28.什么是严平稳随机过程，什么是宽平稳随机过程？ 29.随机过程如何分类？描述各个类别的名称及特点。 30.什么是随机序列？它和随机过程的关系是什么？ 31.多符号离散信源的数学模型如何描述？ 32.多符号离散信源如何分类？

33.无记忆多符号离散平稳信源的熵如何计算？

34.用联合概率表征记忆特征的有记忆多符号离散平稳信源的熵如何计算？ 35.平均符号熵的定义和公式。 36.极限熵的定义和公式。

37.有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵的关系和性质（4

个）能够证明，并说明它们的含义。 38.什么是马尔可夫过程？

39.什么是马尔可夫链？它和马尔可夫过程的关系是什么？ 40.什么是一步状态转移概率？如何计算n步转移概率？ 41.什么是马尔可夫信源？

42.如何计算m阶马尔可夫信源的极限熵？

43.马尔可夫信源描述的记忆特征与联合概率描述的记忆特征有什么区别？ 44.信源冗余度如何计算？ 45.提高通信效率的手段？

46.信源信息量的大小随信源记忆长度变化的规律是什么？ 47.连续信源分几类？

48.描述连续信源的数学工具是什么？

49.相对熵的表达式是什么？如何推导的？ 50.相对熵和绝对熵的区别是什么？

51.能够计算均匀分布、正态分布、指数分布连续信源的熵。 52.能够证明相对熵的可加性。 53.能够证明相对熵的极值性。

54.能够证明连续信源平均互信息量的非负性。 55.能够证明连续信源相对熵的极值性。 第三章 信道容量 题纲：

I. 信道的数学模型及分类

1. 信道的定义 2. 分类 3. 数学模型

II. 单符号离散信道的信道容量

1. 信道容量的定义

2. 几种特殊离散信道的信道容量

a. 无干扰信道

a1. 无噪无损信道 a2. 有噪无损信道 a3. 无噪有损信道 b. 有干扰信道

b1. 强对称信道 b2. 对称信道 b3. 准对称信道

3. 一般信道的信道容量

本文来源：https://www.bwwdw.com/article/w0uf.html