信息的编码教案

信息理论与编码期末考试资料

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“ ——— ”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通

考试内容和具体要求 第一章 绪论

考试内容：信息论研究的对象、目的和内容、信息论发展简史与信息科学。 具体要求：

1、掌握信息的概念与特征； 2、了解信息论的形成、发展及趋势；

3、掌握 信息，信号，消息，数据的关系与联系。 第二章 离散信源及其信息测度 考试内容：

信源的数学模型及分类 、离散信源的信息熵、信息熵的基本性质、信息熵的惟一性定理、离散无记忆的扩展信源、离散平稳信源、马尔可夫信源、信源冗余度与自然语言的熵、意义信息和加权熵。 具体要求：

１、掌握信源的描述和分类、理解信息的可度量性；理解信息度量的原则； ２、掌握离散信源熵和互信息；

3、掌握连续信源熵和互信息、离散序列信源的熵、冗余度； 4、了解联合熵和最大熵定理； 第三章 离散信道及其信道容量 考试内容：

信道的数学模型及分类 、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量 、独立并联信道及其信道容量、 串联信道的互信息和数据处理定理、信源与信道。 具体要求：

1、掌握1-1码、唯一可译码的概念与关系； 2、熟练掌握即时码与前缀码的概念与关系； 3、理解码的分类方法、奇异码和非奇异码；

3、掌握定长编码定理，变长编码

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

信息理论与编码（50分）

一、填空题（10分，每空2分）

1．对于限峰值功率的N维连续信源，当概率密度__________时连续信源熵具有最大值；对于限平均功率的一维连续信源，当概率密度__________时，信源熵有最大值。 2．根据输入输出信号的特点，可将信道分成离散信道、连续信道、 信道。

3．信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是__________。 4．求解率失真函数的问题，即：在给定失真度的情况下，求信息率的__________。 5．按照不同的编码目的，编码可以分为三类：分别是____________________。

二、判断题（每小题2分，共12分）

1. 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 ( ) 2. 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 ( ) 3. 最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。 ( ) 4. 必然事件和不可能事件的自信息量都是0 。

考试内容和具体要求 第一章 绪论

考试内容：信息论研究的对象、目的和内容、信息论发展简史与信息科学。 具体要求：

1、掌握信息的概念与特征； 2、了解信息论的形成、发展及趋势；

3、掌握 信息，信号，消息，数据的关系与联系。 第二章 离散信源及其信息测度 考试内容：

信源的数学模型及分类 、离散信源的信息熵、信息熵的基本性质、信息熵的惟一性定理、离散无记忆的扩展信源、离散平稳信源、马尔可夫信源、信源冗余度与自然语言的熵、意义信息和加权熵。 具体要求：

１、掌握信源的描述和分类、理解信息的可度量性；理解信息度量的原则； ２、掌握离散信源熵和互信息；

3、掌握连续信源熵和互信息、离散序列信源的熵、冗余度； 4、了解联合熵和最大熵定理； 第三章 离散信道及其信道容量 考试内容：

信道的数学模型及分类 、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量 、独立并联信道及其信道容量、 串联信道的互信息和数据处理定理、信源与信道。 具体要求：

1、掌握1-1码、唯一可译码的概念与关系； 2、熟练掌握即时码与前缀码的概念与关系； 3、理解码的分类方法、奇异码和非奇异码；

3、掌握定长编码定理，变长编码

二章-信息量和熵习题解

2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号

32315所以，信息速率为0.9183??3.444比特/秒

4解: 平均每个符号长为:

2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；

所以，信息速率为6?1000?6000比特/秒

2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。

试问各得到了多少信息量?

6 366 所以，得到的信息量为 log2( 比特 )?2.585361 (b) 一对骰子总点数为12的概率是

361 所以，得到的信息量为 log2?5.17 比特

36 解: (a)一对骰子总点数为7的概率是

2.4 经过充分洗牌后

神奇的数字编码 教案

教学过程：

一、导入新课。

提问：知道阿拉伯数字有几个吗？

谈话：阿拉伯数字虽然只有10个，但是如果按照不同要求、不同顺序把它们编排起来，就会组成各种信息，我们把这样的数字叫做编码。我们今天就来继续学习数字与编码。（板书：数字与编码）

2、举例生活中的数字编码

师：数字编码与我们生活息息相关，你知道生活中有哪些数字编码？

1、电话号码 2、学籍号 3、国际标准书号

4、邮政编码 5、准考证号 6、商品条码

7、车牌号 8、机器型号 9、公交车号

10、门牌号 11、身份证号 12、

师：同学们的生活经验真丰富，一下子说出了这么多编码。今天我们就选择身份证数字编码来研究，一起探索其中的奥秘。（板书：身份证号码）

二、自学探究、动力激发

1、协同互补、发展思维

板书 身份证号 370283199012028742

①、思考这些数字都代表什么?

▲前两个数字表示省份。（板书：省）

▲第3、4位上的两个数字表示城市。（板书：市）

▲第5、6位上的两个数字表示县（区）。（板书：县（区）2个）

前六位数字依次表示省市区的代码，也就是行政区划代码（板书：行政区划代码） ▲身份证第7到12位上的数字表示某人的出生年、月、日。（板书：出生年

二章-信息量和熵习题解

2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号

32315所以，信息速率为0.9183??3.444比特/秒

4解: 平均每个符号长为:

2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；

所以，信息速率为6?1000?6000比特/秒

2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。

试问各得到了多少信息量?

6 366 所以，得到的信息量为 log2( 比特 )?2.585361 (b) 一对骰子总点数为12的概率是

361 所以，得到的信息量为 log2?5.17 比特

36 解: (a)一对骰子总点数为7的概率是

2.4 经过充分洗牌后

二章-信息量和熵习题解

2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号

32315所以，信息速率为0.9183??3.444比特/秒

4解: 平均每个符号长为:

2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；

所以，信息速率为6?1000?6000比特/秒

2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。

试问各得到了多少信息量?

6 366 所以，得到的信息量为 log2( 比特 )?2.585361 (b) 一对骰子总点数为12的概率是

361 所以，得到的信息量为 log2?5.17 比特

36 解: (a)一对骰子总点数为7的概率是

2.4 经过充分洗牌后

知识的识记与信息编码

一、知识识记与信息编码的实质

识记是人们获得个体经验的过程，或者说是对信息进行编码的过程。在整个记忆系统中，信息编码有不同的层次或水平，而且是以不同的形式存在着的。

识记是一个开展的过程，它包括对外界信息进行反复的感知、思考、体验和操作。新的信息必须与个体已有的知识结构形成联系，并纳入已有知识结构之中，才能获得和巩固。但是，在某些情况下，当需要识记的事物与人们的需要、兴趣、情绪密切联系时，只要经历一次，人们就能终生不忘。例如，学生接到高校录取通知书的愉快心情，往往是终生难忘的。

二、知识识记与信息编码的主要方式 （一）视觉编码

视觉编码是感觉记忆的主要信息编码方式。斯珀林(G．Sperling)的图像记忆实验证实了视觉器官这种编码的能力。

在斯珀林实验的开始阶段，他用速视器以50毫秒的极短时间向被试同时呈现如表16-1左侧的一套符号（字母或数字），要求被试把他所看到的符号尽量多地再现出来（全部报告法）。结果发现，被试仅能正确回忆4～5个符号。后来，斯珀林修改了实验程序，如表

1

16-1所示，给被试呈现12个符号，排成3排，每排4个符号，呈现时间仍为50毫秒。但其中每排符号都和一种声音相联系，例如，上排用高音，