信息论与编码(第一二章)-100322

信息论与编码

曹雪虹，张宗橙编北京邮电大学出版社

北京工商大学信息工程学院

2013年7月29日1时24分

参考教材

1姜丹，“信息论与编码”,中国科大出版社

2 邓家先，“信息论与编码”,西安电子科技 大学出版社3 吴伟陵，“信息处理与编码”,人民邮电出 版社北京工商大学信息工程学院 信息论与编码 2

2013年7月29日1时24分

考核方式

1 平时( 30%):作业、实验情况、实验报 告、出勤、期中考试等。 2 期末成绩 70%

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

其它有关事项

讲课:(概念、方法) 实验:(4个) 自学:(数学推导、定理证明) 考试：基本概念，基本计算。 答疑：两周一次，商定时间联系方式： 廉小亲：email:lianxq@北京工商大学信息工程学院 信息论与编码 4

2013年7月29日1时24分

目录

第一章 第二章 第三章 第四章 第五章 第六章

绪论 信源和信息熵 无失真信源编码 限失真信源编码 信道编码 密码学

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

第1章 绪论

1.1 信息论的形成和发展

1.2 通信系统的模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

本章要点

信息论的形成和发展； 信息论研究的内容及信息的基本概念； 结合通信系统模型介绍模型中各部分的作用及编码的种类 和研究内容。

信息科学 研究如何获取信息，并完成它的传输、交换、处理、 检测、识别、存储、显示等功能的科学。 信息论 信息科学的主要理论基础之一。它研究信息的基本 理论(Information Theory),主要研究可能性和存在性 问题，为具体实现提供理论依据。2013年7月29日1时24分 北京工商大学信息工程学院 信息论与编码 7

1.1 信息论的形成和发展1、信息论的形成和发展

信息速率和带宽 之间的关系

早期定义是由奈奎斯特(Nyquist, H)和哈特莱 (Hartley, LVR)在20世纪20年代提出来的.

1948年香农(C.E.Shannon)以《通信的数学理论》 (A mathematical theory of communication)为题 公开发表一篇关于现代信息论的开创性的权威论文，为 信息论的创立作出了独特的贡献。香农因此成为信息论 的奠基人。信息熵的概念、 信息可靠性传输 问题

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.1 信息论的形成和发展1、信息论的形成和发展

50年代信息论在学术界引起了巨大的反响。 60年代信道编码技术有较大进展，使它成为信息论的又 一重要分支。香农1959年的文章

(Coding theorems for a discrete source with a fidelity criterion)系统 地提出了信息率失真理论，为各种信源编码的研究奠定 了基础。 到70年代，有关信息论的研究，从点与点间的单用户通 信推广到多用户系统的研究。

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.1 信息论的形成和发展2、信息论研究的基本问题

什么是信息？如何度量信息？ 在信息传输中，基本的极限条件是什么？ 信息的压缩和恢复的极限条件是什么？ 从环境中抽取信息的极限条件是什么？ 设计什么样的设备才能达到这些极限？ 实际上接近极限的设备是否存在？

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.1 信息论的形成和发展3、信息的基本概念

信息：信息是指各个事物运动的状态及状态变化 的方式。

消息：消息是指包含有信息的语言、文字和图像 等.信号：信号是信息的载荷子或载体，是物理性的。 如电信号、光信号等。

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.1 信息论的形成和发展3、信息的基本概念关系：

按照信息论或控制论的观点，在通信和控制系统中传送的本 质内容是信息，系统中实际传输的则是测量的信号，信息包 含在信号之中，信号是信息的载体。信号到了接收端(信息 论里称为信宿)经过处理变成文字、语声或图像，人们再从 中得到有用的信息。

同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷； 同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描 述； 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、 断与通、低与高(电平)等等。北京工商大学信息工程学院 信息论与编码 12

2013年7月29日1时24分

1.1 信息论的形成和发展3、信息的基本概念 信息的基本概念在于它的不确定性，任何已确定的事物都不 含有信息。其特征有： 接收者在收到信息之前，对它的内容是不知道的，所 以信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性 减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、 贮存及处理； 信息是可以量度的，信息量有多少的差别。2013年7月29日1时24分 北京工商大学信息工程学院 信息论与编码 13

1.2 通信系统的模型信源是向通信系统提供消息(u) 的人和机器，信源输出的是以符号形 式出现的具体消息，它载荷信息。u zZ’

消息传递的对象，即接 收消息的人或机器。v

信源

信道

信宿

注：信源输出的消息可归纳为两类： 离散消息，例如由字母、文字、数字等符号组成的符号序列或者单个符号； 连续消息，例如话音、图像、在时间上连续变化的电参数等。

最简单的通信系统模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型把信源发出的消息变换成由二进制码元组成的代码组以提高 通信系统传输消息的效率—增加系统的有效性

u

信源

信源 编码

x

z

Z’

x’

信道

信源 解码

v

信宿

信源编码的作用： 1 把信源发出的消息变换成 适合在信道中传输的符号 干扰源 2 以数字信道为例，信源符 号转换成尽量少的二进制 码元—增加系统的有效性 较复杂的通信系统模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型在信源编码器输出(或加密后)的代码组上 有目的地增加一些监督码元，使之具有检错 或纠错的能力—增加系统的可靠性

u

信源

信源 编码

x

y

信道 编码

z

Z’

信道

信道 解码

y’

x’

信源 解码

v

信宿

窃听者 干扰源

更复杂的通信系统模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型

u

信源

信源 编码

x

y

加密

信道 编码

z

Z’

信道

信道 解码

y’

x’

解密k

信源 解码

v

信宿

k

窃听者 干扰源

加密 密钥

解密 密钥

完整的通信系统模型

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型

信源：向通信系统提供消息的人和机器。 信宿：消息传递的对象，即接收消息的人或机器。 信道：传递消息的通道，又是传送物理信号的设施。

干扰源：整个通信系统中各个干扰的集中反映，用以 表示消息在信道中传输时遭受干扰的情况。密钥源：产生密钥k源。信源编码器输出信号x经过k 的加密运算后，就把明文x变换为密文y。

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型编码问题可分解为三类：信源编码、信道编码和密码.

信源编码器：把信源发出的消息变换成由二进制码元 (或多进制码元)组成的代码组以提高通信系统传输消息 的效率。信源编码可分为无失真信源编码和限失真信源编 码。信道编码器：在信源编码器输出的代码组上有目的地增加 一些监督码元，使之具有检错或纠错的能力。

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型编码问题可分解为三类：信源编码、信道编码和密码.

密码学：研究如何

隐蔽消息中的信息内容，使它在传输过 程中不被窃听，提高通信系统的安全性。

在实际问题中，上述三类编码应统一考虑来提高通信 系统的性能。这些编码的目标往往是相互矛盾的。

2013年7月29日1时24分

北京工商大学信息工程学院

信息论与编码

1.2 通信系统的模型编码的应用的几个例子：

电报常用的莫尔斯码就是按信息论基本编码原则设计的； 在一些商品上面有一张由粗细条纹组成的标签，从这张标 签可以得知该商品的生产厂家、生产日期和价格等信息， 这些标签是利用条形码设计出来的，非常方便，非常有用， 应用越来越普遍； 每出版一本书，都给定一个国际标准书号(ISBN),大 大方便图书的销售、编目和收藏工作。北京工商大学信息工程学院 信息论与编码 21

2013年7月29日1时24分

本文来源：https://www.bwwdw.com/article/sv21.html