信息论基础-第二、三章

更新时间:2023-06-03 00:30:01 阅读量: 实用文档 文档下载

说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。

信息论基础-信源及信源熵第二章 信源及信源熵

2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.8 2.9

信源的描述与分类 信源的数学模型 单符号信源的熵 联合信源的熵与条件熵 平均交互信息量 熵的性质 离散序列信源的熵 马尔可夫信源的熵 冗余度 连续信源的熵与互信息量 中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 1

信息论基础-信源及信源熵第二讲

2.1 信源的描述与分类 2.2 信源的数学模型 2.3 单符号信源的熵

中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 2

信息论基础-信源及信源熵上讲回顾: 1、信息是组成客观世界并促进社会发展的最 基本的三大要素之一 (三大要素是:物质、能 量与信息。三要素中物质是基础 ) 2、信息就是用来消除不确定性的东西,在数 量上等于通信前后不确定性的消除量 3、信息的属性中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 3

信息论基础-信源及信源熵

1)普遍性; 2)相对性 3)可度量 4)可扩充 5)可存储、传输与携带 6)可压缩 7)可替代 8)可扩散 9)可共享 10)时效性

中国矿业大学信电学院

School of Information and Electrical Engineering, CUMT, 4

信息论基础-信源及信源熵4、通信系统的基本模型

信源

信道

信宿

中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 5

信息论基础-信源及信源熵从这一章开始,我们从有效而可靠地传 输信息的观点出发,对组成信息传输系统的 各个部分分别进行讨论。本章首先讨论信源, 重点是信源的统计特性和数学模型,以及各 类离散信源的信息测度——熵及其性质。这 部分内容是香农信息论的基础。也是本课程 的重点中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 6

信息论基础-信源及信源熵2.1 信源的分类 信源的分类方法依信源特性而定,一般按照信源发出的 消息在时间上和幅度上的分布情况,把信源分为:

时间(空间) 离散

取值 离散

信源种类 离散信源 (数字信源)

举例 文字、数据、离散化的图像

离散连续 连续

连续连续 离散

连续信源连续信源 (波形信源) 未知

语音信号抽样后信号语音、音乐、热噪声等 连续方波中国矿业大学信电学院

School of Information and Electrical Engineering, CUMT, 7

信息论基础-信源及信源熵

离散信源又可以细分为: 1.根据有无记忆: (1)(离散)无记忆信源:所发出的各个符号之间是相 互独立的,发出的符号序列中的各个符号之间没有统 计关联性,各个符号的出现概率是它自身的

先验概率。 (2)(离散)有记忆信源:发出的各个符号之间不是相 互独立的,各个符号出现的概率是有关联的。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 8

信息论基础-信源及信源熵2.根据信源发出一个消息所用符号的多少,将 离散信源分为: (1) 发出单个符号的离散信源:信源每次只发出 一个符号代表一个消息; (2) 发出符号序列的离散信源:信源每次发出一 组含二个以上符号的符号序列代表一个消息。 将以上两种分类结合,就有四种离散信源:中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 9

信息论基础-信源及信源熵(1)发出单个符号的无记忆信源;(离散无记忆单符号信源; 先验概率) (2)发出符号序列的无记忆信源;(离散无记忆序列信源,离 散联合概率) (3)发出符号序列的有记忆信源;(离散有记忆序列信源,联 合概率) (4)发出单符号的有记忆信源;(离散有记忆单符号信源,条 件概率) 一类重要的离散有记忆单符号信源——马尔可夫信源: 某 一个符号出现的概率只与前面一个或有限个符号有关,而不 依赖更前面的那些符号。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 10

信息论基础-信源及信源熵

2.2 信源的数学模型

正如绪论中所述,在通信系统中收信者在未收到消息以前,对信源发出 什么消息是不确定的,所以可用随机变量或随机矢量来描述信源输出的消息。 或者说,用概率空间来描述信源。离散信源的数学模型就是离散型的概率空 间[X,P】。

1.离散无记忆单符号信源数学模型 假设信源X可能取的消息(符号集,或称为字符集、字 a 母集)只有q个:1, a2 , , aq ,而且每次必定取其中一 个 ai (i 1,2,...,q) :而且 p(ai )(i 1,2, , q) 称为符号 a i 的先验概率,那么单个符号的无记忆离散信源的数学 中国矿业大学信电学院 模型为: School of Information and Electrical Engineering, CUMT,11

信息论基础-信源及信源熵 a1 X P p ( a1 ) a2 p ( a2 ) p ( aq ) aq

p(ai )(i 1,2, , q) 称为符号 ai的先验概率,应满足

p(a ) 1i 1 i中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 12

n

信息论基础-信源及信源熵它表示信源可能取的消息(符号)只有q,个: , aq , a1 a2 , 而且每次必定取其中一个。 2.长度为N的符号序列信源数学模型 很多实际信源输出的消息往往是由一系列符号所组成 的。 [例1]:中文信源的样本空间集合x是所有中文字母及 标点符号的集合。由这些单字和标点符号组成的消息 即是中文句子和

文章(中文字符组成序列)。从时间上 看,中文信源的输出是时间上离散的一系列符号,而 其中每个符号的出现是随机的,由此构成了不同的中 文消息。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 13

信息论基础-信源及信源熵[例2]:对离散化的平面图像来说,从空间上来 看是一系列离散的符号(一幅图像可以看作由组 成这个图像的点组成的序列),而空间每一点的 符号(灰度)又都是随机的,由此形成了不同的图 像。 所以我们可以把一般信源输出的消息看作为 时间或空间上离散的一系列随机变量向量,即随 机矢量。这样,信源的输出可用N维随机矢量

X=( x1 , x2 ,L , xN )来描述,其中N可为有限正整数或可数的无限 中国矿业大学信电学院 值。 School of Information and Electrical Engineering, CUMT,14

信息论基础-信源及信源熵在上述随机矢量中,若每个分量是随机变量 xi (i 1,2, , N )都是离散的,则可用N重离散概率空间来描述 这类信源。即若N维随机矢量X ( x1 , x 2 , , x N )中

xi A {a1, a2 , , a j , , aq } j 1,2, , q则

X ( x1, x2 , , xN ) X

N

中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 15

信息论基础-信源及信源熵长度为N的符号序列信源数学模型(发出符号序列的无 记忆信源): (a1a1 a1 ) (aq aq aq ) N X N P( X ) p (a1a1 a1 ) p (aq aq aq ) 这个空间共有 q N 个元素。 在某些简单的情况下,信源先后发出的一个个符 号彼此是统计独立的,则N维随机矢量的联合概率分布 满足中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 16

信息论基础-信源及信源熵p( X N ) p( X i )i 1 N

即N维随机矢量的联合概率分布可用随机矢量中单个随机变 量的概率乘积来表示。这种信源就是离散无记忆序列信源(发出 符号序列的无记忆信源,符号间和序列间是无记忆的)。

3. 有记忆信源一般情况下,信源先后发出的符号之间是互相依赖的。例如 在中文字母组成的中文消息中,前后文字的出现是有依赖的,不 能认为是彼此不相关的,放在N维随机矢量的联合概率分布中, 就必然要引入条件概率分布来说明它们之间的关联。这种信源即 有记忆信源。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 17

信息论基础-信源及信源熵表述有记忆信源要比表述无记忆信源困难得多。 这种关联性可用两种方式表示:

1)有记忆序列信源(离散有记忆序列信源)

一种是用信源发出的一个符号序列的整体概率反映记忆信源 的特征,这就

是发出符号序列的有记忆信源。 如:在布袋取球实验中(100球,其中80个红球,20个白球), 先取出一个球,记下颜色不放回布袋,接着取另一个,这样为一 个事件,然后将球被放回重复该实验,构成一个信源。就是一个 有记忆信源(此时序列长度为1,如果将取出球放回就构成无记忆 信元)。如前面所述的离散序列信源当序列中的各分量不彼此统计 独立时,就称谓有记忆序列信源(特点:序列中各符号有记忆, 序列间无记忆,所以其模型与离散无记忆序列信源一样,但是联合 概率不一样) 中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 18

信息论基础-信源及信源熵数学模型为: (a1a1 a1 ) X N P( X ) p(a a a ) 1 1 1 N k 1 1

( aq aq aq ) p ( aq aq aq )

.... p(akq 1

q

q

k1 k 2

a ...akq ) 1

中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 19

信息论基础-信源及信源熵2)有限记忆(离散有限记忆符号信源)实际上信源发出的符号往往只与前面几个符号的依 赖关系较强,而与更前面的符号依赖关系就弱。为 此可以限制随机序列的记忆长度。当记忆长度为 m+1时,称这种有记忆信源为m阶马尔可夫信源。 也就是信源所发出的符号只与前m个符号有关,与 更前面的符号无关——马尔可夫信源。

中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 20

信息论基础-信源及信源熵这样就可用马尔可夫链来描述信源。这时描述符 号之间依赖关系的条件概率为

p( xi | xi 1 xi 2 xi m ) p( xi | xi 1 xi 2 xi m )如果条件概率与时间起点i无关,即信源输出的 消息可看成为时齐马尔可夫链,则此信源称为 时齐马尔可夫信源。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 21

本文来源:https://www.bwwdw.com/article/tcs1.html

微信扫码分享

《信息论基础-第二、三章.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档
下载全文
范文搜索
下载文档
Top