信息论基础-第二、三章
更新时间:2023-06-03 00:30:01 阅读量: 实用文档 文档下载
- 信息论基础第2版答案田推荐度:
- 相关推荐
信息论基础-信源及信源熵第二章 信源及信源熵
2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.8 2.9
信源的描述与分类 信源的数学模型 单符号信源的熵 联合信源的熵与条件熵 平均交互信息量 熵的性质 离散序列信源的熵 马尔可夫信源的熵 冗余度 连续信源的熵与互信息量 中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 1
信息论基础-信源及信源熵第二讲
2.1 信源的描述与分类 2.2 信源的数学模型 2.3 单符号信源的熵
中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 2
信息论基础-信源及信源熵上讲回顾: 1、信息是组成客观世界并促进社会发展的最 基本的三大要素之一 (三大要素是:物质、能 量与信息。三要素中物质是基础 ) 2、信息就是用来消除不确定性的东西,在数 量上等于通信前后不确定性的消除量 3、信息的属性中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 3
信息论基础-信源及信源熵
1)普遍性; 2)相对性 3)可度量 4)可扩充 5)可存储、传输与携带 6)可压缩 7)可替代 8)可扩散 9)可共享 10)时效性
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT, 4
信息论基础-信源及信源熵4、通信系统的基本模型
信源
信道
信宿
中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 5
信息论基础-信源及信源熵从这一章开始,我们从有效而可靠地传 输信息的观点出发,对组成信息传输系统的 各个部分分别进行讨论。本章首先讨论信源, 重点是信源的统计特性和数学模型,以及各 类离散信源的信息测度——熵及其性质。这 部分内容是香农信息论的基础。也是本课程 的重点中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 6
信息论基础-信源及信源熵2.1 信源的分类 信源的分类方法依信源特性而定,一般按照信源发出的 消息在时间上和幅度上的分布情况,把信源分为:
时间(空间) 离散
取值 离散
信源种类 离散信源 (数字信源)
举例 文字、数据、离散化的图像
离散连续 连续
连续连续 离散
连续信源连续信源 (波形信源) 未知
语音信号抽样后信号语音、音乐、热噪声等 连续方波中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT, 7
信息论基础-信源及信源熵
离散信源又可以细分为: 1.根据有无记忆: (1)(离散)无记忆信源:所发出的各个符号之间是相 互独立的,发出的符号序列中的各个符号之间没有统 计关联性,各个符号的出现概率是它自身的
先验概率。 (2)(离散)有记忆信源:发出的各个符号之间不是相 互独立的,各个符号出现的概率是有关联的。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 8
信息论基础-信源及信源熵2.根据信源发出一个消息所用符号的多少,将 离散信源分为: (1) 发出单个符号的离散信源:信源每次只发出 一个符号代表一个消息; (2) 发出符号序列的离散信源:信源每次发出一 组含二个以上符号的符号序列代表一个消息。 将以上两种分类结合,就有四种离散信源:中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 9
信息论基础-信源及信源熵(1)发出单个符号的无记忆信源;(离散无记忆单符号信源; 先验概率) (2)发出符号序列的无记忆信源;(离散无记忆序列信源,离 散联合概率) (3)发出符号序列的有记忆信源;(离散有记忆序列信源,联 合概率) (4)发出单符号的有记忆信源;(离散有记忆单符号信源,条 件概率) 一类重要的离散有记忆单符号信源——马尔可夫信源: 某 一个符号出现的概率只与前面一个或有限个符号有关,而不 依赖更前面的那些符号。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 10
信息论基础-信源及信源熵
2.2 信源的数学模型
正如绪论中所述,在通信系统中收信者在未收到消息以前,对信源发出 什么消息是不确定的,所以可用随机变量或随机矢量来描述信源输出的消息。 或者说,用概率空间来描述信源。离散信源的数学模型就是离散型的概率空 间[X,P】。
1.离散无记忆单符号信源数学模型 假设信源X可能取的消息(符号集,或称为字符集、字 a 母集)只有q个:1, a2 , , aq ,而且每次必定取其中一 个 ai (i 1,2,...,q) :而且 p(ai )(i 1,2, , q) 称为符号 a i 的先验概率,那么单个符号的无记忆离散信源的数学 中国矿业大学信电学院 模型为: School of Information and Electrical Engineering, CUMT,11
信息论基础-信源及信源熵 a1 X P p ( a1 ) a2 p ( a2 ) p ( aq ) aq
p(ai )(i 1,2, , q) 称为符号 ai的先验概率,应满足
p(a ) 1i 1 i中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 12
n
信息论基础-信源及信源熵它表示信源可能取的消息(符号)只有q,个: , aq , a1 a2 , 而且每次必定取其中一个。 2.长度为N的符号序列信源数学模型 很多实际信源输出的消息往往是由一系列符号所组成 的。 [例1]:中文信源的样本空间集合x是所有中文字母及 标点符号的集合。由这些单字和标点符号组成的消息 即是中文句子和
文章(中文字符组成序列)。从时间上 看,中文信源的输出是时间上离散的一系列符号,而 其中每个符号的出现是随机的,由此构成了不同的中 文消息。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 13
信息论基础-信源及信源熵[例2]:对离散化的平面图像来说,从空间上来 看是一系列离散的符号(一幅图像可以看作由组 成这个图像的点组成的序列),而空间每一点的 符号(灰度)又都是随机的,由此形成了不同的图 像。 所以我们可以把一般信源输出的消息看作为 时间或空间上离散的一系列随机变量向量,即随 机矢量。这样,信源的输出可用N维随机矢量
X=( x1 , x2 ,L , xN )来描述,其中N可为有限正整数或可数的无限 中国矿业大学信电学院 值。 School of Information and Electrical Engineering, CUMT,14
信息论基础-信源及信源熵在上述随机矢量中,若每个分量是随机变量 xi (i 1,2, , N )都是离散的,则可用N重离散概率空间来描述 这类信源。即若N维随机矢量X ( x1 , x 2 , , x N )中
xi A {a1, a2 , , a j , , aq } j 1,2, , q则
X ( x1, x2 , , xN ) X
N
中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 15
信息论基础-信源及信源熵长度为N的符号序列信源数学模型(发出符号序列的无 记忆信源): (a1a1 a1 ) (aq aq aq ) N X N P( X ) p (a1a1 a1 ) p (aq aq aq ) 这个空间共有 q N 个元素。 在某些简单的情况下,信源先后发出的一个个符 号彼此是统计独立的,则N维随机矢量的联合概率分布 满足中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 16
信息论基础-信源及信源熵p( X N ) p( X i )i 1 N
即N维随机矢量的联合概率分布可用随机矢量中单个随机变 量的概率乘积来表示。这种信源就是离散无记忆序列信源(发出 符号序列的无记忆信源,符号间和序列间是无记忆的)。
3. 有记忆信源一般情况下,信源先后发出的符号之间是互相依赖的。例如 在中文字母组成的中文消息中,前后文字的出现是有依赖的,不 能认为是彼此不相关的,放在N维随机矢量的联合概率分布中, 就必然要引入条件概率分布来说明它们之间的关联。这种信源即 有记忆信源。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 17
信息论基础-信源及信源熵表述有记忆信源要比表述无记忆信源困难得多。 这种关联性可用两种方式表示:
1)有记忆序列信源(离散有记忆序列信源)
一种是用信源发出的一个符号序列的整体概率反映记忆信源 的特征,这就
是发出符号序列的有记忆信源。 如:在布袋取球实验中(100球,其中80个红球,20个白球), 先取出一个球,记下颜色不放回布袋,接着取另一个,这样为一 个事件,然后将球被放回重复该实验,构成一个信源。就是一个 有记忆信源(此时序列长度为1,如果将取出球放回就构成无记忆 信元)。如前面所述的离散序列信源当序列中的各分量不彼此统计 独立时,就称谓有记忆序列信源(特点:序列中各符号有记忆, 序列间无记忆,所以其模型与离散无记忆序列信源一样,但是联合 概率不一样) 中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 18
信息论基础-信源及信源熵数学模型为: (a1a1 a1 ) X N P( X ) p(a a a ) 1 1 1 N k 1 1
( aq aq aq ) p ( aq aq aq )
.... p(akq 1
q
q
k1 k 2
a ...akq ) 1
中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 19
信息论基础-信源及信源熵2)有限记忆(离散有限记忆符号信源)实际上信源发出的符号往往只与前面几个符号的依 赖关系较强,而与更前面的符号依赖关系就弱。为 此可以限制随机序列的记忆长度。当记忆长度为 m+1时,称这种有记忆信源为m阶马尔可夫信源。 也就是信源所发出的符号只与前m个符号有关,与 更前面的符号无关——马尔可夫信源。
中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 20
信息论基础-信源及信源熵这样就可用马尔可夫链来描述信源。这时描述符 号之间依赖关系的条件概率为
p( xi | xi 1 xi 2 xi m ) p( xi | xi 1 xi 2 xi m )如果条件概率与时间起点i无关,即信源输出的 消息可看成为时齐马尔可夫链,则此信源称为 时齐马尔可夫信源。中国矿业大学信电学院School of Information and Electrical Engineering, CUMT, 21
正在阅读:
信息论基础-第二、三章06-03
关于和谐资料03-08
新人教版八年级数学上册第十一章三角形单元测试题含答案初二数学试题12-15
挖土方案12-30
网球理论112-28
2020年入党积极分子思想汇报3篇09-17
中专计算机专业VB期末试题10-12
大冶农村安全饮水工程建设规划设计采购项目-大冶自来水公司12-17
《活法》试题06-24
5s中文电路原理详解,绝好的 - 图文10-26
- 教学能力大赛决赛获奖-教学实施报告-(完整图文版)
- 互联网+数据中心行业分析报告
- 2017上海杨浦区高三一模数学试题及答案
- 招商部差旅接待管理制度(4-25)
- 学生游玩安全注意事项
- 学生信息管理系统(文档模板供参考)
- 叉车门架有限元分析及系统设计
- 2014帮助残疾人志愿者服务情况记录
- 叶绿体中色素的提取和分离实验
- 中国食物成分表2020年最新权威完整改进版
- 推动国土资源领域生态文明建设
- 给水管道冲洗和消毒记录
- 计算机软件专业自我评价
- 高中数学必修1-5知识点归纳
- 2018-2022年中国第五代移动通信技术(5G)产业深度分析及发展前景研究报告发展趋势(目录)
- 生产车间巡查制度
- 2018版中国光热发电行业深度研究报告目录
- (通用)2019年中考数学总复习 第一章 第四节 数的开方与二次根式课件
- 2017_2018学年高中语文第二单元第4课说数课件粤教版
- 上市新药Lumateperone(卢美哌隆)合成检索总结报告
- 信息论
- 基础
- 舞台美术毕业论文
- 第七章 化工工艺制图-01
- 5 政治学原理期末复习指导与答案 含作业题1-4
- 《劝学》《师说》基础测验
- 第7章 物流企业作业管理
- 资料表格(表101-135)
- GB320240DNGBBMUA-V00中文资料
- 2020植树节的优秀话题作文600字精选
- 增词法就是在翻译时按意义上和句法上的需要增加一些词...
- 基于7自由度模型的整车振动分析
- 《自杀论》读书笔记
- 如何构建一个大肠杆菌高校表达的分子克隆
- 想做高手先练性爱基本功.docx
- 人教版八年级下册物理教材分析
- 项目管理四十条(李君上传)
- 小学优秀中层干部评选与管理办法
- 概预算-屋面及防水工程计算
- 2015年河北省中考物理预测卷实验题解析
- 浅析约翰_邓恩玄学诗中奇喻的哲学意味
- 操作系统期末试卷(含答案)