信息、信息科学与信息技术
更新时间:2023-08-27 15:41:01 阅读量: 教育文库 文档下载
第一章信息、信息科学与信息技术沈晴霓北京大学软件与微电子学院
纲 1.1信息 1.2信息科学 1.3信息技术
要
1.4信息科学/技术与相关学科的关系
1.1信息 什么是信息?
就一般意义而言,信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等等。 20世纪30年代,信息被作为一个科学概念探讨
1928年,哈特莱(Ralph V.L. Hartley)在“信息传输”文中首先提出“信息”这一概念,即“信息是代码、符号,而不是信息内容本身”,与消息区分开来。 1948年,信息论创始人香农(C. E. Shannon)从研究通信理论出发,第一次从数学方法角度进行了定义,即“信息就是不确定性的消除”。
香农对信息的定义 什么是信息?信息能否度量?怎样度量? 香农认为:信息是有秩序的量度,是人们对事物了解的不确定性的消除或减少。 信息是对组织程度的一种测度,信息能使物质系统有序性增强,减少破坏、混乱和噪音。如:人的交往、道路交通、公安保密等
信息的传播过程 香农提出:信息的传播过程是“信源”(信息的发送者)把要提供的信息经过“信道”传递给“信宿”(信息的接收者),信宿接收这些经过“译码”(即解释符号)的信息符号的过程。信源→编码→信道→译码→信宿
信息的度量 由于信息源发出的消息是随机的,可以用随机变量来表示。如果用符号表示信息源发出的信息,假设事件的基本空间 包含 m个元素,即 ={x1, x2,…, xm},且每一个等可能值的概率为: P( X=xi )= p i=1, 2,…, m 那么,定义一个随机事件所含的信息量称为x的自信息量,即
只能表示信息源发出的某一特定消息x的自信息量,而对于不同的消息则有不同的自信息量,所以不足以作为整个信息源的总体信息测度。那么,可以定义平均信息量来作为信息总体的测度,即信息熵。
信息熵 设X为一离散随机变量,在集合中取值,其概率分布为
信息熵是从整个信息源的统计特性来考虑的,它从平均的意义上来表示信息源的总体信息测度,它表示信息源 X在没有发出消息以前,信宿对信息源 X存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式,同样一个消息对任何一个收信者来说,所得到的信息量都是一样的。
香农关于信息的度量,通常也称为概率信息。它是一个科学的定义,有明确的数学模型和定量计算。 在公式中,对数的底数从理论上而言可以取任何数。当底数为2时,信息的计量单位为比特 (bit),即二进制单位。
正确理
解信息熵的概念 举例:在试验甲和乙中,两种结果A和B出现的概率如下:
在试验之前,就试验甲而言,很难断定A和B中那个可能将出现(由于出现A与出现B的概率相等,就像投掷硬币一样,投之前很难判断正反面);但就试验乙而言,就很大的把握断定A将出现。 由此可见,在不同的试验中,其不肯定性是有大有小的,试验甲的不肯定性就比试验乙的来得大。
如果将信息熵的计算公式套用到类似本例的实验中,可以这样描述:设在试验中有N个可能出现的结果, A(1),A(2),…,A(n)假如它们出现的概率分别是 P(1),P(2),…, P(n)通常规定这个试验的熵为:
小结熵就是描写不肯定性大小的量熵越大不肯定性就越大
香农信息论的局限性 首先,香农对信息的定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲,是否存在这样一个模型还值得探讨。 其次,这个定义和度量不考虑收信者的主观特性和主观意义,也撇开了信息的具体含义、具体用途、重要程度和引起后果等因素。这与实际情况不完全一致。
问题分析 香农信息论存在的问题,主要是由于狭义信息论没有解决信息的语义问题和有效性问题。 语义信息是指当认知主体在获得信息时,不仅要知道“是什么形式”,而且还要理解“是什么意思”。也就是说,信息的具体含义是什么。香农定义并没有解决语义信息的度量问题。这样,它的适用范围就受到严重的限制。 时效性问题??
广义信息论 广义信息论超出了通讯技术的范围来研究信息问题,它以各种系统、各门科学中的信息为对象,广泛地研究信息的本质和特点,以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。 广义信息论包括了狭义信息论的内容,但其研究范围却比通讯领域广泛得多,是狭义信息论在各个领域的应用和推广,因此,它的规律也更一般化,适用于各个领域,所以它是一门横向学科。 广义信息论,人们也称它为信息科学。
数据、消息、信号与信息的区别 数据:是对客观实体的一种描述形式,是信息的载体。
数据(原材料木头)与信息(加工以形成的结构)的关系
从这个意义上,信息和数据的区别可以理解为:数据是未加工的信息,而信息是数据经过加工以后的能为某个目的使用的数据,信息是数据的内容或诠释。将数据加工为信息的过程称为信息加工或处理。 数据可分为模拟数据和数字数
据两种形式。模拟数据是在某个区间内连续的值。
正在阅读:
信息、信息科学与信息技术08-27
2012 11 12质粒DNA的提取、定量、酶切与PCR鉴定05-22
CFG桩基础施工组织设计方案08-28
初一政治开学课说课稿04-15
中国果蔬食品罐头行业市场前景分析预测报告(目录) - 图文04-09
陪伴作文1000字07-02
关于秋天的树叶作文300字06-13
青海省人民政府办公厅关于印发青海省太阳能产业发展及推广应用规划的通知01-28
中牟县雁鸣湖生态乡镇规划 - 图文11-14
- exercise2
- 铅锌矿详查地质设计 - 图文
- 厨余垃圾、餐厨垃圾堆肥系统设计方案
- 陈明珠开题报告
- 化工原理精选例题
- 政府形象宣传册营销案例
- 小学一至三年级语文阅读专项练习题
- 2014.民诉 期末考试 复习题
- 巅峰智业 - 做好顶层设计对建设城市的重要意义
- (三起)冀教版三年级英语上册Unit4 Lesson24练习题及答案
- 2017年实心轮胎现状及发展趋势分析(目录)
- 基于GIS的农用地定级技术研究定稿
- 2017-2022年中国医疗保健市场调查与市场前景预测报告(目录) - 图文
- 作业
- OFDM技术仿真(MATLAB代码) - 图文
- Android工程师笔试题及答案
- 生命密码联合密码
- 空间地上权若干法律问题探究
- 江苏学业水平测试《机械基础》模拟试题
- 选课走班实施方案
- 信息
- 科学
- 技术
- 国际税收 第八章 国际反避税措施
- 做一个幸福的教师感悟
- 2019年中国龟鳖养殖行业发展前景分析及投资风险预测报告目录
- 网络协议电子书集合
- 高中数学必修2立体几何专题二面角典型例题解法总结
- 《金属凝固原理》思考题解答
- 隐框玻璃幕墙施工方案
- 安徽省安庆市2014届九年级政治上学期期末考试试题
- 同等学力人员申请硕士学位英语水平全国统一考试大纲(第五版)
- 避孕,什么是避孕栓?如何使用?有何优缺点?.docx
- 2014年二建法规真题及答案
- 单片机试题库(有答案)
- 阳光灿烂的日子
- 台达PLC寄存器地址于Modbus寄存器地址对照表
- 核桃坪煤矿探放水孔设计及安全技术措施
- 行业研究报告-2017-2022年中国互联网+农业产业发展预测及投资咨询报告(目录)
- 2019年高考物理一轮复习第十三章热学第2讲固体液体和气体练习【含答案】
- 图书馆scopus数据库使用指南
- 操作系统实验报告实验四-动态分区分配算法有运行图
- 2013年7月国开学前教育本科《幼儿园课程与活动设计》期末考试试题及答案