信息熵及其性质和应用

青岛农业大学

本 科 生 课 程 论 文

论 文 题 目 信息熵及其性质和应用

学生专业班级 信息与计算科学09级2班

学生学号姓名 20093992

指 导 教 师 吴 慧

完 成 时 间 2012年06月25日

2012 年 06 月 25 日

课 程 论 文 任 务 书

学生姓名 指导教师 吴慧

论文题目 信息熵及其性质和应用 论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解 。 资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。

发出任务书日期 06月15日 完成论文日期 06月25日 教研室意见（签字） 院长意见（签字）

信息熵及其性质和应用

信息与计算科学专业 指导教师 吴慧

摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。 关键词；信息熵 性质 应用

Information entropy and its properties and Application

Student majoring in Information and Computing Science Specialty dongqiang

Tutor WuHui

Abstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application of.Information is a very popular and wi dely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application. Key words:information entropy properties application

引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p1,p…，pn)，香农熵定义为H(X)=E[I(xi)]=??pilogpi在p1+p2+p3+…pk=1的条件下，为使H（X）最大，显然是pi＝1/k（i=1,2,…，k），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw（ｗ是系统状态的概率）是后来Planck的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。 信息熵(entropy )的概念 设一个离散型随机变量和它的概率分布为

?X??x1x2?xnxn?1??p(x)???pp?pp????12nn?1? 0?pi?1, ?pi?1i?1n?1任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(xi) =-logpi。自信息量I(xi)是指某一信源X 发出某一消息信号xi所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，

它不能用来作为整个信源的信息测度。香农将平均自信息量定义为信息熵，简称为熵。即H(X)=E[I(xi)]=??pilogpi。

二、信息熵的性质

1、对称性：

设某一概率系统中n 个事件的概率分布为p1,?,pn，当对事件位置的顺序

/进行任意置换后，得到新的概率分布为p1/,?,pn，并有以下关系成立: /H(p1,?,pn)=H (p1/,?,pn)它表示概率系统中事件的顺序虽不同，但概率系统的

熵值是不变的，即概率系统的熵与事件的顺序无关。 2、非负性： H(p1,p2,?pq)?0因为每个p<1，所以它们的以不小于1的数为底的对数是不大于零的。 3、确定性：

设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有:H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H (1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。

此时，信源中每个事件对熵的贡献都为0，因而熵总为零。 4、扩展性：

若集合X 有n 个事件，另一集合Y 中有n+1 个事件，但集合X 和Y 的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。式子表达如下：

LimHn?1?p1,p2,?.pn??,???Hn?p1,p2,?,pn?

??05、可加性与强可加性： （涉及到了两个变量！） H（XY）为两个随机变量的联合熵。

可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵

H(XY)?H(X)?H(Y|X)

qq 1H(Y|X)?p(x)p(y|x)log?i?ji p(yj|xi)i?1j?1

对于 X 与 Y 独立的情况有： （强可加性）

H(XY)?H(X)?H(Y)

P(xy)?P(x)P(y|x)?px?pxyn,mn,m

Hnm(XY)???p(xiyj)logp(xiyj)???pipijlogpipij i.ji.j n,mn,m???pipijlogpi??pipijlogpij

i.ji.j nmnm ???(logpi)?p(xiyj)??pi?pijlogpijijij

n ?Hn(p1,p2,?pn)??piHm(pi1,pi2,?pim)i?1

nm

pi?1pi?0;?pij?1pij?0;? i?1j?16、递增性：（子集再划分，第 n 个分为 m 个）

Hn?m?1(p1,p2,?pn?1,q1,q2,?qm)?Hn(p1,p2,?,pn?1,pn)

nmqmq1q2 ?pnHm(,,?,),?pi?1,?qj?pnpnpnpni?1j?1

按照定义证明： n?m?1n?1m?111Hn?m?1(p)??pilog??pilog??qilog

pipii?1qii?1i?1

nmq1111 ??pilog?pnlog?pn?ilog?pipnqi/pnpni?1i?1pn

?Hn?pnHm

1111例题：计算 H(,,,)3366 1111122111H(,,,)?H(,)?(,,) 3366333244 122112111?H(,)?H(,)??H(,)

333223222

1211 ?H(,)?H(,)?1.918(bit/symbol)3322

7、极值性：

111

H(p1,p2,?pq)?H(,,?)?logqqqq

可利用两个引理证明；（以后再利用Jensen证明。） 引理 1 ：对于 x > 0

11??lnx?x?1

x引理 2 ： q H(p1,p2,?pq)???pilogqii?1

其中： ?pi?1;?qi?1 ii8、上凸性：

? ? H(p1,p2,?pq)?H(P)是 P 的上凸函数 即对于 0 ? 1 , 和两个概率

??矢量 P 1, P 2 ，有： ???? H(θP1?(1?θ)P2)?θH(P1)?(1?θ)H(P2)函数f 的图象

几何解释： f(EP)总在 Ef(P) 上边

9、1 证明离散平稳信源有H?X3X1X2??H?X2X1?，试说明等式成立的条件。 解：H?X3X1X2??????Px1x2x3logP?x3x1x2? ????P?x1x2??P?x3x1x2?logP?x3x1x2? ????P?x1x2??P?x3x1x2?logP?x3x2?

x1x2x3x1x2x3?? =H?X3X2?

根据信源的平稳性，有H?X3X2?=H?X2X1?，因此有H?X3X1X2??H?X2X1? 等式成立的条件是P?x3x1x2??P?x3x2?

9、2 证明离散信源有H?X1X2?XN??H?X1??H?X2??H?X3???H?XN?，并说明等式成立 的条件。

证明H?X1X2?XN??H?X1??H?X2X2??H?X3X1X2???H?XNX1X2XN?1? 而H?XNX1X2XN?1?

??????P?x1x2?xN?logP?xNx1x2?xN?1?

X1X2XN??????P?x1x2?xN?1??P?XNX1X2?XN?1?logP?xNx1x2?xN?1?

X1X2XN?1XN??????P?x1x2?xN?1??P?XNX1X2?XN?1?logP?xN?

X1X2XN?1XN=H?XN?

即

H?x2x1??H?x2?

H?x3x1x2??H?x3???

代入上述不等式，有

H?X1X2?XN??H?X1??H?X2??H?X3???H?XN? 等号成立的条件是：

p?xNx1x2?xN?1??p?xN?

p?xN?1x1x2?xN?2??p?xN?1???

p?x2x1??p?x2?

9、3 在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明 （1）h(X | Y) ??h(X )，当且仅当X 和Y 统计独立时等号成立；

（2） h?X1X2?XN??h?X1??h?X2???h?XN?当且仅当X1X2?XN 彼此统计 独立时等式成立。

证明：

（1） h?XY????p?y?dy?p?xy?logp?xy?dx

???p?y?dy?p?xy?logp?x?dx

??p?x,y?logp?x?dxdy?h?X?

等号成立当且仅当p(x | y) ??p(x)，即p(x, y) ??p(x) p(y)，因此仅当X 和Y 统计 独立时等号成立。

（2）根据条件概率密度的相关公式，有

h?X1X2?XN??h?X1??h?X2X2??h?X3X1X2???h?XNX1X2XN?1? 根据（1）的结论，条件差熵小于差熵，因此有

h?X1X2?XN??h?X1??h?X2??h?X3???h?XN? 等号成立当且仅当

p?x2x1??p?x2?

p?x3x1x2??p?x3???

p?xNx1x2?xN?1??p?xN? 即p?x1x2??p?x1?p?x2?

p?x1x2x3??p?x1?p?x2?p?x3???

p?x1x2?xN??p?x1?p?x2??p?xN?

9、4 N 维连续型随机序列X1X2?XN,有概率密度以及p(X1X2?XN)以及

E??Xi?mi????i。证明：当随机序列的分量各自达到正态分布并彼此统计独立

2时熵最大。最大熵为

N22log2?e?12?2??N2??1N

证明：h?X1X2?XN??h?X1??h?X2??h?X3???h?XN?

等号成立当且仅当各分量统计独立。

而对于任何一个分量而言，当E??Xi?mi????i时，高斯分布的差熵最大，为

2h?Xi??1log2?e?i2因此原序列差熵的最大值为： 211122???log2?e?N h?X1X2?XN??log2?e?12+log2?e?22221N22N =log[2?e(?12?2??N)]

29、5 N 维连续型随机序列X1X2?XN，其各分量幅度分别受限为?ai,bi?。证明：当随机序列的分量各自达到均匀分布并彼此统计独立时熵最大。最大熵为

log??bi?ai?

i?1N证明：h?X1X2?XN??h?X1??h?X2??h?X3???h?XN? 等号成立当且仅当各分量统计独立。

而对于任何一个分量而言，当幅度分别受限为[ , ] i i a b 时，均匀分布的差熵最大， 为h?Xi??log?bi?ai? 因此原序列差熵的最大值为：

h?X1X2?XN?=log?b1?a1??log?b2?a2????log?bN?aN?

=log??bi?ai?

i?1N三、熵的应用

熵是信息理论中一个非常重要的概念，它是衡量一个随机变量取值的不确定性程度。而就数据集合而言，熵可以作为数据集合的不规则程度的量度，所谓的不规则程度指的是集合中前后数据元素之间时序依赖关系的强弱。对一个具体的系统来说，如果这个系统随机性很大、非常混乱、毫无秩序,则此系统的信息熵就一定很大。反之，如果一个系统是确定的、具有一定的规则、服从一定的秩序，则此系统的信息熵就一定小。因此,可以把信息熵引申应用到对事物集合中一些相互对立性质的量度,判断事物集合中的有序与无序、确定性与随机性、组织性与散漫性、规则性与杂乱性、简并性与多样性,并对其相互对立的概念进行量度。结合信息熵的性质，它的应用十分广泛，在各个学科中都有它的影子。

目前文献中信息熵在具体问题中的应用有信息熵在教学质量分析中的应用，信息熵在学生评教结果分析中的应用探析，信息熵在数据集分割中的应用，信息

熵方法及其在教育信息处理中的应用，信息熵在缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵在设计风险管理中的应用研究，信息熵在大型水利水电工程网络管理系统信息集成中的应用，信息熵在体育综合服务质量模糊评价中的应用，信息熵在水污染物总量区域公平分配中的应用，信息熵在项目沟通管理中的应用，信息熵在竞争情报计量分析中的应用，信息熵在体绘制视图选取中的应用，信息熵在基因调控网络构建中的应用，信息熵在入侵检测中的应用，信熵在建设工程评标中的应用，信息熵在农业技术扩散中的应用研究，信息熵在电子测量误差分析中的应用，信息熵在临床定量诊断分析中的应用，信息熵在建筑工程管理中的应用，信息熵在粗糙集理论中的应用，信息熵在优化问题中的应用，信息熵方法在胃癌诊断中的应用，信息熵在泥沙研究中的应用，信息熵在煤田勘探中的应用，信息熵理论在安全系统中的应用，信息熵在临床医学中的应用，信息熵在水系统中的应用研究，信息熵在现代生物医学中的应用，信息熵理论在煤炭企业经济效益评价中的应用等。

四、结束语

信息熵的性质和应用还远远不止文中列出的具体应用，这需要更多的人去学习信息熵的相关知识，利用信息熵这个有力的工具去研究或解决自己学科中的相关问题，所以我们相信信息熵的应用前景十分广阔。

参考文献

[1] 曹雪虹,张宗橙.信息论与编码［M ］.北京:清华大学出版社,2004. [2] 沈世镒,吴忠华.信息论基础与应用［M ］.北京:高等教育出版社,2004. [3] 周荫清.信息理论基础［M ］.北京:北京航空航天大学出版社,2006.

[4] 张少艳.信息熵在教学质量分析中的应用［J］.红河学院学报, 2007 年第5 卷第2 期:77- 79.

[5] 傅祖芸 编著《信息论－基础理论与应用》，电子工业出版社，2006，第二版.

课 程 论 文 成 绩 评 定 表

学生姓名 论文题目 指导教师评语及意见： 指导教师评阅成绩： 指导教师签字 年 月 日 评阅人评语及意见： 评阅人评阅成绩： 评阅人签字 年 月 日 总评成绩（以百分记）： 年 月 日 董强 专业班级 信息与计算科学2009级02班 信息熵及其性质和应用

课 程 论 文 成 绩 评 定 表

学生姓名 论文题目 指导教师评语及意见： 指导教师评阅成绩： 指导教师签字 年 月 日 评阅人评语及意见： 评阅人评阅成绩： 评阅人签字 年 月 日 总评成绩（以百分记）： 年 月 日 董强 专业班级 信息与计算科学2009级02班 信息熵及其性质和应用

本文来源：https://www.bwwdw.com/article/k3nv.html