广义信息熵的推广与应用

青 岛 农 业 大 学

本 科 生 课 程 论 文

论 文 题 目 广义信息熵的推广与应用

学生专业班级 信息与计算科学09级02班

学生姓名（学号） （20094052）

指 导 教 师 吴慧

完 成 时 间 2012年6月28日

2012 年 6 月 28 日

课 程 论 文 任 务 书

学生姓名 指导教师 吴慧

论文题目 广义信息熵的推广与应用 论文内容： 本文先介绍了Shannon 信息熵的定义，并对其进行了一定的分析，介绍了它的一些基本性质。其次，说明Shannon 熵的局限性，以此引出了广义信息熵。然后对常用的Renyi 熵、Tsallis 熵进行讨论，说明它们与Shannon 熵的联系。最后介绍了广义熵在实

际生活中的应用。 资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。 发出任务书日期 2012-6-5 完成论文日期 2012-6-19 教研室意见（签字） 院长意见（签字）

广义信息熵的推广与应用

信息与计算科学 指导教师 吴慧

摘要：本文先介绍了Shannon 熵，由Shannon 熵推广到一般的广义信息熵，使其适用范围更广。然后在Shannon 熵的基础上介绍了两种最常用的广义信息熵：Renyi 熵和Tsallis 熵，说明了这两种广义信息熵的简单性质，以及与Shannon 熵的联系和性质上的差异。最后介绍了广义熵在实际生活中的应用。 关键词：Shannon 熵；广义信息熵；应用

The promotion and application of the generalized information

entropy

Student majoring in Information and Computing Science ZhuMeng

Tutor WuHui

Abstract：At the beginning of this article it introduced the Shannon entropy.Then, it described the two most commonly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact with the Shannon entropy as well as the different nature between them.Finally, it introduced the application of the generalized entropy in real life.

Keywords: Shannon entropy; generalized information entropy; application

引言：熵是信息论中的一个重要概念，对它的研究有十分重要的意义。进入20世纪中叶，人们发现熵还可以用来描述信息，这就是信息熵。1948年，在贝尔电报电话公司工作的应用数学家Shannon（香农，声农）发表了《通讯的数学理论》一文，成为信息论诞生的标志[1]。目前，用得最多的熵函数是Shannon 熵。Shannon 熵的概念的提出对通信技术的发展具有深远的影响，但是它的应用仅限于通信等一些很局限的领域而且香农熵的概念在连续随机变量下失去意义。为了弥补Shannon 熵的缺陷，统计学家对熵的定义作了很多推广，形成了广义信息熵。其中重要的是A.N.Kolmogorov在1958年引入的ε熵。ε熵不但解决了连续随机变量下香农熵定义推广时的困难，而且导致率失真理论的建立。此外，A.Renyi在1961年时认为香农熵只是在编码问题中才是唯一可取的形式，在其他情况下其他信息度量同样可用甚至更好。Renyi具体提出所谓的α阶熵，香农熵可以看成是α阶熵的一种极限形式因而被包括在α阶熵的概念之内。自Renyi后J.Havrda在1967年提出β熵，S.Arimoto在1971年提出γ熵，S.Guiasu提出了加权熵，B.D.Sharma和D.P.Mittal于1975年提出α阶β次熵，C.Ferreri于1980年引入次熵[2]。这些熵在模糊集理论中有着重要的应用。本文从Shannon 熵出发，讨论了主要讨论了Renyi 熵和Tsallis 熵这两种广义信息熵的性质及其应用。

1 Shannon 熵及其性质

信息论所关心的是随机变量的不确定性。显然，随机变量的不确定程度越高，我们从实验中可能获取的信息也就越多。我们知道随机变量的不确定性与其概率分布有关，直观看来，随机变量的不确定程度并不一样。如随机变量X ，Y ，Z ，T 的概率分布分别为：

a2??a1??0.020.98??，???b1b2???0.40.6??，???c1c2???0.50.5??，??P(T = a) = 1

显然在这几个分布中，不确定性从小到大依次为：T ，X ，Y ，Z 。对随机变量T ，它是一个常量型随机变量，不确定性为零，相应的概率分布称为退化分布。Z 的不确定性最大，它服从等概率分布。

?w1那么，若W～??1?4w214w314w4?1??，则随机变量W 的不确定性比Z 还要高。4??x11也就是说，X～???M...xM1...M??，即随机变量X 服从等概率分布时的不确定性最??大，且当M 增大时，不确定性也会增大。

由上述可知，随机变量的不确定性应该是它的概率分布的一个函数，记之为H（X）=H（P）=H（r1，r2，?，rM）。这三种表示方法是等价的，其中P是X 的概率分布。Shannon 指出，这样的函数是存在的，并且应该满足以下性质：

① 对称性：当概率空间中 P(x 1 ), ) P(x 2 )? 序任意互换时，熵函数

的值不变；

② 确定性：信源的输出虽有不同形态，但是如果其中只有一个状态是必然

的，即其他状态不可能出现，那么这个信源是一个确知信源，其熵为0； ③ 非负性：H（X）≥0；

④ 连续性：即H（r1，r2，?，rM） 是P（r1，r2，?，rM）的非负连续函数； ⑤ 可加性：当随机变量的取值不是通过一次试验而是通过若干次试验最后

才得到的，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的结果的不确定性相同； ⑥ 递增性：等概率分布时为变量的单调递增函数；

⑦ 极值性：离散无记忆信源输出q个不同的信息符号，当且仅当各个符号

出现概率相等时，信息熵最大，即：

111H（p1, p2,…,pq）≤H（,,...,）=logq [3]。

qqq事实上，上面的七个性质是非常容易理解的，不确定性当然不能是负值，前面也已经讨论了等概率分布时的不确定性随着随机变量取值个数的增加而增大，各个不确定结果应该可以相加。可以证明出当H（X）=H（P）=H（r1，r2，?，rM）满足上述条件时，可唯一确定其形式：H（r1，r2，?，rM）=-?rilogcri。

i?1M上面定义的就是Shannon 熵。其c决定了熵的单位，当c = 2,e，3，10时，单位分别为“比特”，“奈特”，“铁特”，“笛特”。一般我们都选择c = 2，也就是比特(bit)为信息的度量单位。

信息熵的定义使随机变量的不确定性得到了量度，使信息论得到了空前的发

展。而且，信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函数，这同时也为信息论概念和方法在除通信领域以外的其他领域内的应用提供了理论基础，拓宽了信息论的应用范围。

2 广义信息熵

由于香农熵的概念在连续随机变量下失去意义，并不能解决实际生活中的一些问题，因此为了解决具体问题，人们也提出了各种各样的广义熵。其中最重要的是1962 年Renyi 提出的Renyi 熵，在统计检验和图像处理中得到极大应用；1988 年，Tsallis 在Boltzmann-Gibbs(B-G)统计中引入了Tsallis 熵的数学表达式，Tq=

k(??qd??1)，其中k 为Boltzmann 常数，ρ是概率分布，满足∫1?qq?1ρdΩ = 1，q是非负参数，且limTq??k??ln?d??Hs，应用到统计力学，衍生出Tsallis 统计。Tsallis 熵是建立在非广延动力学基础上的，引入了非广延系数q ，把熵的方法推广到不具有可加性（子系统间影响显著）的系统中。Tsallis 熵是一种新的信息度量方法，是Shannon 熵的扩展，已经应用于图像处理和其他信息处理技术中。下面介绍两种广义信息熵及其与Shannon熵的联系与对比。 1、Renyi 熵

对任意概率分布P（r1，r2，?，rM），参数为q的Renyi 熵定义为[4]

M1HR(r)=ln(?riq)

1-qi?12、Tsallis 熵

对任意概率分布P（r1，r2，?，rM），参数为q的Tsallis熵定义为

M1HT(r)=(1??riq)

1-qi?13、Renyi 熵、Tsallis 熵、Shannon熵的联系

当参数q→1时，Renyi熵与Tsallis熵都等同于Shannon熵，比如

Mdqlnr?iM11dqi?1limln(?riq)?lim??limMq?1?01-qq?1?0q?1?0di?1(1?1)riq?dqi?1?ri?1Mqilnri???rilnri?Hs

i?1M这里用到了?ri=1及洛彼达法则[5]。

i?1M当参数q ≠ 1时，Renyi 熵与Tsallis熵有如下关系：

HR=

4、三种熵的性质对比

对于Renyi 熵来说，它具备Shannon 熵的七个基本性质。但是，对于Tsallis 熵则不满足独立可加性，它是最具有代表性的一种非广延熵。也就是说Tsallis 熵与Shannon 熵最显著的区别在于可加性。设a和b为两个独立系统，则混合系统a + b的Tsallis熵表示为

HT（a+b）= HT（a）+HT（b）+

综合以上两种广义熵的定义：

MM11qHR?r??ln(?ri)和HT(r)=(1??riq)

1-qi?11-qi?11ln(1?(1?q)HT) 1-q1-qHT?a?HT?b?[6] k其中q > 0且q ≠ 1为一参数。易知当q →1时，HR?r?和HT?r? 即为Hs?r? ，因此，这两种熵比Shannon 熵更具有普适性[7]。

3 广义信息熵在科学研究与实践中的应用

广义信息熵比Shannon 熵更具有普适性，这些广义熵的概念及理论在其相关 领域的科研与实践中发挥着特别重要的作用，运用信息熵概念及理论去揭开生命遗传物质DNA遗传密码，便是典型的一例，这是大家所熟知的。

在现代农业系统的研究中，利用广义信息熵，相应的定义农业系统熵为： S=?dH （1） G其中，G为单位面积上人工投入的物质能量(可综合折算)。dH 为相应的物质势能损失，即投入与产出的能量之差(无效地耗能部分)，用它来评价农业生产的效

率的优劣，这比用传统的评价方法更客观、更理想[8]。

在学校教学质量评价体系上，方法之一是通过计算考试成绩的平均分、标准差、整体的中位数与平均分的比值等来评价成绩状况、试题难易度与区分度等。但笔者认为这些指标还存在一定的片面性与局限性。也具有一定的经验性，缺乏局部与整体的联系。为克服这方面的不足，我们从统计熵概念出发，引入成绩分布熵参与分析，可使评价更准确、更全面、更客观。定义： S=-? ?aiA? ln?aiA?

式中A为分析对象的总分数，ai为设定区域的总分数。当分析某个班某科目成绩时，A 为全班总成绩，ai可以是每10分为间隔(或者间隔更小)来计算各段的总分．从而求出各段上的分布熵?si及总熵 ??si实践表明，若成绩呈正态分布时， 值一般在1.5～1.7之间，当S <1.2时，成绩的概率分布趋于集中，说明试卷的区分度小，或其它问题。还可分析与比较各分数段上的熵值，以了解具体的成绩分布状况。在某科目的统考成绩评价上，仍可应用(1)式，只是A 为各班成绩总和，ai为各班成绩，计算熵值可得出各班成绩的定量比较。

类似的应用还很多，熵概念的推广，引发了许多新概念，如在研究生物进化方面引入了生物熵；模糊数学中，为描述模糊度，引入了模糊熵；为描述和研究某量在空间中分布状态的不均匀性或丰富程度，引入了物理场熵；还有像浓度场熵、温度场熵、气象学熵、经济熵等等。同时也引发了许多新的交叉学科，如将熵理论引入生命科学理论，产生了生物热力学和生物信息论两个新的分支学科，在经济学领域，由于熵增原理为经济增长的自然限界奠定了理论基础，导致了熵经济学、环境经济学和资源物理学的形成。

4 总结

由于Shannon 熵自身存在的局限性，随之产生了各种广义熵，广义熵在之后除自身的理论经历许多重要的发展之外，其概念和原理也正迅速向众多学科渗透。全面理解各类广义熵的概念及其意义，对促进熵理论在信息论、控制论、哲学、经济学甚至天体物理与相对论等学科领域中的应用将有极大的意义。本文还存在不足之处：熵理论还是一个发展中的理论，本文仅仅介绍了其中两种比较重

要的广义信息熵，然而除了这两种广义信息熵外，还有其他很多形式的推广；在广义熵的应用方面，仅仅引入了成绩分布熵的概念，没有具体的实例验证，因此本文还有待进一步完善与补充。

参考文献：

[1] 沈世溢，吴忠华. 信息论基础与应用[M]. 北京：高等教育出版社，2004 [2] 叶中行. 信息论基础[M]. 北京：高等教育出版社，2004 [3] 朱雪龙. 应用信息论基础[M]. 北京：清华大学出版社，2001

[4] Renyi A. Foundations of Probability [M]. San Francisco: Holden-Day Inc, 1970

[5] Tsallis C.Possible generalization of Boltzmann-Gibbs statistics [J]. J.Stat.Phys,1988, 52:479-487

[6] Tsallis C. Mendes R S, Plastino A R. The role of constraints within generalized nonextensive statistics [J]. Physical A, 1998, 261: 534-554

[7] Tsallis C. Nonextensive Statistics: Theoretical, Experimental and Computational Evidences and Connections [J]. Brazilian J.Phys, 1999, 29(1): 1-35

[8] 习岗.广义熵在现代农业研究中的应用[J]．大学物理，1998：17(2)，38．

课 程 论 文 成 绩 评 定 表

学生姓名 朱萌 专业班级 信息与计算科学09级02班 论文题目 广义信息熵的推广与应用 指导教师评语及意见： 指导教师评阅成绩： 指导教师签字 年 月 日 评阅人评语及意见： 评阅人评阅成绩： 评阅人签字 年 月 日 总评成绩（以百分记）： 年 月 日

本文来源：https://www.bwwdw.com/article/s7w2.html