发布时间 : 星期一 文章熵的应用综述 - 图文更新完毕开始阅读83612f621ed9ad51f01df259
苏州科技学院本科生毕业设计（论文）
不可避免地遇到了种种困难，同时也带为了诸多方面的混乱。
波尔兹曼的统计熵明显地克服了克劳修斯熵的上述三个方面的局限，相应呈现出了三方面的优点:其一是它能对体系自身的熵值进行度量；其二是它把体系的熵的大小直接与体系微观态的数目及其各自的发生概率相关起来，而不是通过热量的变化和对体系的影响的中间环节来间接地测度体系熵的变化；由其二又产生了其三，就是波尔兹曼熵内在包含着对热量之外的因素所规定的体系熵值的度量。由于存在这三方面的优长，波尔兹曼熵便很容易被拓展为广义熵，只要不拘泥于分子体系的组构方式，波尔兹曼熵便能获得最为宽泛的普遍性品格。
由于克劳修斯熵和波尔兹曼熵之间存在着诸多方面的差别，所以，在对熵概念进行泛化解释时便不能不格外地小心。如果无论什么体系中熵都要用克劳修斯熵公式去度量，那显然是错误的。至于波尔兹曼熵的泛化则要注意对其公式中的微观状态的具体规定赋予更为宽泛的外延。
第3章 信息熵
3.1 信息熵的推导
1948 年，申农(C. E. Shannon) 将统计熵概念扩展到了信息论的研究之中， 给熵以新的意义。
在现代信息论中，把从两种可能性中作出判断所需的信息量称为1比特（bit）。 一般地，若是从种N 可能性中作出判断所需的信息量为n?log2N， 换成自然对数信息量n ，即为n?lnNln2?KlnN，其中 K=1/ln2=1.4427。如用概
率表述， 在对N 种可能性完全无知的情况下， 概率p=1/N，这时为作出判断所缺的信息量为：
S?KlnN??Klnp （4）
申农把它称为信息熵。由上式可知可能性越多即N 越大，其结果相应出现的概率P越小，则信息熵S 越大。
对于各种可能性概率Pi 等的情况，信息熵定义为【3】：
S??K?PilnPi （5）
i?1N6
苏州科技学院本科生毕业设计（论文）
即S 等于各种情况的信息熵按概率Pi加权平均。其中常数 K=1.4427，N 为信息源的总个数，第i 个事件发生的概率为Pi，每个事件的概率大小在0 和1 之间，N 个事件的概率总和为1。
同时，作为信息熵的对立面，信息量I被定义为信息熵增量的负值，即：
I???S （6）
上式又称为信息的负熵原理【4】。一个开放系统，获取信息就等同于吸取了负熵。即可使系统的不确定度、紊乱度减少并趋于有序；丢失信息时，其熵增加，无序度随之增加。因此，信息与熵是彼此互补的，信息就是负熵，而熵就是系统丢失了的信息的量度。
3.2 信息熵的意义及性质
信息熵S 小，意味着信息量大，信息的有序性高，概率分布趋于集中。获取了信息则意味着有序程度增加，即是负熵。任何使得随机事件产生组织性，法则性，有序性的过程，其熵就是负值；相反的过程则是无序度增大，熵就增加，为正值。显然信息熵是不确定程度的度量，或者是无知或缺乏信息的度量。
比较式（2）与式（4），式（3）与式（5），可见申农已将熵概念在信息论中得到了推广和泛化。由此可见， 熵不仅不必一定要与热力学过程相联系， 而且也不必与微观的分子运动相联系它可成为系统状态（该状态可以是热学的，也可以是非热学的）不确定程度的量度。
当我们从数学上分析，由于概率Pi的值在 0≤Pi≤1 的范围内变化，所以lnPi的值在 ―∞≤lnPi≤0 的区间内波动，因此信息熵不可能为负值。
熵可以成为系统状态不确定程度的度量,用这个概念可以研究系统内部某种分布的差异,如海洋中盐分浓度的分布、大气中水汽含量的分布以及人的财产、昆虫密度的分布等。随着熵的概念在不断扩大,信息熵的内涵也不断丰富。在不同场合,针对不同对象,它可以作为系统状态的混乱度、不确定性、信息缺乏度、不均匀性、丰富度等的量度。
众所周知,在宏观意义下,一切自发的过程总是一步一步地向着平衡态变化的。与此同时,系统的熵也在一步一步地增大,不难想象,当系统达到平衡时,其熵便达到最大不再增加,这就是信息熵的最值性所以系统的熵越大它就越接近于平衡态。换句话说,熵的大小反映了系统接近平衡的程度。因此,从宏观意义上说,熵是
7
苏州科技学院本科生毕业设计（论文）
系统接近平衡态的一种度量。
在微观意义上,人们通过大量的试验得出,随着系统微观状态数Ω 增加,系统的熵也在不断地增加。当系统趋于平衡态时,其微观状态数达最大值,此时熵也达最大。由此可见,系统熵与它的微观状态数的对数呈正比,即系统的微观状态越多,则其熵就越大,系统的微观状态数就越多,则说明系统越混乱越无秩序。因此,从微观上来看熵是系统无序性(亦即混乱度)的一种度量。熵的增加就意味着系统向无序性的增加,所以从微观的角度上讲,孤立系统中一切不可逆过程(或自发过程)总是向着无序性(即混乱度)增大的方向进行的。
如前所述，信息系统熵值的增长，将会导致人们所不希望的结果的出现。为了避免这种局面的产生，就必须要对系统作功，以负熵来抑制信息熵的增大，使系统能按照人们所希望的方向发展。具体来说，关于信息系统的负熵工作大致有如下若干项：
【5】
根据各信息机构的业务范围，尽可能的把有关信息收集到手。
a. 信息部门对收集到的信息，进行整理、分类、编辑、加工，使之成为信息目录、文摘、汇编等。
b. 把类型相同的信息，按照逻辑与格式输入，使之成为一个信息库。 c. 信息系统只有在运动中才能发挥社会作用。 d. 设置信息咨询。
1957年，杰恩斯 （E.T.Jaynes） 将信息熵引入统计力学，建立了系统“微观态”出现的概率与系统的不确定性之间的关系。因而，信息熵是“熵\概念的泛化的标志。在“熵\概念泛化过程中，克劳修斯熵、波尔兹曼熵与申农熵之间存在着包含关系。三者之间的包含关系表示为：
克劳修斯熵? 波尔兹曼熵?申农熵
信息熵自提出以来，不断向其他领域泛化。“熵\是关于概率分布函数的函数。在自然科学和社会科学的各个领域，存在着大量的不同层次不同类别的随机事件的集合，每一种随机事件的集合所包含的不确定性和无序度都具有各自相应的概率分布特征。所有这些不确定性和无序度都不受各个学科内容的限制，都可用“熵”这一统一的概念来描述，这就是熵概念能够广泛使用的实践与理论基础。目前，各类熵已遍及自然科学和社会科学的众多领域。
8
苏州科技学院本科生毕业设计（论文）
第4章 生物熵
自19 世纪末以来，科学界一直存在着两种对立的进化观点，即物理学中以熵增原理为基础的进化观念与生物学中达尔文的进化论。
从热力学角度讲，根据熵增原理，系统总是向熵增加的方向即从有序向无序演化。生物进化过程是由有序趋于无序、非平衡趋于平衡的，即是使生物系统不断远离平衡态的不可逆过程，是一切物理系统所不能自发具有的走向无序的过程。对宇宙而言，热力学第二定律可简短地表述为: 宇宙的熵趋向极大。宇宙越是接近这个熵是极大的极限状态，进一步变化的能力就越小；如果最后完全到达了这个状态，那就任何进一步的变化都不会发生，这时宇宙就会进入一个“死寂的永恒状态”。这就是所谓的“ 热寂说”( heat death)【6】 。
而达尔文的生物进化理论表明，生物进化的结果总是由低级到高级，由简单到复杂即有序度增加的方向发展，进化过程是驱使生物系统向着高度复杂性和组织性，即高度有序性的过程。
这两种观点之间形成了巨大的鸿沟，引发的矛盾被称为“演化悖论”。
4.1 薛定谔的开创性工作——有机体是赖“负熵”为生
理论物理学家薛定谔（Erwin Schr?dinger，1887～1961）为消除此鸿沟作了开创性的工作。1943 年，薛定谔首次利用热力学和量子力学理论来解释生命的本质，提出了负熵的概念【7】。
在回答诸如“生命的特征是什么？一块物质什么时候可以说是活着的”等问题时，他指出：“一个生命有机体的熵是不可逆地增加的，并趋于接近最大值的危险状态，那就是死亡。生命体作为一个非平衡的开放系统要摆脱死亡，从物理学的观点看，唯一的办法就是从环境中不断汲取负熵来抵消自身的熵增加，有机体是赖负熵为生的。更确切地说，新陈代谢中本质的东西，乃是使有机体成功地消除当自身活着的时候不得不产生的全部的熵，从而使其自身维持在一个稳定而又很低的熵的水平上。”
由玻尔兹曼公式知道熵是无序性的量度，因此负熵可以代表有序性的量度，在此意义上说，生命体为了维持生命而从外界汲取“秩序”，从无序走向有序。 薛定谔还指出，生命体要生存，在从环境汲取负熵的同时，还必须向体外排放多余
9