信息熵檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

信息熵是個專用術語。

隨着社會制度的不斷發展與進步，中國的漢字也在不斷演化着，從最初的甲骨文漸漸發展到了小篆，後來文化進一步發展後，才出現了」漢字」這種說法。

名詞解釋

信息熵是一個數學上頗為抽象的概念，在這裡不妨把信息熵理解成某種特定信息的出現概率（離散隨機事件的出現概率）。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。信息熵也可以說是系統有序化程度的一個度量。

信息熵的計算

根據Charles H. Bennett對Maxwell's Demon的解釋，對信息的銷毀是一個不可逆過程所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣我們就有一個衡量信息價值高低的標準，可以做出關於知識流通問題的更多推論。

信源的平均不定度。在信息論中信源輸出是隨機量，因而其不定度可以用概率分布來度量。記 H(X)＝H(P1，P2，…，Pn)＝P(xi)logP(xi)，這裡P(xi)，i＝1，2，…，n為信源取第i個符號的概率。P(xi)=1，H(X)稱為信源的信息熵。

熵的概念來源於熱力學。在熱力學中熵的定義是系統可能狀態數的對數值，稱為熱熵。它是用來表達分子狀態雜亂程度的一個物理量。熱力學指出，對任何已知孤立的物理系統的演化，熱熵只能增加，不能減少。然而這裡的信息熵則相反，它只能減少，不能增加。所以熱熵和信息熵互為負量。且已證明，任何系統要獲得信息必須要增加熱熵來補償，即兩者在數量上是有聯繫的。

可以從數學上加以證明，只要H(X)滿足下列三個條件：

①連續性：H(P，1－P)是P的連續函數(0≤P≤1)；

②對稱性：H(P1，…，Pn)與P1，…，Pn的排列次序無關；

③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，則有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；則一定有下列唯一表達形式：H(P1，…，Pn)＝-CP(xi)logP(xi)

其中C為正整數，一般取C＝1，它是信息熵的最基本表達式。

信息熵的單位與公式中對數的底有關。最常用的是以2為底，單位為比特(bit)；在理論推導中常採用以e為底，單位為奈特(Nat)；還可以採用其他的底和單位，並可進行互換。

信息熵除了上述三條基本性質外，還具有一系列重要性質，其中最主要的有：

①非負性：H(P1，…，Pn)≥0；

②確定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0；

③擴張性：Hn-1(P1，…，Pn-ε，ε)＝Hn(P1，…，Pn)；

④極值性：P(xi)logP(xi)≤P(xi)logQ(xi)；這裡Q(xi)＝1；

⑤上凸性：H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，式中0＜λ＜1。