本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：已發表論文
- 日期：2022-09-02
摘要
至少有三種不同的方式來概念化熵：熵作為物理系統的廣泛熱力學量（克勞修斯，玻爾茲曼，吉布斯），熵作為遍歷源信息生產的度量（香農），以及熵作為多項過程統計推斷的手段（傑恩斯最大熵原理）。儘管這些概念代表了根本不同的概念，但平衡熱力學系統、資訊理論中的遍歷源以及統計系統中的獨立採樣過程的熵的函數形式是簡併的，H(p) = - Sigma(i) p(i) log p(i)。對於許多通常依賴歷史、非遍歷且非多項的複雜系統來說，情況已不再如此。在這裡，我們表明，對於這樣的過程，這三個熵概念導致了不同的熵函數形式，我們將其稱為SEXT（廣義熵），SIT（資訊理論中的來源資訊率），以及SMEP（最大熵原理中出現的熵泛函），它描述了系統最可能的可觀察分佈函數。我們針對三個具體範例明確計算這三個熵函數：對於 Polya urn 過程，這是簡單的自增強過程；對於樣本空間縮減 (SSR) 過程，這是與冪律統計相關的簡單歷史依賴過程；最後是多項式混合過程。