聖塔非研究所

摘要 我們考慮使用狄利克雷先驗對資料中的資訊論量進行貝葉斯估計

2022-09-02 · 已發表論文 · 更新 2026/03/19 上午03:29

摘要 我們考慮使用狄利克雷先驗對資料中的資訊論量進行貝葉斯估計。承認事件空間大小 m 和狄利克雷先驗的集中參數 c 的不確定性,我們將兩者視為超先驗設定的隨機變數。我們表明,相關的超先驗 P (c; m) 服從簡單的「未見變數的無關性」(IUV) 需求當且僅當 P (c; m) = P (c) P (m)。因此,需要 IUV 大大減少了超先驗的自由。一些資訊論量可以根據不同的事…

本頁只刊出中文翻譯與中文說明;英文原文請見下方原文連結。

原文連結

論文資訊

  • 類型:已發表論文
  • 日期:2022-09-02

摘要

我們考慮使用狄利克雷先驗對資料中的資訊論量進行貝葉斯估計。承認事件空間大小 m 和狄利克雷先驗的集中參數 c 的不確定性,我們將兩者視為超先驗設定的隨機變數。我們表明,相關的超先驗 P (c; m) 服從簡單的「未見變數的無關性」(IUV) 需求當且僅當 P (c; m) = P (c) P (m)。因此,需要 IUV 大大減少了超先驗的自由。一些資訊論量可以根據不同的事件空間以多種方式表達,例如。 g.,相互資訊。由於早期工作中使用了所有超先驗(隱式),因此事件空間的不同選擇會導致這些資訊論量的後驗期望值不同。我們證明,對於遵守 IUV 的超先驗來說,事件空間的選擇不存在這種依賴性。我們還得出了一個結果,使我們能夠利用 IUV 來大幅簡化計算,例如後驗預期互資訊或後驗預期多資訊。我們還使用電腦實驗將基於 IUV 的熵估計器與常用的三種替代方法進行比較。最後,我們討論了對估計問題的形式化看似無害的改變如何極大地影響後驗期望的估計結果。