聖塔非研究所

「統計力學」監督學習架構與PAC的關係

2026-03-18 · 工作論文 · 更新 2026/03/19 上午02:10

摘要 本文使用作者最近設計的一種總體監督學習形式來明確展示統計力學監督學習框架與 PAC 之間的密切聯繫。更準確地說,本文表明,從形式主義的角度來看,「窮舉學習」統計力學場景(涉及「吉布斯學習演算法」)和 PAC 的基礎定義中除了其中一個定義之外,其他所有定義都是相同的。兩個框架之間的這種密切關係可以透過多種方式體現出來,例如,兩個框架都匯出涉及 $(1 E)^m$ 的泛化錯誤…

本頁只刊出中文翻譯與中文說明;英文原文請見下方原文連結。

原文連結

論文資訊

  • 類型:工作論文
  • 編號:工作論文 #1585
  • 日期:2026-03-18

摘要

本文使用作者最近設計的一種總體監督學習形式來明確展示統計力學監督學習框架與 PAC 之間的密切聯繫。更準確地說,本文表明,從形式主義的角度來看,「窮舉學習」統計力學場景(涉及「吉布斯學習演算法」)和 PAC 的基礎定義中除了其中一個定義之外,其他所有定義都是相同的。兩個框架之間的這種密切關係可以透過多種方式體現出來,例如,兩個框架都匯出涉及 $(1-E)^m$ 的泛化錯誤的表達式。本文繼續展示了當從作者的形式主義角度看待 PAC 時,PAC 的許多特徵(例如,PAC 是對訓練集的平均情況而不是最壞情況分析這一事實)變得明顯和直接。本文從作者形式主義的角度粗略地探討了這些特徵。本文也表明,(1)適當重述,當改變目標函數並保持假設函數固定時,PAC結果適用(傳統的PAC框架保持目標函數固定並改變假設函數);(2)雖然按照慣例,PAC的結果是無分佈的,而統計力學框架的結果不是,但實際上這兩個框架的結果都可以以無分佈或非無分佈的方式呈現 (3); (1-\epsilon)^m \times r^{m, r}$ 為輸出空間的大小。