本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：工作論文
- 編號：工作論文 #1581
- 日期：2026-03-18
摘要
回顧了貝葉斯形式主義的擴展版本。我們使用這種形式主義來研究「窮舉學習」場景，該場景首先由 Schwartz 等人提出。這個場景可能是最簡單的監督學習場景。它與 Haussler 等人最近研究的無噪音「吉布斯學習」場景相同，也可以被視為 Tishby 等人工作的零溫度極限。這裡證明了施瓦茲等人的分析中所引用的關鍵「自我復仇」假設。並不適用於窮舉學習的最簡單的、非平凡的實現。因此，他們的主要結果是，隨著訓練集大小 m 的增加，泛化準確度必然呈指數級增長，但這並不是通用的。更重要的是，這裡證明，所謂的「泛化準確性」定義的改變，僅反映訓練集之外的輸入誤差，完全否定了 Schwartz 等人的結果。即使自我報復{\它確實}成立。換句話說，他們的結果反映了以下現象：如果您向訓練集添加輸入/輸出對，則您確切知道應該如何猜測的不同輸入值的數量要么增加，要么保持不變，因此，簡單地說，您的泛化準確性將增加或保持不變。重要的一點是，雖然這種現像天真地認為似乎只會導致泛化精確度隨著訓練集大小的線性上升，但在窮舉學習場景中，它會導致{\it指數}上升。我們研究了有關窮舉學習及其與現實世界泛化關係的許多其他問題。