本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：已發表論文
- 日期：2024-03-12
摘要
亥姆霍茲機 (HM) 是一類由兩個 Sigmoid 置信網路 (SBN) 組成的生成模型，分別充當編碼器和解碼器。這些模型通常使用稱為喚醒睡眠 (WS) 的兩步驟最佳化演算法進行訓練，最近使用改進版本進行訓練，例如重新加權喚醒睡眠 (RWS) 和雙向亥姆霍茲機 (BiHM)。 SBN 中連接的局部性以細粒度塊對角線結構的形式導致與機率模型相關的費舍爾資訊矩陣的稀疏性。在本文中，我們利用此特性使用自然梯度有效地訓練 SBN 和 HM。我們提出了一種新穎的演算法，稱為自然重新加權喚醒睡眠（NRWS），它對應於其標準版本的幾何適應。以類似的方式，我們也引進了自然雙向亥姆霍茲機（NBiHM）。與先前的工作不同，我們將展示如何在無需在 Fisher 資訊矩陣結構中引入任何近似的情況下，有效地計算 HM 的自然梯度。在文獻中的標準資料集上進行的實驗表明，NRWS 和 NBiHM 不僅在非幾何基線方面而且在最先進的 HM 訓練演算法方面都有一致的改進。改進是根據收斂速度以及訓練後達到的對數似然值來量化的。