聖塔非研究所
摘要 自然梯度場是一個向量場，存在於配備了傑出黎曼度量的模型上，例如Fisher Rao 度量，並表示模
2024-03-12 · 已發表論文 · 更新 2026/03/18 下午02:57
摘要 自然梯度場是一個向量場，存在於配備了傑出黎曼度量的模型上，例如Fisher Rao 度量，並表示模型上目標函數相對於該度量的最陡上升方向。在實踐中，人們試圖透過將普通梯度乘以與度量相關的格拉姆矩陣的逆來獲得參數空間上的相應方向。我們將參數空間上的這個向量稱為自然參數梯度。在本文中，我們研究自然參數梯度的前推何時等於自然梯度。此外，我們研究了自然參數梯度的不變性。這兩個問題…
本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
摘要
自然梯度場是一個向量場，存在於配備了傑出黎曼度量的模型上，例如Fisher-Rao 度量，並表示模型上目標函數相對於該度量的最陡上升方向。在實踐中，人們試圖透過將普通梯度乘以與度量相關的格拉姆矩陣的逆來獲得參數空間上的相應方向。我們將參數空間上的這個向量稱為自然參數梯度。在本文中，我們研究自然參數梯度的前推何時等於自然梯度。此外，我們研究了自然參數梯度的不變性。這兩個問題都是在過度參數化的環境中解決的。