本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：已發表論文
- 日期：2022-09-02
摘要
我們研究用於深度貝葉斯網路（包括神經網路）學習的自然梯度方法。有两种自然几何形状与这种由可见单元和隐藏单元组成的学习系统相关。一種幾何形狀與整個系統有關，另一種幾何形狀與可見子系統相關。這兩種幾何形狀意味著不同的自然梯度。第一步，由于费舍尔信息矩阵的局部性特性，我们展示了自然梯度相对于第一个几何的极大简化。此簡化並不直接轉化為關於第二幾何形狀的相應簡化。我們發展了研究自然梯度的兩個版本之間關係的理論，並概述了一種基於第一個幾何體的第二個幾何體簡化自然梯度的方法。该方法建议将识别模型作为辅助模型，以在深度网络中有效应用自然梯度方法。