聖塔非研究所

摘要 最近發現,與直覺相反,更多的數據可能會損害深度神經網路的表現

2026-03-12 · 已發表論文 · 更新 2026/03/18 上午11:46

摘要 最近發現,與直覺相反,更多的數據可能會損害深度神經網路的表現。在這裡,我們展示了這種現象的更極端版本發生在數據驅動的動力系統模型中。為了闡明其底層機制,我們將重點放在下一代儲層計算(NGRC)——一種從數據中學習動態的流行框架。我們發現,儘管透過更多訓練資料學習了更好的流程圖表示,NGRC 仍可能採用病態的「積分器」並失去穩定性。我們將這種資料引起的不穩定性與 NGRC …

本頁只刊出中文翻譯與中文說明;英文原文請見下方原文連結。

原文連結

論文資訊

  • 類型:已發表論文
  • 日期:2026-03-12

摘要

最近發現,與直覺相反,更多的數據可能會損害深度神經網路的表現。在這裡,我們展示了這種現象的更極端版本發生在數據驅動的動力系統模型中。為了闡明其底層機制,我們將重點放在下一代儲層計算(NGRC)——一種從數據中學習動態的流行框架。我們發現,儘管透過更多訓練資料學習了更好的流程圖表示,NGRC 仍可能採用病態的「積分器」並失去穩定性。我們將這種資料引起的不穩定性與 NGRC 中延遲狀態所建立的輔助維度連結起來。基於這些發現,我們提出了減輕不穩定性的簡單策略,要麼透過隨資料大小一起增加正則化強度,要麼在訓練過程中仔細引入雜訊。我們的結果強調了在數據驅動的動力系統建模中適當正則化的重要性。