聖塔菲學派對機器學習與 AI 的影響與對話

一、定位：聖塔菲學派與 AI 主線的關係

若把 AI 史寫成幾條主線，最常見的是符號 AI、統計學習、連結主義、強化學習與近年的深度學習。聖塔菲學派不完全屬於其中任何一條。它的角色更接近一個跨學科研究節點：把生命、心智、經濟、市場、免疫系統、語言、社會制度與計算模型視為同一類「複雜適應系統」的不同實例。這個視角的基本問題不是「哪個模型在某個 benchmark 上分數最高」，而是「什麼樣的局部規則、演化壓力與資訊流會產生可適應、可學習、可自我組織的行為」。

SFI 官方歷史將研究所的誕生追溯到 1980 年代初一群 Los Alamos 與跨領域科學家的討論；研究所於 1984 年創立，早期人物包括 George Cowan、Murray Gell-Mann、David Pines、Nick Metropolis 等。SFI 自我定位為研究複雜適應系統的理論研究機構，而不是傳統大學系所或單一學科實驗室。這種制度設計本身就影響了它與 AI 的關係：AI 在這裡不是只有電腦科學問題，也是物理、演化、生物、認知、經濟與社會系統問題。

因此，說「聖塔菲學派影響了 AI」必須精準。它沒有直接發明反向傳播，沒有主導 ImageNet 革命，也不是 Transformer 的發源地。它的影響主要在五個層面：第一，演化式搜尋與自適應演算法；第二，人工生命與開放式演化想像；第三，以統計物理與資訊理論刻畫學習、計算與組織；第四，多代理系統與 agent-based modeling；第五，對智能、泛化、意義與理解的哲學與科學批判。這些影響常以概念、語彙、課程、跨域網絡、工作坊與研究人才流動的形式出現，而不是一條線性的專利或產品傳承。

二、背景脈絡：從控制論、AI 到複雜性

1. AI 的早期承諾與反覆低潮

1950 至 1970 年代的 AI 長期被兩種想像牽引：一是符號推理，認為智慧可以被拆成邏輯、規則、計畫與搜尋；二是神經網路與自適應機制，嘗試從資料與回饋中形成能力。兩條路線都取得成果，也都遭遇低潮。符號 AI 在常識、感知與開放世界問題上遇到瓶頸；早期神經網路則受限於資料、算力、訓練方法與理論理解。這種反覆的「AI 春天／AI 冬天」形成一個重要背景：研究者開始懷疑，智能也許不是單一演算法可以封裝的東西，而是多層次、多尺度、多回饋系統的結果。

2. 複雜系統的問題設定

聖塔菲學派承接了控制論、資訊理論、非線性動力學、統計物理、演化生物學與早期計算科學的問題。它關注的系統通常具有幾個特徵：大量組件、局部互動、非線性回饋、無中央控制、跨尺度結構、歷史依賴與適應性。這些特徵與 AI 的核心難題高度重疊。例如，學習系統如何在局部資料中形成可泛化表徵？強化學習代理如何在環境回饋中形成策略？多智能體如何在競爭與合作下產生集體行為？大型模型的能力是否可由局部訓練目標與規模化資料湧現？

這裡的關鍵轉換是：AI 不再只是「把人類智慧寫進機器」，而是「設計一個能在環境中演化、適應、抽象與協調的動態系統」。這也是 SFI 與 ML/AI 最深的對話點。

三、關鍵人物與貢獻

John Holland：從演化到自適應計算

Holland 的重要性不只是「發明遺傳演算法」。他真正提出的是一套把適應看成計算的研究綱領。遺傳演算法以一群候選解為族群，透過選擇、交配、突變與適應度函數在搜尋空間中移動。與單點爬山不同，族群式搜尋可以保留多個候選區域，藉由重組探索新的結構組合。Holland 的學習分類器系統則更接近早期強化學習與規則學習：規則具有條件、動作與強度，系統透過回饋調整規則競爭，形成可適應的行為集合。

這些想法對今天的深度學習不是主線方法，但仍在神經架構搜尋、黑箱最佳化、演化策略、AutoML、強化學習中的 exploration，以及對「模型偏置」的理解中留下影子。特別是在梯度不可得、目標不光滑、模擬昂貴、策略離散或多峰的問題上，演化式方法仍有工程價值。

Melanie Mitchell：把複雜系統帶回 AI 的「理解」問題

Mitchell 早期與 Holland、Forrest、Crutchfield 等人的研究涉及遺傳演算法與細胞自動機計算，後來又以類比、抽象與常識作為 AI 的核心問題。她在 SFI 的研究簡介明確把 AI、認知科學與複雜系統連接起來，並關注概念抽象、類比形成與視覺辨識。這條線使她成為當代 AI 批判中一個特殊聲音：她既熟悉 ML 技術史，也不把智能簡化為 benchmark 成績。

在〈Why AI is Harder Than We Think〉與《Artificial Intelligence: A Guide for Thinking Humans》中，Mitchell 的主張不是「AI 不會進步」，而是要警惕把窄域成功誤讀為通用理解。她反覆討論的問題包括：模型是否真的形成了概念？是否具備常識與情境理解？是否能在分布外情境中穩健泛化？語言流暢是否等於理解？這些問題在大型語言模型時代變得更尖銳。

Chris Langton 與人工生命：AI 的另一個源頭想像

Langton 在 1987 年組織的 Artificial Life 工作坊通常被視為人工生命領域成形的重要事件。人工生命不是只問「機器能否像人一樣思考」，而是問「生命樣行為能否在非生命媒介中被合成」。它關注自我複製、代謝、演化、生態、群體行為、細胞自動機與機器人控制。這使 AI 的想像從「符號心智」轉向「環境中的行為與適應」。

人工生命對主流 ML 的直接貢獻有限，卻對 embodied cognition、群體智能、人工社會、open-endedness 與人工演化提供了長期問題意識。今日多代理環境、具身智能、機器人模擬平台與開放式強化學習，都可以看到人工生命傳統的回聲。

四、技術與理論細節

1. 遺傳演算法：搜尋不是單點，而是族群動態

典型遺傳演算法可以被描述為四個步驟：初始化候選解族群；以適應度函數評估；依適應度選擇父代；透過 crossover 與 mutation 產生新一代。技術重點不在仿生比喻，而在搜尋偏置。選擇壓力使高分解被複製，突變保留探索，重組嘗試把局部有用結構合成為更高階候選解。Holland 的 schema 理論曾試圖說明短、低階、適應度高的 schema 為何可能在族群中擴增。後來研究者對 schema 理論的解釋力有不少修正，但它仍是理解早期 GA 理論企圖的入口。

對 ML 來說，GA 的啟示是：學習演算法不只是在參數空間找最小值，也是對表徵、結構與搜尋制度的設計。深度學習用梯度與可微分結構取得壓倒性成功，但在不可微、離散、混合型或模擬式問題上，演化式搜尋仍可作為補充。

2. 學習分類器系統：規則、信用分配與強化學習的鄰近路線

Holland 的 classifier system 將行為表示為一組條件-動作規則。當環境狀態符合某些規則條件，規則競爭出動作；成功行為獲得回饋後，規則強度增加。這裡有三個與 AI 長期相通的難題：信用分配、探索與利用、規則泛化。雖然今日深度強化學習多以神經網路近似策略或價值函數，但 classifier system 代表了另一種可解釋、模組化、可演化的學習架構。

3. NK 模型與崎嶇適應地景

Kauffman 的 NK 模型用 N 表示組成元素數量，用 K 表示每個元素與其他元素的相互依賴程度。當 K=0 時，地景相對平滑，每一個位置的改變可獨立評估；當 K 增大，交互作用變多，地景變得崎嶇，局部高峰增加，搜尋容易陷入局部最優。這個模型的重要性在於它把「問題難度」與「變數間相互作用」連起來，而不是只看變數數量。

在 ML/AI 中，NK 模型可作為直覺框架理解超參數搜尋、神經架構搜尋、多模態損失曲面、組織決策與演化策略。它提醒我們：搜尋空間不是中性的。表徵選擇、參數耦合、目標函數與資料分布決定了演算法看到的是平滑山坡、破碎群峰，還是幾乎無結構的噪音海。

4. 邊緣混沌與細胞自動機：從局部規則到可計算結構

Langton、Crutchfield、Mitchell 等人的工作都曾探索細胞自動機如何在簡單局部規則下產生複雜全域行為。「邊緣混沌」命題大意是：過度有序的系統無法承載豐富計算，過度混亂的系統無法保存結構，而介於有序與混沌之間的臨界區域可能最適合複雜計算。這個命題在 1990 年代非常有吸引力，因為它為生命、心智與計算提供了一個統一隱喻。

但要小心：後續研究並未證明所有複雜計算都必然出現在邊緣混沌。Mitchell、Hraber 與 Crutchfield 對演化細胞自動機的研究本身也顯示，若要從細胞自動機中演化出可靠計算，問題設定、表徵與演化壓力非常關鍵。「邊緣混沌」最好的用法是作為問題生成框架，而不是普遍定律。

5. No Free Lunch：沒有脫離問題分布的最佳演算法

Wolpert 與 Macready 的 No Free Lunch 定理指出，在所有可能目標函數上平均，搜尋或最佳化演算法的表現等價。這個結果常被簡化成「沒有萬能演算法」，但更精準的含義是：演算法優勢必然來自它對問題類別的偏置。若某演算法在某些問題上比較好，它必須利用那些問題的結構；在沒有任何關於問題分布的假設時，優勢無從成立。

這對 ML 有直接哲學與技術意義。深度學習之所以成功，不是因為神經網路在所有問題上都優越，而是現實資料具有可利用結構：局部性、組合性、尺度規律、語言統計、視覺紋理、因果或社會生成過程。CNN、Transformer、資料增強、預訓練目標、正則化與人類回饋，本質上都是 inductive bias。No Free Lunch 迫使研究者說清楚：你利用了世界的哪些結構？你的演算法在哪個分布上有效？離開該分布後會怎樣？

6. 計算力學：從時間序列中找出最小預測結構

Crutchfield 的 computational mechanics 嘗試用統計物理與資訊理論刻畫模式、結構與預測。它的核心概念之一是 causal states：若兩段歷史對未來的條件分布相同，就可被歸為同一狀態；由這些狀態形成的 epsilon-machine 是一種最小且充分的預測模型。這與今日序列模型、狀態空間模型、可解釋表徵學習有概念上的親緣關係：模型不只是壓縮資料，而是找出對未來有預測力的因果結構。

五、時間線：聖塔菲學派與 AI/ML 的交會

六、對 ML/AI 的影響

1. 從「演算法」轉向「演算法加環境」

聖塔菲學派最大的影響之一，是反覆強調適應必須在環境中理解。演算法的表現不是抽象存在，而是由任務分布、回饋設計、代理互動、資源限制與歷史路徑共同決定。這個視角與今日 ML 的許多核心問題一致：資料分布偏移、訓練-部署落差、對抗樣本、目標錯置、RL reward hacking、社會回饋迴圈與模型治理。

2. 演化式計算成為 ML 工具箱的一支支線

遺傳演算法與演化策略在 1990 年代曾被寄予很高期待，後來在許多標準監督學習任務上被統計學習與深度學習超越。但它們沒有消失，而是轉入較適合的場景：黑箱最佳化、神經架構搜尋、控制策略搜尋、多目標最佳化、組合設計、遊戲 AI、硬體與機器人設計。SFI 傳統在這裡留下的是「搜尋制度設計」的思想，而不只是某個固定演算法。

3. 人工生命影響具身智能與開放式演化

人工生命讓 AI 研究者思考：智能是否必須透過身體、環境、能量、繁殖、競爭與合作才會出現？今日 embodied AI、world models、多代理遊戲環境、群體機器人與 open-ended learning，都延續了這類問題。尤其在大型模型時代，「只從文字學習是否足以形成世界理解」成為爭論焦點；人工生命傳統提供了一個反向提醒：語言是智能的一層，不一定是智能的全部基底。

4. 多代理與複雜經濟學擴展 AI 的社會尺度

SFI 的複雜經濟學傳統把市場看成大量有限理性代理在回饋中形成的非平衡系統，而不是只看均衡解。這與今日 multi-agent reinforcement learning、agent-based simulation、AI 經濟影響評估、演算法交易與平台治理都有關聯。當 AI 系統開始成為社會中的行動者，問題不只是單一模型準不準，而是許多模型、許多人類、許多制度互相適應後會產生什麼集體結果。

5. 對 inductive bias 與泛化的深層提醒

No Free Lunch、適應地景與複雜系統理論共同構成一個提醒：泛化不是魔法。任何模型能在未見資料上有效，都表示世界與訓練資料存在可利用規律，也表示模型帶有適合該規律的偏置。這點對大型語言模型尤其重要。LLM 的能力可被視為在巨大語料分布中利用語言、知識與推理樣式的統計結構；但當問題需要真實世界互動、長期因果追蹤、精確計畫、具身經驗或分布外抽象時，模型的偏置可能不足或錯置。

七、與當代 AI 的對話

1. 大型語言模型與「意義屏障」

SFI 近年的 AI 工作坊把焦點放在「理解」與「意義」上。2018 年的「Artificial Intelligence and the Barrier of Meaning」與 2023 年的第二次工作坊，分別在深度學習成熟與 LLM 崛起後重新追問：AI 系統是否只是掌握形式規律，還是真的理解情境？「意義屏障」這個說法並不是一個已被形式化證明的界線，而是一組研究問題：理解是否需要具身經驗？是否需要社會互動？是否需要因果模型？是否需要能將概念用於新情境的抽象能力？

大型語言模型使問題更複雜，因為它們確實展現了過去難以想像的語言能力、程式能力與跨任務遷移。但 SFI 傳統會追問：這些能力在多大程度上是語料分布內的模式補全？在多大程度上形成了可操作的世界模型？當模型被放進長期互動、多代理回饋與真實世界約束中，它會穩定適應還是產生不可預期的失效？

2. 從 benchmark 到生態位

主流 AI 評估常依賴固定 benchmark。聖塔菲式視角會補上一個問題：benchmark 是一個生態位。模型在某生態位中演化出高分策略，並不保證它具備一般智能。這與 Goodhart 定律、reward hacking、dataset contamination、spurious correlation 等問題相通。若評估環境本身被模型與人類共同適應，評估分數可能不再代表原先想測量的能力。

3. 智能作為自然、人工與集體現象

SFI 目前將「Complex Intelligence: Natural, Artificial, and Collective」列為研究主題之一，這反映了聖塔菲學派一貫立場：智能不是只在人腦或單一模型中。免疫系統、蟻群、市場、科學社群、城市與網路平台都可以展現某種分散式問題解決能力。這對 AI 的啟示是，AGI 不一定只是一個單體模型的問題，也可能涉及工具使用、社會制度、群體協作、記憶外部化與人機混合系統。

4. 與深度學習的互補，而非替代

聖塔菲學派對 AI 的價值不在於提供一套可取代反向傳播或 Transformer 的單一技術，而在於提供更高層的診斷語言。當深度學習成功時，它問：成功利用了世界的哪些結構？當模型失敗時，它問：是表徵不足、環境錯置、回饋目標錯置、資料分布失真，還是系統互動產生新風險？當研究者宣稱接近 AGI 時，它問：智能定義、評估生態位與分布外能力是否足夠清楚？

八、爭議與局限

1. 隱喻強，預測弱

複雜系統研究最常見的批評是：語彙有啟發性，但有時難以產生可檢驗、可預測、可工程化的結果。「湧現」「自組織」「邊緣混沌」如果沒有明確模型與測量，很容易變成漂亮但鬆散的解釋。SFI 最好的工作通常能把隱喻轉成形式模型；較弱的版本則可能停留在跨域類比。

2. 邊緣混沌不是普遍定律

「複雜計算發生在邊緣混沌」是 1990 年代非常有影響力的命題，但後續研究顯示它不是可無限制套用的定律。不同系統的計算能力、穩定性與可演化性依賴具體表徵與任務設定。把它當作研究假說與直覺工具是有用的；把它當作自然法則則會過度延伸。

3. 演化式方法在實務 ML 中不是主流優勝者

遺傳演算法與演化策略在許多高維連續參數問題上效率不如梯度方法。深度學習的成功部分來自可微分模型、反向傳播、批次化訓練與硬體加速的完美耦合。演化式方法仍重要，但它們的最佳定位通常是補充：用於結構搜尋、不可微問題、模擬式控制、多目標設計與探索。

4. 對 LLM 的批判需避免低估實證進展

Mitchell 等人對 AI 理解能力的保留是重要的，但也有風險：若批判只停留在「模型沒有真正理解」，卻無法提出可操作的測試與替代模型，就容易被快速進步的系統反覆逼退。較好的做法是把「理解」拆成可評估能力：跨情境抽象、因果干預、長程一致性、反事實推理、具身校準、社會語用、錯誤自知與可轉移計畫。這樣才能形成與工程進展真正互補的科學研究。

九、總結：聖塔菲學派留下的 AI 問題清單

聖塔菲學派對 AI 的最大貢獻，不是一個模型，而是一組持久的問題清單：

1. 智能是否能被理解為複雜適應系統中的湧現能力？
2. 學習演算法的成功依賴哪些世界結構與先驗偏置？
3. 搜尋地景的形狀如何決定演算法的可能性與失敗模式？
4. 局部規則如何產生全域行為，並在何時變得不可預測？
5. 多代理互動會如何改變單一模型的行為與評估？
6. 語言模型的流暢輸出與人類式理解之間，究竟差距在哪裡？
7. AI 是否應被視為單體模型，還是人、工具、制度與環境共同構成的智能生態？

這些問題在 1980、1990 年代看似屬於複雜系統邊陲；在大型模型進入社會基礎設施的 2020 年代，反而變成中心問題。當 AI 系統越來越像一個會在資料、使用者、平台、經濟誘因與制度規則中共同演化的複雜系統，聖塔菲學派的價值就不只是歷史回顧，而是對未來 AI 科學與治理的必要補課。

參考來源清單

以下列出本報告依據的關鍵論文、書籍、機構資料與事件。部分條目為背景性經典文獻，並非全都直接出自 SFI；列入是因為它們構成聖塔菲學派與 ML/AI 對話的必要脈絡。

1. Santa Fe Institute. “History.” 官方歷史頁，說明 SFI 的創立脈絡與早期董事會資料。https://www.santafe.edu/about/history
2. Santa Fe Institute. “Complexity science giant John Holland passes away at 86.” 2015。SFI 對 Holland 複雜適應系統、遺傳演算法與 SFI 角色的紀念說明。https://www.santafe.edu/news-center/news/in-memoriam-john-holland
3. Holland, John H. Adaptation in Natural and Artificial Systems. University of Michigan Press, 1975; MIT Press edition, 1992.
4. Forrest, Stephanie, and Melanie Mitchell. “Adaptive computation: The multidisciplinary legacy of John Holland.” Communications of the ACM, 2016；SFI 新聞頁摘要。https://www.santafe.edu/news-center/news/forrest-mitchell-adaptive-computation-multidisciplinary-legacy-john-holland
5. Mitchell, Melanie. An Introduction to Genetic Algorithms. MIT Press, 1996。MIT Press 書籍頁說明作者當時與 SFI Adaptive Computation Program 的關聯。https://direct.mit.edu/books/monograph/4675/An-Introduction-to-Genetic-Algorithms
6. Mitchell, Melanie, Peter T. Hraber, and James P. Crutchfield. “Revisiting the Edge of Chaos: Evolving Cellular Automata to Perform Computations.” Complex Systems, 1993.
7. Santa Fe Institute. “Genetic Algorithms and Artificial Life.” SFI Working Papers 頁。https://www.santafe.edu/research/results/working-papers/genetic-algorithms-and-artificial-life
8. Langton, Christopher G., ed. Artificial Life: The Proceedings of an Interdisciplinary Workshop on the Synthesis and Simulation of Living Systems. Addison-Wesley, 1989。1987 年 Los Alamos 工作坊論文集。
9. Langton, Christopher G. “Computation at the Edge of Chaos: Phase Transitions and Emergent Computation.” Physica D, 1990.
10. Kauffman, Stuart A., and Simon Levin. “Towards a General Theory of Adaptive Walks on Rugged Landscapes.” Journal of Theoretical Biology, 1987.
11. Kauffman, Stuart A., and Edward D. Weinberger. “The NK Model of Rugged Fitness Landscapes and Its Application to Maturation of the Immune Response.” Journal of Theoretical Biology, 1989.
12. Weinberger, Edward D. “NP Completeness of Kauffman’s N-k Model, a Tuneably Rugged Fitness Landscape.” Santa Fe Institute Working Paper, 1996。https://www.santafe.edu/research/results/working-papers/np-completeness-of-kauffmans-n-k-model-a-tuneably-
13. Wolpert, David H. “The Lack of A Priori Distinctions between Learning Algorithms.” Neural Computation, 1996.
14. Wolpert, David H., and William G. Macready. “No Free Lunch Theorems for Search.” Santa Fe Institute Technical Report, 1995。https://www.santafe.edu/research/results/working-papers/no-free-lunch-theorems-for-search
15. Wolpert, David H., and William G. Macready. “No Free Lunch Theorems for Optimization.” IEEE Transactions on Evolutionary Computation, 1997.
16. Santa Fe Institute. “What the No Free Lunch Theorems Really Mean.” SFI Working Papers 頁。https://www.santafe.edu/research/results/working-papers/what-the-no-free-lunch-theorems-really-mean-how-to
17. Crutchfield, James P., and Karl Young. “Computation at the Onset of Chaos.” In Complexity, Entropy, and the Physics of Information, SFI Studies in the Sciences of Complexity, 1990.
18. Shalizi, Cosma Rohilla, and James P. Crutchfield. “Computational Mechanics: Pattern and Prediction, Structure and Simplicity.” Journal of Statistical Physics, 2001。摘要頁：https://link.springer.com/article/10.1023/A%3A1010388907793
19. Santa Fe Institute. “Pattern Discovery and Computational Mechanics.” SFI Working Papers 頁。https://www.santafe.edu/research/results/working-papers/pattern-discovery-and-computational-mechanics
20. Anderson, Philip W., Kenneth J. Arrow, and David Pines, eds. The Economy as an Evolving Complex System. Addison-Wesley, 1988.
21. Arthur, W. Brian. “Inductive Reasoning and Bounded Rationality: The El Farol Problem.” American Economic Review, 1994.
22. Arthur, W. Brian. “Complexity Economics Hits Its Stride.” SFI 新聞與 Nature Reviews Physics 相關說明，2019。https://www.santafe.edu/news-center/news/complexity-economics-hits-its-stride
23. Santa Fe Institute. “Melanie Mitchell.” 官方人物頁，列出其 AI、認知科學、複雜系統與抽象／類比研究方向。https://www.santafe.edu/people/profile/melanie-mitchell
24. Mitchell, Melanie. Complexity: A Guided Tour. Oxford University Press, 2009.
25. Mitchell, Melanie. Artificial Intelligence: A Guide for Thinking Humans. Farrar, Straus and Giroux, 2019.
26. Mitchell, Melanie. “Why AI is Harder Than We Think.” arXiv:2104.12871, 2021。https://arxiv.org/abs/2104.12871
27. Mitchell, Melanie, Barbara Grosz, and Dawn Song. “On Crashing the Barrier of Meaning in Artificial Intelligence.” AI Magazine, 2020。https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/5259
28. Santa Fe Institute. “Artificial Intelligence and the ‘Barrier’ of Meaning.” 2018 工作坊頁。https://www.santafe.edu/events/artificial-intelligence-and-barrier-meaning
29. Santa Fe Institute. “AI and the Barrier of Meaning 2.” 2023 工作坊頁。https://www.santafe.edu/events/ai-and-barrier-meaning-2
30. Santa Fe Institute. “Humans and AI: The many dimensions of understanding.” 2023。https://www.santafe.edu/news-center/news/humans-and-ai-many-dimensions-understanding
31. Santa Fe Institute. “Complex Intelligence: Natural, Artificial, and Collective.” 研究主題頁。https://www.santafe.edu/research/themes/complex-intelligence-natural-artificial-and-collec