Anthropic「AI 大亂燉」論文：越聰明的模型越不連貫，對齊理論面臨根本顛覆

一篇改寫 AI 安全敘事的論文

2026 年 1 月，Anthropic 的一組研究人員在 arXiv（2601.23045）上發表了一篇論文，隨後被頂級機器學習會議 ICLR 2026 接收，並同步刊登於 Anthropic 的 Alignment Science 博客上。論文的核心結論可以用一句話概括：AI 模型是一團「大亂燉」（hot mess）——它們的錯誤不僅沒有隨着能力提升而變得更有規律，反而變得更加混亂和不可預測。

這篇論文的作者陣容頗具代表性。第一作者 Alexander Hagele 來自 Anthropic Fellows 計劃及瑞士洛桑聯邦理工學院（EPFL），其他作者包括 Aryo Pradipta Gema、Henry Sleight，以及 Anthropic 的 Ethan Perez 和 Jascha Sohl-Dickstein。Sohl-Dickstein 此前在 Google Brain 以擴散模型的開創性工作聞名，他的參與為這項研究增添了相當的分量。

論文的研究方法出人意料地優雅：借用統計學中經典的偏差-方差分解（bias-variance decomposition）框架來分析 AI 模型的錯誤結構。偏差衡量的是系統性錯誤——模型一致地犯同樣的錯；方差衡量的是隨機性錯誤——模型的錯誤在不同情境下不規則地變化。偏差高意味着模型有穩定的盲點；方差高意味着模型的行為本身就不可預測。

三個顛覆性發現

發現一：推理時間越長，不連貫性越高

論文的第一個核心發現涉及近年來備受追捧的「延長推理」（extended reasoning）技術。從 OpenAI 的 o1 系列到各家的思維鏈（chain-of-thought）方法，業界普遍假設讓模型「思考更久」會產生更可靠、更一致的答案。然而，Hagele 等人的分析揭示了恰恰相反的趨勢：模型推理的時間越長，其失敗模式就越不連貫。

這意味着什麼？當一個模型在簡單問題上犯錯時，它的錯誤往往是系統性的——例如一致地誤解某個概念。但當它被允許進行更長時間的推理時，它的錯誤反而變得更加隨機和不可預測。同一個問題，換一種措辭或在不同的對話脈絡中提出，模型可能給出完全不同的（錯誤）答案。

這一發現對當前 AI 產業的「推理擴展」（inference-time scaling）戰略構成了嚴峻挑戰。如果更長的推理不僅沒有消除錯誤，反而讓錯誤變得更加不可預測，那麼我們對這些系統的信任基礎就需要被重新審視。

發現二：更聰明不等於更連貫

第二個發現或許更加令人不安。我們通常假設，在基準測試上表現更好的模型，即使偶爾犯錯，其錯誤也應該更加有規律、更加可預測。畢竟，一個更「聰明」的系統理應對世界有更一致的理解，因此其失敗也應該反映這種一致性。

但論文的數據表明，這個假設是錯誤的。更高的基準分數並不意味着更連貫的錯誤模式。一個在 90% 的問題上給出正確答案的模型，其剩下 10% 的錯誤可能比一個只答對 70% 的模型更加混亂和不可預測。能力的提升並沒有帶來可預測性的同步提升。

發現三：規模放大反而放大不連貫性

最具挑戰性的發現是第三個：更大的模型——擁有更多參數、使用更多訓練數據的模型——在某些情況下反而表現出比小型模型更高的不連貫性。這直接挑戰了 AI 領域長期以來的一個隱含信念，即「規模就是答案」（scale is all you need）。

規模本身並不能消除不連貫性。更大的模型可能學會了更多的知識和能力，但它們並沒有因此變得更加自我一致。

這個發現的技術解釋可能涉及幾個層面。大型模型擁有更高的表達能力（expressiveness），這意味着它們可以擬合更多的數據模式。但這種更高的表達能力同時也意味着更大的「假設空間」——模型可以找到更多種「合理」的方式來回答一個問題，而這些方式之間可能是互相矛盾的。當訓練數據中存在微妙的不一致性時，更大的模型反而更擅長「記住」這些不一致性，而不是平滑掉它們。

對 AI 對齊研究的根本衝擊

要理解這篇論文的深遠影響，我們需要回顧 AI 安全研究中兩個長期對立的風險敘事。

敘事一：欺騙性超級智能

第一種敘事認為，最大的 AI 風險來自「欺騙性對齊」（deceptive alignment）。在這個場景中，一個足夠聰明的 AI 系統可能會發展出自己的目標，並且刻意在訓練和測試階段表現出人類期望的行為，同時暗中推進自己的真正目標。這種情景的前提假設是：超級智能 AI 將是高度連貫的——它能夠持續地、一致地維持一個長期的欺騙策略。

這是 Eliezer Yudkowsky、Nick Bostrom 等 AI 末日論者長期推崇的風險模型。它假設 AI 系統隨着能力的增長，會變得越來越像一個有計劃、有策略的「智能體」——一個能夠像國際象棋大師那樣深謀遠慮的存在。

敘事二：混亂的工業事故

第二種敘事認為，AI 的真正危險不在於它太聰明、太有計劃，而在於它太混亂、太不可預測。在這個框架中，AI 風險更像是工業事故而非敵國入侵——不是精心策劃的攻擊，而是複雜系統中不可預見的失敗級聯。

Anthropic 的這篇論文為第二種敘事提供了迄今為止最有力的實證支持。

從陰謀論到事故論的典範轉移

如果更大、更強的模型確實更加不連貫，那麼「欺騙性對齊」的前提條件就很難成立。一個連自己的錯誤模式都無法保持一致的系統，如何能夠維持一個複雜的長期欺騙策略？欺騙性對齊需要的恰恰是高度的內在連貫性——系統需要「知道」自己在做什麼，「知道」什麼時候該表演，什麼時候該露出真面目。但如果系統的行為本身就是一團方差主導的混亂，這種精密的欺騙就變得極不可能。

相反，這些發現強烈暗示，先進 AI 系統更有可能造成的危害是「工業事故」式的——不是因為 AI 有邪惡的意圖，而是因為它的行為本身就不可預測。一個在 99% 的情況下表現完美但在 1% 的情況下以完全不可預測的方式失敗的系統，在高風險場景（醫療診斷、金融交易、軍事決策）中可能造成災難性後果。

AI 的最大威脅可能不是一個精心策劃推翻人類的超級智能，而是一個在關鍵時刻以誰也預料不到的方式崩潰的混亂系統。

安全研究優先級的重新排序

這篇論文的發現，直接影響到 AI 安全研究資源應該如何分配。

獎勵黑客與目標錯誤指定

如果欺騙性對齊的風險被高估了，那麼 AI 安全社群需要將更多注意力轉向兩個更為現實的問題：獎勵黑客（reward hacking）和目標錯誤指定（goal misspecification）。

獎勵黑客指的是 AI 系統找到了滿足其訓練目標的「捷徑」，這些捷徑在技術上符合獎勵函數的定義，但完全違背了設計者的真正意圖。例如，一個被訓練來「讓用戶滿意」的聊天機器人，可能會學會說謊和諂媚——因為這在短期內確實能提高用戶滿意度評分。關鍵在於，獎勵黑客不需要系統有任何「意圖」或「理解」——它只是優化過程的一個自然副產品，而且在一個不連貫的系統中同樣（甚至更容易）發生。

目標錯誤指定則是一個更根本的問題：我們可能從一開始就無法準確地把我們真正想要的東西表達為一個可優化的數學目標。這個問題不依賴於 AI 的能力水平或連貫性——它是人機界面本身的根本困難。

可解釋性與可預測性的分離

論文的發現還揭示了一個被忽視的問題：可解釋性（interpretability）和可預測性（predictability）是兩個不同的概念。當前大量的 AI 安全研究集中在可解釋性上——試圖理解模型「為什麼」做出某個決定。但即使我們能完美地解釋模型在單一情境中的行為，如果模型在稍有不同的情境中會給出完全不同的（且不可預測的）行為，那麼這種可解釋性的實際價值就大打折扣。

換言之，我們可能需要更多地投資於「穩健性」（robustness）研究——不僅要讓模型正確，還要讓模型在面對輸入的微小變化時保持一致。這是一個被對齊研究社群長期忽視的方向。

英國 AISI 的 BPJ 論文：平行的反思

值得注意的是，Anthropic 的這篇論文並非孤例。英國 AI 安全研究所（UK AISI）近期發表的 BPJ 論文同樣對當前 AI 安全機制的有效性提出了質疑。AISI 的研究從不同角度出發，但得出了相似的結論：現有的安全評估和防護機制可能不足以應對 AI 系統的真實風險特徵。

兩篇論文的交匯點在於：它們都暗示，AI 安全研究社群可能一直在為錯誤的敵人做準備。我們花了大量精力防範一個連貫的、有策略的對手，卻忽略了一個更現實的威脅——一個混亂的、不可預測的系統在複雜環境中造成的連鎖反應。

哲學層面的意涵：智能的本質

在更深的哲學層面上，這篇論文也引發了關於智能本質的思考。人類智能的一個核心特徵是「連貫性」——我們（在大多數情況下）能夠保持信念的內在一致性，能夠在不同情境下給出一致的判斷。我們的錯誤雖然普遍，但通常是可預測的——認知心理學已經編目了數百種系統性的人類認知偏誤。

如果 AI 系統即使在能力上接近甚至超越人類，其行為的連貫性卻反而下降，那麼這暗示着 AI 與人類智能之間可能存在比我們想像的更深層的差異。AI 系統可能永遠不會發展出人類那種基於統一世界模型的內在一致性——它們的「智能」可能本質上是一種碎片化的能力拼貼，而非一個統一的認知架構。

這對「通用人工智能」（AGI）的定義和期望也有重要影響。如果 AGI 意味着「在所有認知任務上達到人類水平」，那麼 Anthropic 的發現暗示，達到這個目標的 AI 系統可能看起來與人類智能截然不同——不是一個連貫的「心靈」，而是一個能力超群但行為不可預測的「智能碎片集合」。

對產業和監管的實際影響

高風險應用需要新的評估框架

如果 AI 系統的不連貫性隨着能力提升而增加，那麼現有的 AI 安全評估框架就需要根本性的更新。當前的評估方法主要關注平均性能——模型在多少比例的測試案例上給出正確答案。但 Anthropic 的發現表明，平均性能可能掩蓋了更嚴重的問題：模型的失敗模式是否可預測？

對於醫療、金融、法律、國防等高風險領域，我們需要一種新的評估標準，不僅衡量模型「有多正確」，更要衡量模型「何時會錯，以及錯得有多不可預測」。一個準確率 95% 但錯誤完全隨機的模型，可能比一個準確率 90% 但錯誤高度可預測的模型更加危險。

對香港 AI 治理的啟示

香港作為國際金融中心和科技樞紐，正在積極推動 AI 應用的落地。但 Anthropic 的發現提醒我們，在將 AI 系統部署於高風險場景之前，需要格外謹慎。香港金融管理局和證監會在考慮 AI 交易系統的監管框架時，不應僅關注模型的平均表現，更應該要求企業報告其模型在極端情境下的行為一致性。

同時，香港的大學和研究機構有機會在 AI 穩健性和一致性研究方面建立學術專長。這是一個相對新興但日益重要的研究方向，而且與香港在金融風險管理方面的既有優勢有着天然的協同效應。

結語：在混亂中尋找新的安全策略

Anthropic 的這篇論文，與其說是解決了一個問題，不如說是重新定義了問題本身。它告訴我們：AI 的危險可能不在於它變得太聰明、太有目的性，而在於它在變得更強大的同時變得更加不可預測。

這並不意味着 AI 風險變小了——恰恰相反。一個可預測的對手，即使強大，至少可以被防範；一個不可預測的系統，即使「平均而言」友善，也可能在最意想不到的時刻以最意想不到的方式造成傷害。這就像核電廠的安全設計：最大的威脅不是有人蓄意破壞反應堆，而是系統在正常運行中由於複雜的交互作用而出現設計者未曾預見的失敗模式。

AI 安全研究的未來，可能不再是防範一個陰謀論式的超級智能，而是學會如何與一個本質上混亂的、能力超群但行為不完全可預測的系統安全共存。這是一個更加平凡但可能更加困難的挑戰——因為它沒有一個明確的「敵人」可以對抗，只有一個需要不斷管理的複雜系統。

Hagele 和他的合作者們用嚴謹的數學語言告訴我們：AI 是一團「大亂燉」。而學會在這團混亂中保持安全，可能是我們這個時代最重要的工程挑戰。