在大型語言模型的競技場中，「小即是美」正在成為新的技術主旋律。OpenAI 最新的 GPT-5 Mini 系列展示了一個令人信服的命題：透過精密的知識蒸餾和推理優化，小型模型不僅可以接近旗艦模型的能力，更能在特定推理任務上實現超越——同時以不到十分之一的推理成本運行。
蒸餾技術的演進
知識蒸餾（Knowledge Distillation）並非新概念，其核心思想可追溯至 Hinton 等人 2015 年的開創性工作。然而，應用於現代大型語言模型時，傳統蒸餾方法面臨幾個核心挑戰：
輸出分佈的高維複雜性：大型語言模型的 softmax 輸出包含豐富的類別機率資訊，但傳統硬標籤蒸餾只能捕捉其中一小部分。OpenAI 在 GPT-5 Mini 中採用了「思維鏈蒸餾」（Chain-of-Thought Distillation），讓小模型不僅學習最終答案，更學習教師模型的推理過程。
中間推理步驟的保真度：研究者發現，若只蒸餾最終輸出，學生模型往往無法重現教師模型的推理能力。透過在蒸餾訓練集中加入大量「推理軌跡」資料，小模型能夠學習「如何思考」而非僅僅「思考什麼」。
能力崩塌問題：蒸餾過程中，若訓練資料的分佈與實際部署場景存在差距，模型容易在某些能力維度上出現「崩塌」。GPT-5 Mini 透過廣泛的課程學習（Curriculum Learning）策略，系統性地在蒸餾過程中覆蓋不同難度和類型的推理任務。
基準測試分析
GPT-5 Mini 在以下主要基準測試中的表現值得關注：
MATH 500：數學推理基準，GPT-5 Mini 達到 89.3%，較 GPT-4o（87.1%）高出 2.2 個百分點。這一結果尤其值得關注，因為數學推理通常被認為是需要大量參數才能掌握的能力。
MMLU（Massive Multitask Language Understanding）：GPT-5 Mini 達到 87.8%，略低於 GPT-4o 的 89.2%，但差距已大幅縮小。
HumanEval（代碼生成）：GPT-5 Mini 達到 92.1%，超越 GPT-4o 的 90.4%，顯示蒸餾技術在結構化推理任務上效果顯著。
推理效率的架構設計
GPT-5 Mini 在架構層面採用了多項效率優化：
分組查詢注意力（GQA）：將 K/V 頭的數量從完整的多頭注意力（MHA）縮減，在幾乎不損失模型表達能力的前提下，顯著降低 KV 快取的記憶體佔用，使更長的上下文視窗得以在有限硬體上運行。
稀疏前饋網路（Sparse FFN）：採用類似 Mixture-of-Experts 的稀疏啟動機制，每次前向傳播只啟動全部參數的一個子集，有效降低推理計算量。
投機解碼（Speculative Decoding）：在部署層面，OpenAI 使用一個更小的「草稿模型」提前生成候選 token，再由 GPT-5 Mini 進行批量驗證，大幅提升每秒生成 token 數（TPS）。
對研究社群的啟示
GPT-5 Mini 的成功驗證了「小模型 + 高質量蒸餾資料」路線的可行性，這對資源有限的研究機構和企業而言意義重大。未來的研究方向可能集中在：如何自動化生成高質量的推理軌跡訓練資料、如何更系統地評估蒸餾後模型的「能力完整性」，以及如何在蒸餾過程中同步優化模型的安全性對齊。
小模型的性能上限究竟在哪裡，答案正在被不斷刷新。