Thinking Machines Lab(Mira Murati 離開 OpenAI 後創立)於 2026 年 11 月 20 日發布 Inkling 2 Mini——一個總參數 26.4B、記憶體佔用約 20GB 的迴圈式(looped)Transformer 模型,強調足以在消費級筆電上離線運行,並以 Apache 2.0 授權開放權重,於 Hugging Face 與自家 Tinker 平台提供。
發布重點
架構:以「迴圈」換取更深的推理
- Inkling 2 Mini 為 **Mixture-of-Experts(MoE)**架構,總參數 26.4B、每次前向啟用僅 3.4B;計入迴圈後每 token 實際權重運算約 5.4B。
- 核心創新是迴圈式設計:模型的中間層對每個 token 重複運算三次,讓模型在「不把推理過程寫下來」的情況下進行更長時間的推理,在依賴推理品質的代理式編程任務上特別有效。
- 權重以 **NVFP4(4-bit)**原生訓練與部署(末四層為 MXFP8),避免事後量化損失,總體積控制在約 20GB。
效能主張
- 官方宣稱在 **DeepSWE v1.1(48.2%)**與 **Vals Index v2.2(46.5%)**等基準上,領先所有百億總參數以下的開放權重模型;SWE-bench Verified 達到 79.2%,超越 Qwen3.8-27B 的 77.8%。
- 在 Artificial Analysis Intelligence Index 取得 20.1 分;公司坦承迴圈提升的是推理而非事實記憶,事實性知識分數與同級模型相若,靠工具與搜尋補足。
- 官方展示:研究人員在飛機上以 MacBook Pro(M5 Pro、48GB)離線運行,數分鐘內即生成一個可玩的飛行模擬器。
同步釋出「可變迴圈」研究版本
- 提供可調整迴圈次數的研究版模型,供學界研究迴圈深度與鏈式思考(CoT)可監測性的關係。
- 實驗顯示:無 CoT 時限從單次迴圈的 16 秒提升至三次迴圈的 37 秒;序列推理基準成績在訓練時的 10 次迴圈內持續改善;迴圈增加後 CoT 變短但仍具可讀性,且未見代理式破壞(sabotage)測試分數上升。
為何重要
其一,「本地即前沿」的效率革命成形。Inkling 2 Mini 證明約 20GB、可在 32GB 統一記憶體 Mac 與 NVIDIA DGX Spark 上運行的規模,已能承載頂尖的代理式編程表現,且因啟用參數少、速度快於同級模型。對重視資料私隱、離線部署與推理成本的企業,這代表輕量級本地模型正式進入前沿編程應用的選擇清單。
其二,迴圈(looping)可能成為 LLM 的效率典範轉移。傳統模型對每個 token 只通過一次層數;迴圈設計以「共享權重重複運算」替代「攤平增加層數」,在不增加權重儲存的前提下加深推理,這與 Anthropic FlashProve 一類將推理「可驗證化」的方向互補,均直指推理過程的透明度與可控性——迴圈讓模型少寫推理、多「想」,而可變迴圈研究版本正是為了讓研究者能測量這種取捨。
其三,開放權重競爭加速。DeepSeek、Qwen 與新進者如 Thinking Machines 持續以開放權重逼近封閉前沿,且主打更小的總參數與本地可運行性;Claude、GPT 與 Gemini 的「深度效率矩陣」(如 Gemini 4 家族的分層定位)與開放生態形成兩條並行的競爭軸線。
對香港研究者與開發者的啟示
對本地 AI 工程團隊而言,Inkling 2 Mini 的意義在於驗證成本假設:若你的代理式編程、程式碼審查或離線文件處理工作流,過去默認需要雲端前沿 API,現在值得在同一任務上跑一次本地 GGUF 量化版本,比較延遲、成本與資料外洩風險。研究機構則可善用可變迴圈版本設計實驗,量化「迴圈深度 × 推理品質 × CoT 可監測性」之間的權衡——這正是下一波推理效率與 AI 安全研究的交匯點。
本文信息來源:Thinking Machines Lab 官方部落格《Introducing Inkling 2 Mini》。