2026 年 10 月 15 日，NVIDIA 正式發布開源模型 Nemotron 3.5 Bolt 74B-A9B，時間刻意安排在 RTX Spark 筆電（10 月 16 日開售）的前一天。這款模型以「本地代理運算」為核心定位：74B 總參數的混合專家（MoE）架構，每個 token 僅啟動 9B 參數，再經 2-bit 量化與量化感知訓練（quantization-aware training）壓縮至約 24GB，目標是在 RTX Spark 的記憶體預算內兼顧速度與智慧。
發布內容：完整開源的本地代理模型
- 架構與規格：74B 總參數、9B 活躍參數的 MoE；2-bit 量化後約 24GB，採用先進量化感知訓練以保留品質
- 定位：比多數主流稠密模型更快，比記憶體佔用相近的多數 MoE 模型更聰明（NVIDIA 自身說法，尚無第三方獨立測試）
- 執行生態：發布首日即支援 llama.cpp、vLLM、Ollama、Unsloth 與 LM Studio，並可經由 Hermes、OpenClaw 等代理框架直接取用
- 開源程度：與其他 Nemotron 系列一致，權重、訓練數據與訓練配方全部公開，開發者可自行微調與定制代理
- 後續版本：更小的 Nemotron 3.5 Bolt E4B（4GB） 預計 10 月 23 日發布
同步推出的還有 NVIDIA PAIR 1.0——這款「個人 AI 路由器」正式脫離 beta：它可自動發現家中網路上的相容電腦（Windows、Linux、macOS），安裝模型與推論引擎，並將 AI 工作負載分散至多台機器執行，新增 llama.cpp 支援與 Hugging Face 直接下載。
為何重要：NVIDIA 的本地代理路線圖
RTX Spark 是 NVIDIA 於 10 月 16 日開售的筆電平台，採用 Blackwell RTX GPU 與 Arm 架構 Grace CPU，運行 Windows on Arm；微軟列出的 Surface Laptop Ultra 起始價為 2,599.99 美元，最高可配置 128GB 統一記憶體。Nemotron 3.5 Bolt 是 NVIDIA 為此平台打造的「軟體論述」：證明大型模型檢查點可以化身為可靠的本地代理系統。
- 本地代理 vs. 雲端代理：Bolt 的目標是讓代理在筆電上完成大部分工作，僅在必要時呼叫雲端——這涉及隱私、延遲、電力成本與雲端帳單之間的取捨
- 「完全開源」的新標準：連同訓練數據與配方一同發布，比僅開放權重更進一步，但授權條款與可重現性仍待檢驗
- 分數尚缺：截至發布日，Bolt 的準確度、延遲與工具呼叫可靠性均未有獨立基準結果；性能宣稱仍停留在 NVIDIA 自己的比較
產業意涵
- 本地推理的性價比之爭：2-bit 量化讓 74B 級模型進入 24GB 記憶體，意味著「大模型、小記憶體」成為本地設備的常態配置，與雲端 API 的經濟帳將被重新計算
- 開源代理堆疊成形：模型、推理引擎、路由工具（PAIR）與代理框架的組合，正在形成一套完整的本地代理開源生態，挑戰「代理必須跑在雲端」的既有預設
- 待驗證的關鍵問題：2-bit 格式下的品質與工具呼叫成功率、Arm Windows 上的相容性、以及本地執行何時真正低於雲端成本——這些數據將決定 NVIDIA 是否交付了可持續的本地代理平台
本文信息來源：NVIDIA Blog、The AI Daily、Magica、TSN Media。