Anthropic 於 11 月中公開了 FlashProve，一個開放原始碼的**可驗證推論（provable inference）**原型系統。核心概念是運用一類名為 **zkSNARK（零知識簡潔論證）**的加密技術，讓只有有限運算資源、且完全不知道模型權重的使用者，也能快速驗證「這個回應確實來自開發者所宣稱的那個模型」，同時不洩漏任何模型權重資訊。
發布重點
什麼是可驗證推論
- 今日使用者呼叫 API 時，無從確認回應真的來自指定模型——路由服務可能為降低成本偷偷換成較便宜模型，攻擊者也可能竄改 token 串流。
- FlashProve 讓模型提供者對模型做出承諾（commitment），再針對每個回應產生一份簡短的證明（proof）；使用者可在數秒內於 CPU 上驗證，若回應偏離所宣稱的模型，驗證即會失敗。
效能數據
- 針對 Llama 4 Maverick（400B 參數、MoE 架構、4-bit 量化），單張 H100 GPU 每秒可產生約 110 token 的證明。
- 每 1,024 token 請求的證明大小約 19 MB，可在數秒內完成驗證。
- 相對而言，這約是 vLLM 執行同長度提示所需 GPU 時間的 70 至 95 倍，僅約兩個數量級——遠低於先前預期。
對照進展
- 2024 年的 zkLLM 在單張 A100 上證明 13B 模型約僅 2.5 token/秒。
- 先前已知唯一可證明 Llama 4 Maverick 的系統 VerInf，在 DGX Spark 上證明 1,000 token 需 14.3 小時、證明達 93.6 GB，驗證也需近一天。
- FlashProve 則在單張 H100 上以 110 token/秒完成同樣任務、證明僅 19 MB。
形式化驗證
- 提供 Lean 形式化證明覆蓋安全保證的頂層數學陳述，並附互動式視覺化工具。
- 一併發布程式碼（prover 與 C++ 快速 verifier、Lean「可證正確」verifier）、技術報告與協定規格，均以 Apache 2.0 授權。
為何重要
其一，為「誠信保證」與「監管」補上基礎工具。監管者可要求提供者提交某時段內推理請求的證明，確認硬體確實用於推理而非暗地訓練新模型；同時提供者不必向監管者揭露專有權重。這對「AI 發展節奏（pacing）」的監督機制具有直接意義。
其二，使用者與第三方能真正查核「回應出自哪個模型」。對獨立評測機構、透過第三方路由 API 的客戶，以及防範竄改 token 串流的攻擊，都提供了目前欠缺的可驗證性。
限制與啟示
- 目前是研究原型，非完整研究議程。證明針對整數版本的權重與貪婪解碼——浮點數實作或取樣解碼可能在某些位置偏離。
- 依賴 MoE 架構以取得效率，並不隱藏模型架構本身；上下文上限目前僅 1,024 token。
- 未保證快速執行碼與 Lean/論文三者完全一致，且存在旁通道（side channel）考量。
對研究者與開發者的啟示：這類工具的興起，象徵「可稽核的 AI」正從理論走向工程實作。若你的系統涉及法規合規、審計或多供應商路由，可密切追蹤可驗證推論的進展；但正式採用前，須先釐清整數/貪婪限制與 1,024 token 上下文是否能滿足實際場景。
本文信息來源：Anthropic Research 官方部落格。