研究突破
DeepGrove 開源 Maple-Preview:原生三元權重 20B-A1B 推理模型,於 Mac mini 上以 218 tok/s 運行
DeepGrove 於 8 月 5 日開源 Maple-Preview,一個原生訓練的 20B-A1B 三元權重推理模型,在同級參數中達 SOTA 甚至可與更大模型競爭,能在 Mac mini M4 上以 218 tok/s 運行、檢查點僅 5.31 GB,並解決 IMO 等級的數學問題。
DeepGrove 於 8 月 5 日開源 Maple-Preview,一個原生訓練的 20B-A1B 三元權重推理模型,在同級參數中達 SOTA 甚至可與更大模型競爭,能在 Mac mini M4 上以 218 tok/s 運行、檢查點僅 5.31 GB,並解決 IMO 等級的數學問題。