字節跳動(ByteDance)正在訓練一個規模驚人的 AI 模型,目標直指 Anthropic 最先進的 Mythos 系統。據《金融時報》報導,該模型參數量高達 10 兆(10 trillion),是目前中國最大已發布模型——Moonshot Kimi K3——的 三倍。
模型規模與競爭格局
| 模型 | 估計參數量 | 開發商 |
|---|---|---|
| 字節跳動新模型 | ~10 兆 | ByteDance |
| Anthropic Mythos 5 | ~8 兆 | Anthropic |
| Anthropic Fable 5 | ~5 兆 | Anthropic |
| Moonshot Kimi K3 | ~3.3 兆 | Moonshot AI |
該模型目前處於預訓練階段——通常需時 3 到 6 個月——完成後將進行微調,最終才會決定是否發布。業內人士透露,多家中國實驗室正在訓練 Fable 5 規模的模型,但字節跳動在追求最大規模方面最為激進。
字節跳動的 AI 戰略
字節跳動在 AI 領域的布局遠早於多數中國同行,但其策略相對低調:
- Seed 團隊:由前 Google DeepMind 科學家吳永輝領導,團隊規模約 2,000 人,涵蓋核心研究員、基礎設施工程師、數據標註團隊與翻譯人員
- 閉源策略:不同於許多中國 AI 公司開源模型的做法,字節跳動的模型主要為閉源
- SeeDance:影片生成模型,被認為處於全球最先進水準
- Doubao(豆包):面向消費者的旗艦模型,月活躍用戶達 3.24 億,是中國最受歡迎的 AI 應用
- 自力研發:使用獨立開發路線,不依賴蒸餾(Distillation)其他實驗室的現有模型
字節跳動創辦人張一鳴在兩週前的內部會議中指示 Seed 團隊,應以「世界領先的模型能力」為長期目標,不必過度擔心短期落後。
硬體基礎設施投入
過去三年,字節跳動在 AI 領域的投資力度超越任何其他中國科技巨頭,包括:
- 大規模建設數據中心網路
- 積極招募 AI 研究人才
- 投入雲端業務 Volcano Engine(火山引擎),為企業提供 AI 解決方案
- 計劃開發自研 AI 晶片
產業意義
字節跳動的這一動作折射出中國 AI 實驗室的普遍野心:不僅追趕,更要超越美國同行。
過去數週,Moonshot 和阿里的模型在基準測試中表現強勁,僅在部分領域落後於 Anthropic 的 Fable 5。Mythos 5 因 6 月的安全問題遭暫停下架後,目前僅限獲批組織使用,這為競爭對手提供了追趕窗口。
然而,參數量並非決定模型能力的唯一因素。數據品質、訓練方法、架構設計同樣至關重要。字節跳動選擇獨立研發路線——不蒸餾現有模型——可能導致開發速度較慢,但管理層認為這是實現超車的唯一途徑。
本文信息來源:Financial Times,轉載自 Ars Technica。