產業動態

字節跳動訓練萬億參數 AI 模型:10 兆參數挑戰 Anthropic 霸主地位

據《金融時報》報導,TikTok 母公司字節跳動正在訓練一個高達 10 兆(10 trillion)參數的大型語言模型,規模超越目前所有已發布的中國模型,直接挑戰 Anthropic Mythos 5 的領先地位。

字節跳動(ByteDance)正在訓練一個規模驚人的 AI 模型,目標直指 Anthropic 最先進的 Mythos 系統。據《金融時報》報導,該模型參數量高達 10 兆(10 trillion),是目前中國最大已發布模型——Moonshot Kimi K3——的 三倍

模型規模與競爭格局

模型估計參數量開發商
字節跳動新模型~10 兆ByteDance
Anthropic Mythos 5~8 兆Anthropic
Anthropic Fable 5~5 兆Anthropic
Moonshot Kimi K3~3.3 兆Moonshot AI

該模型目前處於預訓練階段——通常需時 3 到 6 個月——完成後將進行微調,最終才會決定是否發布。業內人士透露,多家中國實驗室正在訓練 Fable 5 規模的模型,但字節跳動在追求最大規模方面最為激進。

字節跳動的 AI 戰略

字節跳動在 AI 領域的布局遠早於多數中國同行,但其策略相對低調:

  • Seed 團隊:由前 Google DeepMind 科學家吳永輝領導,團隊規模約 2,000 人,涵蓋核心研究員、基礎設施工程師、數據標註團隊與翻譯人員
  • 閉源策略:不同於許多中國 AI 公司開源模型的做法,字節跳動的模型主要為閉源
  • SeeDance:影片生成模型,被認為處於全球最先進水準
  • Doubao(豆包):面向消費者的旗艦模型,月活躍用戶達 3.24 億,是中國最受歡迎的 AI 應用
  • 自力研發:使用獨立開發路線,不依賴蒸餾(Distillation)其他實驗室的現有模型

字節跳動創辦人張一鳴在兩週前的內部會議中指示 Seed 團隊,應以「世界領先的模型能力」為長期目標,不必過度擔心短期落後。

硬體基礎設施投入

過去三年,字節跳動在 AI 領域的投資力度超越任何其他中國科技巨頭,包括:

  • 大規模建設數據中心網路
  • 積極招募 AI 研究人才
  • 投入雲端業務 Volcano Engine(火山引擎),為企業提供 AI 解決方案
  • 計劃開發自研 AI 晶片

產業意義

字節跳動的這一動作折射出中國 AI 實驗室的普遍野心:不僅追趕,更要超越美國同行。

過去數週,Moonshot 和阿里的模型在基準測試中表現強勁,僅在部分領域落後於 Anthropic 的 Fable 5。Mythos 5 因 6 月的安全問題遭暫停下架後,目前僅限獲批組織使用,這為競爭對手提供了追趕窗口。

然而,參數量並非決定模型能力的唯一因素。數據品質、訓練方法、架構設計同樣至關重要。字節跳動選擇獨立研發路線——不蒸餾現有模型——可能導致開發速度較慢,但管理層認為這是實現超車的唯一途徑。


本文信息來源:Financial Times,轉載自 Ars Technica。

返回 AI 資訊