Google Cloud 在年度大會公布兩款第八代 TPU:TPU 8t 主打模型訓練,TPU 8i 則針對推理與低延遲需求。這代表雲端供應商不再用「單一加速器」同時滿足所有工作負載,而是以更細緻的產品線對應不同成本曲線:訓練看重吞吐與互連、推理看重延遲、能效與每美元效益。
對企業用戶而言,這種分工會加速「模型研發」與「產品上線」兩條路線的資源切割:前者要可擴展的巨型叢集,後者要穩定、可預期的推理成本。也因此,未來雲端採購的核心不只是算力單價,而是能否在同一平台內順暢地完成訓練、部署、監控與成本治理,並避免在 GPU 與自研晶片之間被迫做一次性押注。