Lightricks 於 2026 年 3 月 5 日發布 LTX 2.3，這是目前最高效能的開源影片生成模型。該模型基於擴散 Transformer（Diffusion Transformer, DiT）架構，擁有 220 億參數，能夠在單次前向傳遞中同時生成原生 4K 解析度、50 FPS 的影片與同步音訊，代表了影片生成技術的重大突破。
架構創新：統一的音視頻生成
單次前向傳遞的音視頻同步
LTX 2.3 最核心的技術突破是單架構音視頻同步生成。傳統的影片生成流程通常需要兩個獨立的模型——一個生成視覺內容，另一個生成或匹配音訊。這種分離式方法面臨嚴峻的同步挑戰：口型與語音的對齊、環境音效與視覺事件的時間匹配等。
LTX 2.3 的 DiT 架構將音訊和視頻的生成統一在同一個擴散過程中。模型在潛在空間（latent space）中同時處理視覺和聽覺的表示，通過共享的注意力機制確保兩者在時間維度上的精確對齊。這種設計從根本上消除了後處理對齊的需求。
擴散 Transformer 架構詳解
LTX 2.3 的 22B 參數 DiT 架構融合了擴散模型的生成能力和 Transformer 的長程依賴建模能力：
空間-時間注意力機制：模型採用交替的空間注意力和時間注意力層。空間注意力處理每一幀內的像素級細節（構圖、紋理、光影），時間注意力則確保幀與幀之間的運動一致性和物理合理性。
多尺度潛在表示：為支援 4K 解析度，模型使用了多尺度的潛在空間編碼。低解析度層捕捉全局結構和運動軌跡，高解析度層負責細節渲染和紋理生成。這種分層策略大幅降低了直接在 4K 像素空間中進行擴散的計算成本。
條件式生成控制：模型接受文字提示（text prompt）作為生成條件，通過交叉注意力機制將語義資訊注入擴散過程。LTX 2.3 在提示遵從性（prompt adherence）上相比前代有顯著改善，能更準確地將文字描述轉化為視覺內容。
性能規格
| 指標 | LTX 2.3 規格 |
|---|---|
| 最大解析度 | 原生 4K（3840×2160） |
| 最大幀率 | 50 FPS |
| 最長片段 | 20 秒 |
| 音訊同步 | 單次前向傳遞生成 |
| 模型規模 | 22B 參數 |
| 授權 | Apache 2.0（年營收 < 1000 萬美元） |
與競爭模型的比較
LTX 2.3 是目前唯一能夠在開源框架下同時生成原生 4K 影片和同步音訊的模型。在 OpenAI 的 Sora 公開 API 宣布關閉的背景下，LTX 2.3 填補了高品質影片生成的重要空白。
相比其他開源影片模型：
- Stable Video Diffusion：僅支援圖片到影片轉換，不支援文字到影片
- CogVideoX：支援文字到影片但最大解析度有限，無音訊生成
- LTX 2.3：原生 4K + 音訊 + 文字控制的完整方案
消費級硬體部署
桌面編輯器
LTX 2.3 的發布伴隨著一款桌面影片編輯器，使整個模型能夠在消費級硬體上本地運行。這對於影片創作者和獨立開發者意義重大——無需依賴雲端 API 或支付高昂的推理費用。
模型在 Hugging Face 上提供多種量化版本：
- BF16：完整精度，需要高端 GPU
- FP8：8 位元浮點量化，記憶體需求減半
- NVF4：NVIDIA 4 位元量化格式，適合消費級 GPU
- GGUF：CPU 兼容格式，支援無 GPU 環境
推理優化
針對不同硬體配置，LTX 2.3 提供了多種推理優化選項：
- 注意力優化：支援 Flash Attention 2 加速
- 管線並行：多 GPU 環境下的模型並行策略
- 漸進式生成：先生成低解析度預覽，確認後再渲染高解析度版本
授權與商業模式
LTX 2.3 採用分層授權策略：
- Apache 2.0：年營收低於 1,000 萬美元的公司可自由商業使用
- 商業授權：年營收超過 1,000 萬美元的公司需要向 Lightricks 取得商業授權
這種分層策略在保護 Lightricks 商業利益的同時，確保了中小型創作者和初創公司能夠免費使用最先進的影片生成技術。
對影片生成研究的啟示
LTX 2.3 的技術路線為影片生成研究指明了幾個重要方向：
- 音視頻統一架構：單模型同時處理多模態是未來趨勢，分離式管線將逐漸被淘汰
- DiT 架構的優越性：相比 U-Net 基礎的擴散模型，DiT 在高解析度影片生成上展現出明顯優勢
- 民主化生成：消費級硬體部署能力將成為影片生成模型的標配，而非差異化特性
在 Sora 退出公開市場的時點上，LTX 2.3 的出現恰好填補了這一空白，也預示著開源影片生成生態系統的加速成熟。