微軟近日在 Hugging Face 發布開源多模態模型 AesCode-32B（連同較小的 AesCode-8B），並同步公開論文《AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards》（arXiv:2610.18860）與完整訓練代碼。這款 32B 參數、Apache-2.0 許可的模型以 Qwen3-VL-32B-Instruct 為基座，任務不是生成靜態圖片，而是把提示詞（及可選的參考圖）轉化為以 HTML/CSS 輸出的視覺產物——幻燈片、海報、儀表盤與報告——輸出保持結構化、可編輯、可程式化驗證。
技術核心：把語義與視覺分開處理
AesCode 面對的難題在於：代碼模型「看不見」佈局、層級與顏色在畫布上的組合，而圖像生成器雖然視覺表現力強，卻常在文字、數字與邏輯關係上出錯。AesCode 的做法是：用同一提示詞生成一張圖像作為美學參考，同時嚴格遵循提示詞的內容要求，並透過圖結構監督（graph-structured supervision）與解耦跨模態獎勵（decoupled cross-modal rewards），把語義要求與視覺線索分開處理，避免模型照搬參考圖中的幻覺內容。
- 訓練流程：從 Qwen3-VL-32B-Instruct 出發，先以 3,000 條示範做冷啟動 SFT（學習率 1e-5），再以 GDPO 在 7 個獎勵通道上進行強化學習（7,408 個提示詞、520 步，採用 verl 的 FSDP-vLLM 混合引擎）
- 可驗證的輸出規範：表格強制使用 HTML
<table>結構、圖表使用 ECharts 規範，將解空間約束到可直接執行與驗證的實現 - 評測方式：在 300 個信息圖樣本上，以規則項（Text、Bound、Chart）與視覺項（Content、Layout、Style）分開計分；候選 HTML 在沙盒 Playwright 瀏覽器中渲染驗證
基準成績：逼近封閉前緣模型
| 模型 | 條件 | 規則項 | 視覺項 | 綜合 |
|---|---|---|---|---|
| AesCode-32B | 含參考圖 | 94.33 | 77.44 | 85.89 |
| GPT-5.5 | 含參考圖 | 85.90 | — | — |
| Claude Opus 4.8 | 含參考圖 | 88.04 | — | — |
AesCode-32B 的視覺項較同條件 Qwen3-VL-32B 基座提升 22.4 分、綜合提升 24.8 分；Table/Chart 項 90.37 領先所有對比模型，Boundary 項 97.27——嚴重邊界失敗僅在 300 個樣本中出現 4.3%，而 GPT-5.5 高達 34.7%。參考圖非必需：在 AesCode-8B 上實測，推理時不提供參考圖僅損失 1.00 視覺分，而 Qwen3-VL-8B 基座損失 19.55 分、GPT-5.5 損失 10.04 分。
產業意涵
- 從像素輸出到代碼輸出：AesCode 代表多模態生成的一條新路線——生成的不再是不可編輯的圖片，而是可直接修改、可程式化校驗的 HTML/CSS，可能改變辦公軟體、設計工具與前端開發的工作流
- 「基座 + 垂直強化」分工模式：以 Qwen 開源基座為底、以垂直任務的 RL 強化建立專長，顯示開源生態中基座模型與垂直微調的分工漸趨成熟
- 未解的天花板：Style 項沒有任何系統突破 60 分——「設計是否無需返工即可交付」仍是全行業未解難題，距離完全取代人工設計尚有距離
- 部署注意：bf16 權重約需 65GB 加速器記憶體、需 transformers ≥ 4.57，官方建議以 vLLM 批量推理；生成的 HTML 可能包含腳本，正式發布前應在隔離環境中審查渲染
本文信息來源：Microsoft（Hugging Face 模型卡）、arXiv:2610.18860、Read AI Time。