大型語言模型的字元級能力長期是一塊明顯短板：一個能寫出關於某單字整篇論述的模型，卻可能無法把那單字從後往前拼出來。原因在於主流 LLM「閱讀」文字時，會先由分詞器（tokenizer）把文字切成整詞或詞片段的 token，從未真正看見個別字母。一篇由 Allen Institute for AI、劍橋大學、LMU 慕尼黑、華盛頓大學與倫敦帝國理工合作、發表於 《Nature》 的新研究，提出無需從零訓練、成本極低的Byteification 轉換方法，讓既有模型改以原始位元（byte）讀取文字，在補上字元級短板之餘幾乎不犧牲原有能力。
方法：轉換而非重建
過去若要模型逐位元（byte-level）讀取，必須從零訓練，而這類模型往往落在主流模型之後——這正是位元級讀取難以普及的主因。本研究團隊沒有重新打造模型，而是保留已訓練模型的核心，只新增較小的元件來讀取位元並重新組合成核心可處理的區塊，將其稱為 byteification。
整個過程分兩階段：第一階段只訓練新增元件，使其行為與原模型完全一致；第二階段再全模型微調，讓模型學會利用字母層級細節。全部只用約 490 億 token，不到一款同級模型從零訓練所需資料的 1%。
研究團隊以此法轉換了三款開源模型，並命名為：
| 原始模型 | 轉換後 |
|---|---|
| Qwen3 | Bwen |
| Llama 3 | Blama |
| Olmo 3 | Bolmo |
結果：急筆補強、無損整體
- 字元級能力：在「由後往前拼字」等需要字元級處理的任務上，大幅改善。主要研究人員 Hofmann 指出：「傳統 LLM 在這類任務表現欠佳，而我們的 byteified 模型有本質上更好的表現。」此提升部分來自約 7,500 萬 token、僅佔訓練資料 0.04% 的字母任務練習。
- 整體能力幾無損失：在涵蓋科學、數學、編碼、閱讀與常識的測試集上，轉換版與原版幾乎持平——Bolmo 平均 62.5（原 Olmo 3 為 62.3）、Bwen 69.8（原 Qwen3 為 70.3）。
- 碾壓同級位元模型：在 STEM 題目上，Bolmo 比一款同尺寸、從零訓練的位元模型高出 16.5 分；在這些測試中 Bolmo 78.1（原 54.3）、Blama 81.0（原 57.2）——顯示從零訓練的劣勢可被 byteification 完全繞過。
為何重要
這項研究最直接的價值，是提出一條低成本、可複製的改良路徑：團隊已開源所有模型、程式碼與訓練資料，其他團隊可立即在其自有模型上複驗並推廣。
更深一層的含義與 tokenization 的未來有關。近年多個研究團隊主張 tokenizer「最難設計、最難逆轉、也不該存在」，但那場（byte-level）轉型的成本瓶頸是實際障礙。Byteification 以 不到 1% 的訓練成本 證明：位元級讀取不必付出「能力倒退」的代價，這讓「移除 tokenizer」從理論主張靠近了工程可行。
需要注意的限制
- 規模未驗證：此效果能否推到遠大於 8B 參數的模型仍是未知數。
- 語言未驗證：位元級讀取對中英文以外的語言的潛在助益，研究僅列為假設中的好處，尚未實驗證實。
- 單一方向：提升集中於字元級任務，對一般推理與編碼任務的邊際影響有限。
對研究開發者而言，Byteification 提供一個務實的觀測點：tokenizer 的取捨不再是「逐位元就必須從零開始」的二選一。而對香港開發者，一個淺白的啟示是——模型「識字」的方式決定其能力的邊界，而這條邊界正在被用更便宜的方式重新劃定。
本文信息來源：Nature（DOI 10.1038/s41586-026-11111-4）、Earth.com 報導。