← 返回 AI 資訊

#Byteification

共 1 篇文章

研究突破

Nature 發表「Byteification」研究:讓 LLM 逐位元閱讀,拼字能力躍升而整體效能幾無損失

Allen Institute for AI 與劍橋大學團隊在 Nature 發表研究,提出「Byteification」方法,將既有 LLM(Qwen3、Llama 3、Olmo 3)轉換為逐位元讀取的形式,轉換成本不到一般訓練的 1%,卻讓由後往前拼字等字元級任務大幅改善,且整體基準分數幾乎不減。此成果挑戰「位元級模型必須從零訓練且必然落後」的既有認知。