研究突破
Nature 發表「Byteification」研究:讓 LLM 逐位元閱讀,拼字能力躍升而整體效能幾無損失
Allen Institute for AI 與劍橋大學團隊在 Nature 發表研究,提出「Byteification」方法,將既有 LLM(Qwen3、Llama 3、Olmo 3)轉換為逐位元讀取的形式,轉換成本不到一般訓練的 1%,卻讓由後往前拼字等字元級任務大幅改善,且整體基準分數幾乎不減。此成果挑戰「位元級模型必須從零訓練且必然落後」的既有認知。
Allen Institute for AI 與劍橋大學團隊在 Nature 發表研究,提出「Byteification」方法,將既有 LLM(Qwen3、Llama 3、Olmo 3)轉換為逐位元讀取的形式,轉換成本不到一般訓練的 1%,卻讓由後往前拼字等字元級任務大幅改善,且整體基準分數幾乎不減。此成果挑戰「位元級模型必須從零訓練且必然落後」的既有認知。
Sakana AI 的「AI Scientist」全自動研究系統正式發表於《自然》期刊,證明 AI 可自主構思、實驗並撰寫通過同儕審查的論文,且生成品質隨基礎模型能力提升而展現明確的規模定律。