模型發布

騰訊開放 WeVisOne-VL:單一 2B/4B 模型包辦偵測、OCR、分割與摳圖,取代整條視覺工具鏈

騰訊微信視覺團隊發布開放權重視覺語言模型 WeVisOne-VL(2B/4B 兩尺寸),用一個模型統一偵測、指稱、計數、OCR、分割與 alpha matting,並以 960 萬參數的像素解碼器直接輸出像素級結果、無需外掛 SAM。團隊自我評測於 30+ 基準多數超越同規模模型,亮點如 Dense200 密集偵測 F1 達 71.3。

騰訊微信視覺團隊於 11 月 3 日發布 WeVisOne-VL(WeChat Vision All-in-One),一款開放權重的視覺語言模型(VLM),提供 2B(2.44B)與 4B(4.83B)兩種尺寸,最大特點是以一個模型同時處理偵測、指稱(referring)、計數、指向(pointing)、OCR、分割與 alpha matting。

運作方式

  • 統一輸出粒徑:使用者可選擇點、框、二值遮罩或連續 alpha matte 作為輸出格式;所有任務皆以結構化的 next-token 預測實現,座標以 <0>–<1000> token 表示標準化位置。
  • 「無此物件」處理:查詢目標不存在時模型輸出 None 而非硬猜一個框,降低誤檢。
  • 像素任務免外掛 SAM:模型在每個預測框後輸出專用 token,其隱藏狀態送入一個僅 960 萬參數的像素解碼器,直接產生全解析度遮罩或摳圖 —— 無需另掛 SAM 分割模型。

訓練方面,團隊以知識圖譜驅動的數據引擎標註了逾 1 億張影像、約 36 億個框(以 SAM3、Rex-Omni 等提議區域、再由 Qwen3-VL 驗證),經三階段 SFT(格式對齊 → 提升至 1,960 visual tokens 與每回應 500 框 → 像素解碼器與摳圖特化)與一輪 GRPO 強化。模型基於 Qwen3-VL 建構。

效能與部署

  • 團隊自我評測於 30+ 基準多數超越同規模 VLM;亮點如 Dense200 密集偵測 F1 71.3,對比 LocateAnything-3B 的 58.7。
  • 弱項:PR-Bench 上缺目標查詢的拒答率僅 52.6%,即仍有近半的空目標查詢被誤給框。
  • 硬體親和:透過 Transformers 或 vLLM 以 BF16 單 GPU 即可運行,套件亦列出 NPU 與 CPU 裝置;社群 GGUF 版本據報能在 6GB 記憶體的 RTX 2060 上跑物件級任務。

為何重要

對開發者與企業而言,WeVisOne-VL 的價值在簡化視覺工具鏈:過去一套「偵測器 + OCR 引擎 + 分割器」的組合,如今可用一個開放模型取代,且能直接在自家 GPU 自託管,不必依賴雲端 API。對處理合約、掃描文件、電商圖片、設計素材等「定位密集型」任務的香港技術團隊,這代表更低的整合成本與更好的資料主權。

同時,它以 2B/4B 的輕量尺寸在像素級任務上對齊或超越前一代 3B 專用模型,顯示通用 VLM 對「精細定位」的專用化正快速收窄——未來單一開放模型承接整條視覺管線將變得越發主流。

需要注意的局限

  • 基準皆為廠商自報:分數出自騰訊自家測試表,需社群獨立複測確認。
  • 拒答率偏低:52.6% 的 PR-Bench 拒答率說明「空目標」情境仍易誤檢,高精度應用需搭配後端規則過濾。
  • 上下文長度受限:訓練上限 8,192 tokens,不適合需要長文脈視覺理解的場景。

綜合來看,WeVisOne-VL 是輕量、開放、可自託管的定位/OCR/分割一體模型,適合偵測、文件數位化與影像整合需求明確、希望擺脫多套商用視覺 SDK 依賴的團隊先行評估。


本文信息來源:騰訊微信視覺團隊(Hugging Face 模型卡)、MarkTechPost。

返回 AI 資訊