--- title: "🧪 322M 打贏 28B？convaiinnovations/laya 自曝比對手快 7.8 倍｜地端 AI 實驗室" description: "這期熱度最高的不是大塊頭模型，而是一顆僅 322M 的決策分類器convaiinnovations/laya，官方 card 自己拿它對比 26 到 28B 等級的對手，宣稱準確率更高、速度快 7.8 倍，等一下告訴你這份自報數據該怎麼看。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-16" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-10-16T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "embeddinggemma2", "UnlimitedOCR", "laya", "RAG", "OCR", "LLM路由"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 322M 打贏 28B？convaiinnovations/laya 自曝比對手快 7.8 倍｜地端 AI 實驗室 ## 開場白 這期熱度最高的不是大塊頭模型，而是一顆僅 322M 的決策分類器convaiinnovations/laya，官方 card 自己拿它對比 26 到 28B 等級的對手，宣稱準確率更高、速度快 7.8 倍，等一下告訴你這份自報數據該怎麼看。同集還有衝上 120 萬次下載、掛了 37 個量化版本的 OCR 模型baidu/Unlimited-OCR，以及能把文字、圖片、音訊塞進同一向量空間的 google/embeddinggemma-2。 ## 本期精選 ### 1. google/embeddinggemma-2：一顆模型通吃文字、圖片、音訊的 RAG 前菜 - **這是什麼**：google/embeddinggemma-2 是 Google 出的多模態 embedding 模型，總參數 740M（文字主幹 270M＋視覺編碼器 170M＋音訊編碼器 300M），授權 Apache-2.0。官方 model card 標示文字（含程式碼）、圖片、影片、音訊都會被映射到同一個 768 維向量空間，不是分開訓練幾顆 embedding 模型。 - **能用在哪些場景**： - 後端工程師想自架公司內部文件搜尋，把 Confluence、Notion 匯出的技術文件、會議記錄切塊後灌進 pgvector 或 Qdrant。官方 card 標示支援 100+ 語言、上下文 8192 tokens，中英混雜的內部文件可以共用同一套索引，不必為中文另外換一顆 embedding。 - 做知識庫的小團隊想用一句話同時搜到簡報截圖和會議錄音，card 寫的是文字、圖片、影片、音訊都映射到同一個 768 維向量空間，不用再維護三套各自獨立的 embedding 服務。 - 向量資料庫帳單或硬體吃緊的情況，card 說支援 Matryoshka（MRL）截斷到 512、256、128 維，截到 256 維品質損失很小，向量儲存成本最多能省到六分之一；另外也能只載入需要的模態（純文字 270M、文字加圖片 440M），適合塞進 side-car 容器或筆電。 - **跑得動嗎**：官方沒有給具體 VRAM 數字，但 model card 強調它「designed to run on consumer hardware such as mobile devices and laptops」。要注意官方明確警告推論要用 bfloat16 或 float32，用 float16 會出現 NaN 或 embedding 品質劣化；頁面目前沒有列出 GGUF 之類的量化版本。 - **本期聲量**：HF 熱度 1005，144.3k 次下載、2.4k 個讚，是本期聲量最高的一顆；同家族另外有 2 個量化／重打包版本。 - **跟同類比**：要先講清楚，card 自報的 MTEB multilingual 61.36、MTEB code 78.68（官方說程式碼任務比前代進步約 14%），以及跨模態的 MIEB 64.64（圖）、MMEB 50.67（影片）、MSEB 69.54（音訊），都只跟「前代 EmbeddingGemma」比較，沒有對照 bge-m3 或 multilingual-e5 這類第三方模型。它的差異點與其說是分數，更像是一顆模型吃四種模態，而且小到能放進筆電。 - **怎麼取得**：README 給的最短路徑是用 sentence-transformers，`SentenceTransformer("google/embeddinggemma-2")` 再 `model.encode(sentences)`；也可以走 transformers 的 `AutoProcessor` 加 `AutoModel.from_pretrained(..., device_map="auto")`。 - **連結**：[https://huggingface.co/google/embeddinggemma-2](https://huggingface.co/google/embeddinggemma-2) ### 2. baidu/Unlimited-OCR：發票合約別再上傳雲端，MIT 授權還自帶 37 個量化版本 - **這是什麼**：baidu/Unlimited-OCR 是百度推出的 OCR 模型，3B 參數、BF16，授權 MIT。README 直接提供 `model.infer()` 處理單張圖片、`model.infer_multi()` 處理多頁文件與 PDF。 - **能用在哪些場景**： - 接外包或做 SaaS 後台的工程師要處理發票、報價單、多頁 PDF 合約，但這些檔案有個資與保密顧慮不能丟雲端，整份文件可以留在自己機器上用 `model.infer_multi()` 解析。 - 想把紙本資料數位化進個人知識庫的人，掃描講義、翻拍白板、書本頁面轉成可搜尋的文字後丟進 Obsidian 或 Notion；官方頁面標示有 37 個量化版本可以搭 Ollama、LM Studio、Jan，不必自己處理 CUDA 環境。 - 原本按頁數付費給雲端 OCR API 的團隊想換成自架，model card 提供 vLLM 的 Docker image（CUDA 13.0 與 12.9 兩種版本）與 SGLang 的啟動方式，可以在內網拉起一個常駐服務替換掉外部計費端點。 - **跑得動嗎**：官方標示需要 NVIDIA GPU，實測環境寫的是 `torch==2.10.0`、`torchvision==0.25.0`、`transformers==4.57.1`，但具體 VRAM 門檻官方沒有標示。模型本身 3B、BF16，另外頁面列出 37 個量化版本可以配 llama.cpp、LM Studio、Jan、Ollama，等於把硬體門檻又往下拉了一截。 - **本期聲量**：HF 熱度 320，1.2M 次下載、4.7k 個讚。 - **跟同類比**：card 自報的是 llamaindex/ParseBench 成績，mean 46.17、Text Content 86.81，但 Text Formatting 只有 0.97，這個數字官方自己就不高，代表純文字抽取和版面格式還原顯然是兩回事，要排版結構的場景得自己驗。PaddleOCR 與 DeepSeek-OCR 只出現在 card 的致謝名單裡，官方沒有給這兩者的正面對照數據；另外這張 card 完全沒標示支援語言，繁體中文與手寫辨識的表現沒辦法從官方文件推斷。 - **怎麼取得**：README 的 transformers 路徑是 `AutoModel.from_pretrained("baidu/Unlimited-OCR")` 並要加 `trust_remote_code=True`，再呼叫 `model.infer()` 或 `model.infer_multi()`；要起服務的話官方也給了 vLLM Docker image 或 SGLang 的 Python server 兩種方式。 - **連結**：[https://huggingface.co/baidu/Unlimited-OCR](https://huggingface.co/baidu/Unlimited-OCR) ### 3. convaiinnovations/laya：沒 GPU 也能跑的工單分流器，自曝比對手快 7.8 倍 - **這是什麼**：convaiinnovations/laya 是一套不生成文字、只回傳機率的語意分類／路由模型，授權 Apache-2.0，有兩個版本，英文版 421M（ModernBERT-large 主幹）與多語版 322M（mmBERT-base 主幹）。 - **能用在哪些場景**： - 自己維運客服或工單系統的工程師要做自動分流，model card 舉的例子是 billing 與 technical support 的 routing、urgency scoring、churn risk，把這顆模型掛在 API 前面判斷工單類別與急迫度，不必每張工單都叫一次大模型。 - 在 LLM 前面做守門或路由，先判斷這個請求該不該送大模型、該送哪一顆；card 強調回傳的是「calibrated probabilities」而且完全不生成文字，所以沒有幻覺問題,也不用寫 JSON parsing 的防呆。 - 手上只有一台沒 GPU 的 VPS，但想要語意分類能力，官方說明提到支援 CPU fallback，並附了 `laya-serve` HTTP server 與 LangChain 整合，可以直接在既有 Python 服務旁邊起一個分類端點。 - **跑得動嗎**：官方沒有給最低硬體門檻，但 model card 的參數與實測表可以引述：英文版 421M（下載約 808MB）、多語版 322M（約 647MB）；benchmark 表標示在 Tesla T4 上單一問題跑 32.8 到 39.5 毫秒，並寫明支援 CPU fallback，另外可選 ONNX Runtime 與 TileLang 的 GPU fast path。 - **本期聲量**：HF 熱度 189，48.9k 次下載、5.6k 個讚。 - **跟同類比**：laya 自己的 card 點名對手 Jev，自報 typed-decisions 準確率 0.766（fine-tuned 版）對 Jev 的 0.727，速度 32.8 毫秒對 236 到 276 毫秒（官方說法是快 7.8 倍），校準度 ECE 0.081 對 Jev 的 0.246，這些都是 laya 單方面自報，不是第三方評測。官方頁面也點出，Cloudflare/clef 的 card 寫測試環境是單張 H200，vllm-sr/d3 的 benchmark 跑在 AMD Instinct MI325X，autotrust/JEV-27B-VL 更直接標示全 256K 上下文需要 80GB 以上顯示記憶體；對照之下 laya 只要幾百 MB，官方說能退回 CPU。另外 card 自己也揭露限制，雖然號稱支援 100+ 語言，但實測是 51 種語言裡有 45 種才達到優於隨機 3 倍的可用標準。 - **怎麼取得**：README 的最短範例是 `from laya import Router`、`router = Router()`、`router.predict(state, questions)`；官方也標示可以直接走 Hugging Face transformers、用 `laya-serve` 起 HTTP server，或透過 LangChain 整合。 - **連結**：[https://huggingface.co/convaiinnovations/laya](https://huggingface.co/convaiinnovations/laya) ## 結尾段落 這期三顆模型剛好對上三種不同的地端焦慮：embeddinggemma-2 解決的是多模態 RAG 要不要分開養幾套服務的問題，Unlimited-OCR 解決的是文件不能上雲的問題，laya 解決的是守門分類不想一直燒大模型 token 的問題。如果只能先選一個動手，laya 的體積與 CPU fallback 應該是門檻最低的起點，但記得它的對比數據都是官方自報，上線前自己拿真實資料再驗一輪比較安心。下集再見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-16) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物週報](https://blog.markkulab.net/category/open-source-weekly): 每週從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動週報](https://blog.markkulab.net/category/sports-weekly): 每週一、三、六以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每週三、五精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。