本期精選僅有 1.25M 參數、完全免 GPU 就能在 CPU 伺服器上高速處理繁中 OCR 的 indra-ocr,以及能用 8 步快速在 ComfyUI 生成清晰中文字的 Kromoss 繪圖模型。後端工程師想保護客戶隱私,又不想負擔昂貴的雲端 API 費用嗎,等一下告訴你如何用最省資源的架構,在地端建立高吞吐量的文件處理流程。


本期精選

1. datalab-to/indra-ocr:超輕量 CPU 優先、支援繁體中文與 LaTeX 公式轉換的極速 OCR 模型

  • 這是什麼: 這是一個僅有 1.25M 參數的超輕量、CPU 優先(CPU-first)OCR 模型,採用 openrail 授權。它專門針對繁體中文與英文進行優化,能將掃描文件、收據或學術 PDF 快速轉換為 Markdown 或結構化 JSON 格式。
  • 能用在哪些場景:
    • 後端工程師建立全在地端的文件處理流程:當你需要將包含繁中與英文的掃描發票、收據自動辨識並轉換為結構化的 JSON 格式,以徹底保護客戶隱私不外流,這款模型能讓你完全不用擔心資料送上雲端的合規問題。
    • 全端開發者為歷史 PDF 建立全文檢索:如果你要為公司內部龐大的歷史掃描檔建立搜尋索引,但預算有限不想佔用昂貴的 GPU 資源,這款模型可以直接部署在現有的 CPU 伺服器上進行高吞吐量的文字擷取。
    • 研究人員轉換學術論文:手上有許多含有複雜數學公式的論文掃描檔,需要轉成可編輯的 Markdown 格式,你可以利用 --math 參數讓模型自動把公式轉換為精確的 LaTeX 語法。
  • 跑得動嗎: 官方 README 標示為 CPU 優先,模型大小非常迷你,僅約 1.25M 參數,ONNX 管道也只有大約 18 MB。根據官方數據,在 4 核心 vCPU 的 x86 機器上,單頁處理的中位數時間只需要 212 毫秒,如果開啟數學公式模式則為 357 毫秒,完全不需要 GPU 參與。可用格式包含 safetensors 與 onnx。
  • 本期聲量: 目前在 Hugging Face 上的熱度為 255,累積了 3.1k 次下載與 285 個讚。
  • 跟同類比: 根據官方 model card 與第三方評測,在 32 核心 AMD EPYC 伺服器上,其處理速度可達每秒 44 頁,速度高達 Tesseract 5 的 15 倍、PaddleOCR (PP-OCR) 的 10 倍。不過,第三方評測也特別指出,如果遇到太過老舊、模糊的掃描書本,它的辨識錯誤率會有所上升。
  • 怎麼取得: 官方 README 說明,開發者可以直接透過 pip install indra-ocr 進行安裝。在終端機執行 indra-ocr paper.pdf 就能將 Markdown 輸出至標準輸出,或者執行 indra-ocr scan.png --format json 快速取得包含線條、框線與版面區塊的 JSON 格式。
  • 連結: Hugging Face 頁面連結

2. lodestones/Kromoss:支援中英雙語、能用 8 步快速在地端生成清晰中文字的 ComfyUI 繪圖模型

  • 這是什麼: 參數量約 5B,基於 MOSS-Image-Base 的社群全微調版本,採用 apache-2.0 授權。它最大的特色是支援中英文雙語提示詞,並隨附 8 步 DMD/DMD2 蒸餾 LoRA,能大幅縮短地端生成高畫質中文字圖片的時間。
  • 能用在哪些場景:
    • 前端工程師快速生成 UI 示意圖原型:當你在進行網頁原型設計,需要快速產生包含特定中英文排版、結構化佈局(例如白板上的流程圖或看板)的 UI 示意圖,你可以透過 JSON 格式精確控制畫面中物件與文字的擺放位置。
    • 獨立開發者製作在地化產品宣傳插圖:如果你需要為地端專案製作帶有繁體中文手寫字體的宣傳圖,像是畫一張冰箱貼上寫著「記得買牛奶和雞蛋!」的精緻插圖,這款模型能直接幫你把中文字體完美融入圖片中,不需要再手動用 Photoshop 補字。
  • 跑得動嗎: 官方 README 標示模型參數量約為 5B,格式為 safetensors。根據第三方 GPU 評估網站指出,在 FP16 精度下進行單批次推論,預估的峰值顯示記憶體(VRAM)需求約為 11 GB,使用消費級顯示卡如 RTX 4090 24GB 可以輕鬆執行。此外,你也可以將它量化至 INT8(約需 5.5 GB VRAM)或 INT4(約需 2.8 GB VRAM),進一步降低地端顯示記憶體的門檻。
  • 本期聲量: 本期在 Hugging Face 上的熱度為 162,並擁有 5.4k 次下載與 163 個讚。
  • 跟同類比: 官方 model card 標示該模型是 MOSS-Image-Base 的全微調版本。與官方版本的 MOSS-Image-SFT 相比,Kromoss 是一個可以無縫替換的 drop-in 替代品,而且它隨附了 8 步 DMD/DMD2 蒸餾 LoRA,能讓原本需要 50 步的生成流程縮短至 8 步,大幅提升地端推論效率。
  • 怎麼取得: 官方 README 說明,在 ComfyUI 中使用時,需將 kromoss_bf16.safetensors 放入 models/diffusion_models/ 資料夾,並搭配 qwen3.5_9b_bf16.safetensors 文本編碼器與 flux2-vae_small.safetensors VAE。若要啟用 8 步快速生成,可載入 8-steps-dmd-lora.safetensors,並將 KSampler 設定為 euler/simple、8 步、CFG 1。
  • 連結: Hugging Face 頁面連結

結尾段落

從本期的選題可以看出,地端 AI 模型正朝著「極致輕量化」與「高度在地化」兩個方向快速演進。不論是連 GPU 都不用、就能在 CPU 伺服器上高速運作的 indra-ocr,還是能完美生成繁中手寫字的 Kromoss,都展現了開源社群在實用工具上的強大創造力。如果你手邊剛好有文件辨識或 UI 示意圖生成的痛點,這週末不妨就動手把這些模型下載到機器上試試看,我們下期再見!

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調