本期精選僅有 1.25M 參數、完全免 GPU 就能在 CPU 伺服器上高速處理繁中 OCR 的 indra-ocr,以及能用 8 步快速在 ComfyUI 生成清晰中文字的 Kromoss 繪圖模型。後端工程師想保護客戶隱私,又不想負擔昂貴的雲端 API 費用嗎,等一下告訴你如何用最省資源的架構,在地端建立高吞吐量的文件處理流程。
本期精選
1. datalab-to/indra-ocr:超輕量 CPU 優先、支援繁體中文與 LaTeX 公式轉換的極速 OCR 模型
- 這是什麼: 這是一個僅有 1.25M 參數的超輕量、CPU 優先(CPU-first)OCR 模型,採用 openrail 授權。它專門針對繁體中文與英文進行優化,能將掃描文件、收據或學術 PDF 快速轉換為 Markdown 或結構化 JSON 格式。
- 能用在哪些場景:
- 後端工程師建立全在地端的文件處理流程:當你需要將包含繁中與英文的掃描發票、收據自動辨識並轉換為結構化的 JSON 格式,以徹底保護客戶隱私不外流,這款模型能讓你完全不用擔心資料送上雲端的合規問題。
- 全端開發者為歷史 PDF 建立全文檢索:如果你要為公司內部龐大的歷史掃描檔建立搜尋索引,但預算有限不想佔用昂貴的 GPU 資源,這款模型可以直接部署在現有的 CPU 伺服器上進行高吞吐量的文字擷取。
- 研究人員轉換學術論文:手上有許多含有複雜數學公式的論文掃描檔,需要轉成可編輯的 Markdown 格式,你可以利用
--math參數讓模型自動把公式轉換為精確的 LaTeX 語法。
- 跑得動嗎: 官方 README 標示為 CPU 優先,模型大小非常迷你,僅約 1.25M 參數,ONNX 管道也只有大約 18 MB。根據官方數據,在 4 核心 vCPU 的 x86 機器上,單頁處理的中位數時間只需要 212 毫秒,如果開啟數學公式模式則為 357 毫秒,完全不需要 GPU 參與。可用格式包含 safetensors 與 onnx。
- 本期聲量: 目前在 Hugging Face 上的熱度為 255,累積了 3.1k 次下載與 285 個讚。
- 跟同類比: 根據官方 model card 與第三方評測,在 32 核心 AMD EPYC 伺服器上,其處理速度可達每秒 44 頁,速度高達 Tesseract 5 的 15 倍、PaddleOCR (PP-OCR) 的 10 倍。不過,第三方評測也特別指出,如果遇到太過老舊、模糊的掃描書本,它的辨識錯誤率會有所上升。
- 怎麼取得: 官方 README 說明,開發者可以直接透過
pip install indra-ocr進行安裝。在終端機執行indra-ocr paper.pdf就能將 Markdown 輸出至標準輸出,或者執行indra-ocr scan.png --format json快速取得包含線條、框線與版面區塊的 JSON 格式。 - 連結: Hugging Face 頁面連結
2. lodestones/Kromoss:支援中英雙語、能用 8 步快速在地端生成清晰中文字的 ComfyUI 繪圖模型
- 這是什麼: 參數量約 5B,基於 MOSS-Image-Base 的社群全微調版本,採用 apache-2.0 授權。它最大的特色是支援中英文雙語提示詞,並隨附 8 步 DMD/DMD2 蒸餾 LoRA,能大幅縮短地端生成高畫質中文字圖片的時間。
- 能用在哪些場景:
- 前端工程師快速生成 UI 示意圖原型:當你在進行網頁原型設計,需要快速產生包含特定中英文排版、結構化佈局(例如白板上的流程圖或看板)的 UI 示意圖,你可以透過 JSON 格式精確控制畫面中物件與文字的擺放位置。
- 獨立開發者製作在地化產品宣傳插圖:如果你需要為地端專案製作帶有繁體中文手寫字體的宣傳圖,像是畫一張冰箱貼上寫著「記得買牛奶和雞蛋!」的精緻插圖,這款模型能直接幫你把中文字體完美融入圖片中,不需要再手動用 Photoshop 補字。
- 跑得動嗎: 官方 README 標示模型參數量約為 5B,格式為 safetensors。根據第三方 GPU 評估網站指出,在 FP16 精度下進行單批次推論,預估的峰值顯示記憶體(VRAM)需求約為 11 GB,使用消費級顯示卡如 RTX 4090 24GB 可以輕鬆執行。此外,你也可以將它量化至 INT8(約需 5.5 GB VRAM)或 INT4(約需 2.8 GB VRAM),進一步降低地端顯示記憶體的門檻。
- 本期聲量: 本期在 Hugging Face 上的熱度為 162,並擁有 5.4k 次下載與 163 個讚。
- 跟同類比: 官方 model card 標示該模型是 MOSS-Image-Base 的全微調版本。與官方版本的 MOSS-Image-SFT 相比,Kromoss 是一個可以無縫替換的 drop-in 替代品,而且它隨附了 8 步 DMD/DMD2 蒸餾 LoRA,能讓原本需要 50 步的生成流程縮短至 8 步,大幅提升地端推論效率。
- 怎麼取得: 官方 README 說明,在 ComfyUI 中使用時,需將
kromoss_bf16.safetensors放入models/diffusion_models/資料夾,並搭配qwen3.5_9b_bf16.safetensors文本編碼器與flux2-vae_small.safetensorsVAE。若要啟用 8 步快速生成,可載入8-steps-dmd-lora.safetensors,並將 KSampler 設定為 euler/simple、8 步、CFG 1。 - 連結: Hugging Face 頁面連結
結尾段落
從本期的選題可以看出,地端 AI 模型正朝著「極致輕量化」與「高度在地化」兩個方向快速演進。不論是連 GPU 都不用、就能在 CPU 伺服器上高速運作的 indra-ocr,還是能完美生成繁中手寫字的 Kromoss,都展現了開源社群在實用工具上的強大創造力。如果你手邊剛好有文件辨識或 UI 示意圖生成的痛點,這週末不妨就動手把這些模型下載到機器上試試看,我們下期再見!


























留言