開場白

2026年11月17日,本期雷達掃到一個 4.4k 下載、Apache-2.0 授權的 4B 參數音訊對音訊模型 Haru-4B,官方 model card 寫著 16GB VRAM 就能跑 BF16、8GB 跑 4-bit GGUF,號稱能把英文會議錄音直接轉中文語音、中間不落文字。等一下還會介紹:下載量 1.8 萬的小型視覺語言模型 Inkling-2-Small,官方說 4-bit GGUF 只佔 3.2GB 記憶體,想在消費級顯卡跑發票判讀的工程師可留意;以及一個 0.5B 參數的 ASR 模型 fluid-speech-pro,官方實測 Intel i7-12700 上 CPU 即時因子 0.25,連 Raspberry Pi 5 都能跑離線逐字稿,CC-BY-4.0 還能隨意商用。

本期精選

1. higurashi-ai/Haru-4B:4B 參數端到端語音轉語音,可商用可微調

  • 這是什麼
    這是一個 4B 參數的音訊對音訊模型,任務是 Speech-to-Speech,授權 Apache-2.0,可商用、可微調。模型卡附帶 fine-tune script 與資料格式說明,想用 LoRA 訓練特定講者風格(如客服語氣)可直接 fork 實驗。
  • 能用在哪些場景
    • 獨立開發者想在筆電(16~24GB VRAM)上跑一個離線的「語音轉語音」Demo,例如把英文會議錄音直接轉成中文語音輸出,不經過文字中介。
    • 語音助理產品團隊需要在邊緣裝置(Jetson Orin、Mac Studio)部署低延遲的多語言對話入口,模型卡標示支援 streaming inference。
    • 研究生想用 LoRA 微調特定講者風格,模型卡附帶 fine-tune script 與資料格式說明,可直接 fork 實驗。
  • 跑得動嗎
    官方 model card 標示:「可在 16GB VRAM 上跑 BF16、8GB VRAM 跑 4-bit GGUF」;另提供 GGUF 量化檔(Q4_K_M、Q8_0)供 llama.cpp 使用。若手邊只有 8GB 顯示記憶體,官方給的 4-bit GGUF 路徑應該是最省事的切入點。
  • 本期聲量
    HF 熱度 374,4.4k 次下載,476 個讚。
  • 跟同類比
    作者在 model card 對比 SeamlessM4T-v2-large(1.2B)與 Whisper + TTS 管線,稱 Haru-4B 在「端到端延遲」與「語氣保留」上更優;此為作者自述,第三方基準尚無獨立複現。
  • 怎麼取得
    README 給出兩條路徑:① pip install -U transformers accelerate 後 AutoModelForSpeechSeq2Seq.from_pretrained("higurashi-ai/Haru-4B");② 下載 GGUF 搭配 llama.cpp --model haru-4b-q4_k_m.gguf --audio-in mic。
  • 連結
    https://huggingface.co/higurashi-ai/Haru-4B

2. thinkingmachines/Inkling-2-Small:1.8 萬下載的小型 VLM,4-bit 只要 3.2GB 記憶體

  • 這是什麼
    小型視覺語言模型,授權 Apache-2.0,支援 1024×1024 解析度、可直接餵入 PDF 渲染圖。模型卡附帶 train_lora.py 與 chat_template 範例,可直接套用 Unsloth 流程在自有文件庫(如繁中財報)上微調。
  • 能用在哪些場景
    • SaaS 後端工程師要在 12GB VRAM 機器上跑「發票/單據自動判讀」服務,模型卡標示支援 1024×1024 解析度、可直接餵入 PDF 渲染圖。
    • 邊緣裝置工程師把模型量化成 4-bit GGUF 部署在 Jetson Orin NX(16GB)上,做即時「螢幕內容問答」輔助測試。
    • 資料科學家想用 LoRA 在自有文件庫(繁中財報)上微調,模型卡附帶 train_lora.py 與 chat_template 範例,可直接套用 Unsloth 流程。
  • 跑得動嗎
    官方 model card 寫:「FP16 需 8GB VRAM、8-bit 需 5GB、4-bit GGUF 約 3.2GB 記憶體」;並提供預量化 GGUF(Q4_K_M、Q5_K_M)。這意味著 8GB 顯示記憶體的消費級顯卡跑 8-bit 理論上可行,系統記憶體充足的筆電甚至能靠 4-bit GGUF 跑在 CPU 上。
  • 本期聲量
    HF 熱度 347,18.4k 次下載,434 個讚。
  • 跟同類比
    作者在 model card 對比 Qwen2-VL-2B 與 MiniCPM-V-2_6,稱 Inkling-2-Small 在 DocVQA 上高出 3~5 點;為作者自測數據,未見第三方複現報導。
  • 怎麼取得
    README 指示:from transformers import AutoModelForImageTextToText; model = AutoModelForImageTextToText.from_pretrained("thinkingmachines/Inkling-2-Small", load_in_8bit=True, device_map="auto");或用 llama.cpp 載入 GGUF。
  • 連結
    https://huggingface.co/thinkingmachines/Inkling-2-Small

3. FluidVoice-Labs/fluid-speech-pro:0.5B ASR 專注 CPU 推論,Pi 5 也能跑離線逐字稿

  • 這是什麼
    專注自動語音辨識(ASR)的 0.5B 級模型,授權 CC-BY-4.0 可商用與再散布,無需申請。模型卡提供 ONNX 與 CTranslate2 版本,強調「CPU 即時因子 < 0.3」。
  • 能用在哪些場景
    • 全端工程師在無 GPU 的 CI/CD 跑「Podcast 逐字稿自動產生」流程,模型卡提供 ONNX 與 CTranslate2 版本,可直接 pip install ctranslate2 推論。
    • 嵌入式工程師要在 Raspberry Pi 5 / Orange Pi 5 Plus 上跑離線中英混雙語辨識,模型卡給出 int8 量化後 40MB 體積、CPU 即時因子 0.25 的數據。
    • 隱私敏感團隊(醫療/法律)需在內網伺服器批次轉寫錄音檔,授權 CC-BY-4.0 允許商用與再散布,無需申請。
  • 跑得動嗎
    官方 model card 標示:「FP16 0.5B 約 1GB VRAM;INT8 量化後 CPU 即時因子 0.25(Intel i7-12700)、0.35(Apple M2);ONNX Runtime / CTranslate2 均支援」。沒有獨立顯卡的機器、甚至 Pi 5 級裝置,只要 CPU 效能夠、記憶體裝得下 40MB 模體,理論上都能離線跑。
  • 本期聲量
    HF 熱度 49,9.1k 次下載,53 個讚。
  • 跟同類比
    作者在 model card 對比 Whisper-large-v3(1.5B)與 distil-whisper-large-v3(756M),稱 WER 在 CommonVoice zh-TW 測試集上僅差 0.8% 卻快 4 倍;為作者自測,第三方尚無公開複現。
  • 怎麼取得
    README 給三種方式:① pip install fluid-voice 後 transcribe("audio.wav");② 下載 ONNX 用 onnxruntime-genai;③ 下載 CTranslate2 模型用 ctranslate2.Translator("model_ct2")。
  • 連結
    https://huggingface.co/FluidVoice-Labs/fluid-speech-pro

結尾段落

本期三款模型都踩在「參數量小、量化完備、授權鬆」的交集上:Haru-4B 讓語音轉語音下放到單張消費級顯卡,Inkling-2-Small 把文件理解壓到 3.2GB 記憶體,fluid-speech-pro 更把逐字稿推到無 GPU 的 CI/CD 與 Pi 5 上。手邊有 16GB 以上顯卡想玩即時語音翻譯的,建議先抓 Haru-4B 的 GGUF 試手感;完全沒 GPU 只想產逐字稿的,fluid-speech-pro 的 Python 套件裝起來最省事。下集再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調