開場白
2026年11月17日,本期雷達掃到一個 4.4k 下載、Apache-2.0 授權的 4B 參數音訊對音訊模型 Haru-4B,官方 model card 寫著 16GB VRAM 就能跑 BF16、8GB 跑 4-bit GGUF,號稱能把英文會議錄音直接轉中文語音、中間不落文字。等一下還會介紹:下載量 1.8 萬的小型視覺語言模型 Inkling-2-Small,官方說 4-bit GGUF 只佔 3.2GB 記憶體,想在消費級顯卡跑發票判讀的工程師可留意;以及一個 0.5B 參數的 ASR 模型 fluid-speech-pro,官方實測 Intel i7-12700 上 CPU 即時因子 0.25,連 Raspberry Pi 5 都能跑離線逐字稿,CC-BY-4.0 還能隨意商用。
本期精選
1. higurashi-ai/Haru-4B:4B 參數端到端語音轉語音,可商用可微調
- 這是什麼
這是一個 4B 參數的音訊對音訊模型,任務是 Speech-to-Speech,授權 Apache-2.0,可商用、可微調。模型卡附帶 fine-tune script 與資料格式說明,想用 LoRA 訓練特定講者風格(如客服語氣)可直接 fork 實驗。 - 能用在哪些場景
- 獨立開發者想在筆電(16~24GB VRAM)上跑一個離線的「語音轉語音」Demo,例如把英文會議錄音直接轉成中文語音輸出,不經過文字中介。
- 語音助理產品團隊需要在邊緣裝置(Jetson Orin、Mac Studio)部署低延遲的多語言對話入口,模型卡標示支援 streaming inference。
- 研究生想用 LoRA 微調特定講者風格,模型卡附帶 fine-tune script 與資料格式說明,可直接 fork 實驗。
- 跑得動嗎
官方 model card 標示:「可在 16GB VRAM 上跑 BF16、8GB VRAM 跑 4-bit GGUF」;另提供 GGUF 量化檔(Q4_K_M、Q8_0)供 llama.cpp 使用。若手邊只有 8GB 顯示記憶體,官方給的 4-bit GGUF 路徑應該是最省事的切入點。 - 本期聲量
HF 熱度 374,4.4k 次下載,476 個讚。 - 跟同類比
作者在 model card 對比 SeamlessM4T-v2-large(1.2B)與 Whisper + TTS 管線,稱 Haru-4B 在「端到端延遲」與「語氣保留」上更優;此為作者自述,第三方基準尚無獨立複現。 - 怎麼取得
README 給出兩條路徑:①pip install -U transformers accelerate後AutoModelForSpeechSeq2Seq.from_pretrained("higurashi-ai/Haru-4B");② 下載 GGUF 搭配llama.cpp --model haru-4b-q4_k_m.gguf --audio-in mic。 - 連結
https://huggingface.co/higurashi-ai/Haru-4B
2. thinkingmachines/Inkling-2-Small:1.8 萬下載的小型 VLM,4-bit 只要 3.2GB 記憶體
- 這是什麼
小型視覺語言模型,授權 Apache-2.0,支援 1024×1024 解析度、可直接餵入 PDF 渲染圖。模型卡附帶train_lora.py與chat_template範例,可直接套用 Unsloth 流程在自有文件庫(如繁中財報)上微調。 - 能用在哪些場景
- SaaS 後端工程師要在 12GB VRAM 機器上跑「發票/單據自動判讀」服務,模型卡標示支援 1024×1024 解析度、可直接餵入 PDF 渲染圖。
- 邊緣裝置工程師把模型量化成 4-bit GGUF 部署在 Jetson Orin NX(16GB)上,做即時「螢幕內容問答」輔助測試。
- 資料科學家想用 LoRA 在自有文件庫(繁中財報)上微調,模型卡附帶
train_lora.py與chat_template範例,可直接套用 Unsloth 流程。
- 跑得動嗎
官方 model card 寫:「FP16 需 8GB VRAM、8-bit 需 5GB、4-bit GGUF 約 3.2GB 記憶體」;並提供預量化 GGUF(Q4_K_M、Q5_K_M)。這意味著 8GB 顯示記憶體的消費級顯卡跑 8-bit 理論上可行,系統記憶體充足的筆電甚至能靠 4-bit GGUF 跑在 CPU 上。 - 本期聲量
HF 熱度 347,18.4k 次下載,434 個讚。 - 跟同類比
作者在 model card 對比 Qwen2-VL-2B 與 MiniCPM-V-2_6,稱 Inkling-2-Small 在 DocVQA 上高出 3~5 點;為作者自測數據,未見第三方複現報導。 - 怎麼取得
README 指示:from transformers import AutoModelForImageTextToText; model = AutoModelForImageTextToText.from_pretrained("thinkingmachines/Inkling-2-Small", load_in_8bit=True, device_map="auto");或用llama.cpp載入 GGUF。 - 連結
https://huggingface.co/thinkingmachines/Inkling-2-Small
3. FluidVoice-Labs/fluid-speech-pro:0.5B ASR 專注 CPU 推論,Pi 5 也能跑離線逐字稿
- 這是什麼
專注自動語音辨識(ASR)的 0.5B 級模型,授權 CC-BY-4.0 可商用與再散布,無需申請。模型卡提供 ONNX 與 CTranslate2 版本,強調「CPU 即時因子 < 0.3」。 - 能用在哪些場景
- 全端工程師在無 GPU 的 CI/CD 跑「Podcast 逐字稿自動產生」流程,模型卡提供 ONNX 與 CTranslate2 版本,可直接
pip install ctranslate2推論。 - 嵌入式工程師要在 Raspberry Pi 5 / Orange Pi 5 Plus 上跑離線中英混雙語辨識,模型卡給出
int8量化後 40MB 體積、CPU 即時因子 0.25 的數據。 - 隱私敏感團隊(醫療/法律)需在內網伺服器批次轉寫錄音檔,授權 CC-BY-4.0 允許商用與再散布,無需申請。
- 全端工程師在無 GPU 的 CI/CD 跑「Podcast 逐字稿自動產生」流程,模型卡提供 ONNX 與 CTranslate2 版本,可直接
- 跑得動嗎
官方 model card 標示:「FP16 0.5B 約 1GB VRAM;INT8 量化後 CPU 即時因子 0.25(Intel i7-12700)、0.35(Apple M2);ONNX Runtime / CTranslate2 均支援」。沒有獨立顯卡的機器、甚至 Pi 5 級裝置,只要 CPU 效能夠、記憶體裝得下 40MB 模體,理論上都能離線跑。 - 本期聲量
HF 熱度 49,9.1k 次下載,53 個讚。 - 跟同類比
作者在 model card 對比 Whisper-large-v3(1.5B)與 distil-whisper-large-v3(756M),稱 WER 在 CommonVoice zh-TW 測試集上僅差 0.8% 卻快 4 倍;為作者自測,第三方尚無公開複現。 - 怎麼取得
README 給三種方式:①pip install fluid-voice後transcribe("audio.wav");② 下載 ONNX 用onnxruntime-genai;③ 下載 CTranslate2 模型用ctranslate2.Translator("model_ct2")。 - 連結
https://huggingface.co/FluidVoice-Labs/fluid-speech-pro
結尾段落
本期三款模型都踩在「參數量小、量化完備、授權鬆」的交集上:Haru-4B 讓語音轉語音下放到單張消費級顯卡,Inkling-2-Small 把文件理解壓到 3.2GB 記憶體,fluid-speech-pro 更把逐字稿推到無 GPU 的 CI/CD 與 Pi 5 上。手邊有 16GB 以上顯卡想玩即時語音翻譯的,建議先抓 Haru-4B 的 GGUF 試手感;完全沒 GPU 只想產逐字稿的,fluid-speech-pro 的 Python 套件裝起來最省事。下集再見。


























留言