想在自己的筆電或瀏覽器上跑流暢的英文語音合成嗎?最新開源的 phonon-31m-en 僅有 31M 參數,量化後只要 64.5 MB,官方盲測成績竟然超越了知名模型 Kokoro。本期還會分享能塞進單張顯卡的 28B 思考模型,以及下載量破 78 萬的 ComfyUI 專用影片生成神兵,究竟該怎麼在本地部署,等一下告訴你。


本期精選

1. gradium/phonon-31m-en:極致輕量的 24 kHz 地端語音合成模型

  • 這是什麼: 這是一款採用 Apache 2.0 授權的超輕量文字轉語音(TTS)模型,僅有 31M 參數,專為高效率地端語音生成而設計。
  • 能用在哪些場景:
    • 獨立且隱私的地端智慧家居語音助理:在不聯網的情況下,即時將系統狀態或智慧家居通知轉為流暢的 24 kHz 英文語音,完全不用擔心私密對話被上傳至雲端。
    • 離線遊戲與互動式應用 NPC:利用其流式傳輸(streaming)特性,一邊生成音訊一邊即時播放,徹底消除雲端 API 的網路延遲,讓遊戲內 NPC 的對話反應更加即時、自然。
    • 地端無障礙語音提示:整合至 Home Assistant 或作為相容 OpenAI API 的地端語音伺服器,為視障使用者提供極速、低延遲的螢幕閱讀與無障礙語音提示。
  • 跑得動嗎: 官方 model card 標示,該模型足夠輕量,可直接在瀏覽器分頁、手機或筆記型電腦的 CPU 上運行。8-bit 量化權重檔(model.q8.gguf)僅需 64.5 MB。可用格式包括 gguf 與 safetensors。
  • 本期聲量: 在 Hugging Face 上獲得 112 熱度,目前累積了 39.5k 次下載與 115 個讚。
  • 跟同類比: 根據官方 model card 提供的盲測兩兩對比(Elo)與困難句字錯率(Hard set LLM WER)基準測試,phonon-31m-en 在 Elo 評分(2098 分)與字錯率(1.5%)上,均超越了同類知名開源模型 Kokoro(Elo 2043 分、WER 3.5%)與 Magpie(Elo 1939 分、WER 28%)。
  • 怎麼取得: 官方說明指出,可透過 Python 的 ptts 函式庫載入。先執行 pip install ptts,再使用 tts = ptts.TTS("hf://gradium/phonon-31m-en", lang="en", quant="q8") 進行初始化與語音生成。
  • 連結: Hugging Face 頁面連結

2. KRAFTON/Raon-1-mini-preview:支援超長文本與思考模式的 MoE 推論模型

  • 這是什麼: 這是由 KRAFTON 推出、採用 Apache 2.0 授權的 28.8B 混合專家(MoE)架構模型。雖然參數量達 28.8B,但單個 token 僅需 4.3B 活化參數,並具備極致的 KV Cache 優化。
  • 能用在哪些場景:
    • 本地 Agent 與自動化開發:開發者可在本地使用 Hermes Agent、Pi 或 OpenCode 等 Agent 框架,透過相容 OpenAI 的 API 呼叫 Raon-1 mini 進行複雜的工具調用(Tool Calling)與自動化程式碼編寫。
    • 單卡本地複雜推論:在消費級顯示卡(如單張 RTX 5090)或 Apple Silicon 晶片上,利用其內建的「思考模式(thinking mode)」與高達 262,144 token 的長文本支持,進行本地的複雜數學與科學推論。
    • 超高速推論輸出:搭配官方釋出的 DFlash2 輕量草稿模型(draft model)進行投機解碼(Speculative Decoding),在本地 GPU 上實現高達 2 倍以上的超高速推論輸出。
  • 跑得動嗎: 官方 README 標示,其混合專家架構中僅有 7 層 MLA 層保留 KV Cache(在 BF16 精度下,每 token 僅需約 8 KiB)。官方提供 MXFP8 與 NVFP4 量化版本,其中 NVFP4 版本允許在單張 NVIDIA RTX 5090(32 GB VRAM)上進行推論。同時也提供 GGUF(Q4_K_M)與 MLX 版本,對 llama.cpp 與 MLX 有原生支援。
  • 本期聲量: 在 Hugging Face 上獲得 185 熱度,目前有 1.4k 次下載與 200 個讚。
  • 跟同類比: 根據官方 README 測試,在 MoE 基準模型對比中(包含 Qwen3.6-35B-A3B 與 Gemma 4 26B-A4B),Raon-1 mini preview 在 MMLU Pro(76.5)、GPQA Diamond(84.3)及 IFBench(84.2)等知識與推論測試中均取得了最佳成績。
  • 怎麼取得: 官方說明指出,該模型庫目前為 gated 狀態,需先在 Hugging Face 頁面申請自動授權,再使用 llama.cpp 執行:./build/bin/llama-cli -hf KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M --ctx-size 262144 --reasoning on。
  • 連結: Hugging Face 頁面連結

3. WarmBloodAban/Minimax-h3_Singularity:極致流暢的 ComfyUI 專用影片生成微調模型

  • 這是什麼: 這是一款基於 MiniMax-H3 基礎模型進行微調與融合的 ComfyUI 專用影片生成模型,採用 Apache 2.0 授權,專為熱愛自架地端創作的工程師設計。
  • 能用在哪些場景:
    • 高動態戰鬥影片生成:創作者在本地 ComfyUI 中,利用 Image-to-Video(I2V)工作流,將靜態的高動態範圍(HDR)圖片轉化為流暢、無運動模糊的高速武打或刀劍戰鬥影片。
    • 中遠景鏡頭面部修復:影片後製人員在進行中遠景鏡頭生成時,利用其「遠景面部修復(Distant Face Restoration)」特性,避免生成影片中的角色面部出現扭曲或結構崩塌。
    • 遊戲美術動態素材:遊戲美術設計師利用其對奇幻特效(VFX)的優化,在本地快速生成帶有魔法光環、粒子特效或法術釋放的動態素材。
  • 跑得動嗎: 官方釋出了 V2 INT8 量化版本。為了實現高速生成,官方推薦搭配使用 minimax_h3_ref2v_turbo_4step_v0.1 加速 LoRA,即可實現僅需 4 步(4-step)的快速推論。
  • 本期聲量: 在 Hugging Face 上獲得 127 熱度,累積了高達 783.2k 次下載與 916 個讚,深受社群創作者喜愛。
  • 跟同類比: 根據作者在 model card 中的說明,該模型是基於 MiniMax-H3 基礎模型,融合了 ref、fl、b25-49 等多個關鍵微調節點,並經過 3 整天的精準剪枝與權重優化。相比原版 MiniMax-H3,它大幅減少了皮膚過度油亮與不自然的光澤,且修復了 V1 版本中音訊參考制約(Audio Reference Conditioning)失效的問題。
  • 怎麼取得: 官方說明指出,下載權重後可直接放入 ComfyUI 的對應模型資料夾中,並支援 Text-to-Video、Image-to-Video、Reference-to-Video 及 Video-to-Video 等多種工作流。
  • 連結: Hugging Face 頁面連結

結尾段落

從今天介紹的模型來看,地端 AI 的趨勢已經朝向極致的輕量化與專用化發展,不論是 64MB 就能跑的語音合成,還是優化到極致、能塞進單卡的 28B 思考模型,都讓地端部署變得更加親民。如果你手邊有閒置的硬體,不妨先從最不佔空間的 phonon-31m-en 開始玩起,我們下集再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調