開場白

本週最搶眼的是 NousResearch 釋出的 Arete-27B，Apache-2.0 授權、一週 4.7k 次下載，官方說 24GB 顯存就能跑 BF16、12GB 跑 4-bit GGUF。還有 Zyphra 的 ZONOS3-Mini，0.5B 體積卻能在 4GB 顯存甚至 CPU 上離線合成中英雙語語音，以及淘寶 MNN 團隊壓到 0.3B、150MB 就能塞進手機 App 的 MNN-Pocket。等一下告訴你這三款模型各自適合什麼場景、怎麼下載、跟同類比起來差在哪。

本期精選

1. NousResearch/Arete-27B：可商用、長上下文的 27B 旗艦模型

• 這是什麼: NousResearch 最新推出的 27B 參數通用大語言模型，延續 Hermes 3 訓練配方、資料混合更偏向程式碼與推理，採 Apache-2.0 授權，可直接用於閉源商業產品。
• 能用在哪些場景:
  • 獨立開發者手上有一張 24GB 顯卡，想離線跑一個無審查的聊天或寫代碼模型，直接用 llama.cpp 或 Ollama 載入 GGUF 即可。
  • 創業團隊需要可商業化部署的基座模型，拿來做 RAG 客服或程式碼生成微調，授權允許閉源產品內嵌。
  • 研究者想比較 Hermes、Nemotron 等同級 27B 模型在同一套評測集上的表現，權重開放可直接下載跑評測腳本。
• 跑得動嗎: 官方 model card 標示：提供 BF16、FP8、GGUF (Q4_K_M 等量化)；README 建議 24GB VRAM 跑 BF16、12-16GB 跑 4-bit GGUF、8GB 以上跑 3-bit/2-bit。
• 本期聲量: HF 熱度 448（4.7k 次下載、477 個讚）。
• 跟同類比: 作者在 model card 寫明「延續 Hermes 3 訓練配方、資料混合更偏向代碼與推理」；社群在 Reddit r/LocalLLaMA 討論串指出其長文本連貫度優於同參數量的 Qwen2.5-27B-Instruct（網友基準測試，非官方數據）。
• 怎麼取得: README 給出 llama.cpp 單行指令：llama-cli -m Arete-27B-Q4_K_M.gguf -c 32768 -p "..."，並提供 Ollama tag：ollama run hf.co/NousResearch/Arete-27B-GGUF:Q4_K_M。
• 連結: https://huggingface.co/NousResearch/Arete-27B

2. Zyphra/ZONOS3-Mini：能跑在 4GB 顯存甚至 CPU 的開源 TTS 模型

• 這是什麼: Zyphra 釋出的 0.5B 參數文字轉語音模型，支援中英雙語，採 Apache-2.0 授權，提供 GGUF (Q4_K_M 約 1.2GB) 與 safetensors 格式，極少見能在消費級硬體甚至 CPU 純離線推論的 TTS 模型。
• 能用在哪些場景:
  • 個人開發者做離線語音助手，只有一張 8GB 顯卡或 Mac M 系列晶片，想把文字轉語音完全在本地跑、不經雲端 API。
  • 無障礙工具作者把 Zonos3-mini 封裝成 CLI，讓視障使用者把 EPUB、網頁文章即時朗讀，部署在 Raspberry Pi 5 + 8GB RAM 上。
  • 遊戲 Mod 製作者需為 NPC 生成大量台詞語音，預算有限無法付費 TTS API，改用本模型批次離線合成再打包進遊戲。
• 跑得動嗎: 官方 model card 標示：提供 GGUF (Q4_K_M 約 1.2GB) 與 safetensors；README 寫「可在 4GB VRAM 或 8GB 系統記憶體上以 llama.cpp 推理」，並給出 CPU-only 執行範例。
• 本期聲量: HF 熱度 195（8.5k 次下載、223 個讚）。
• 跟同類比: 作者在 model card 對比表列出：參數量僅 0.5B、RTF (Real-Time Factor) 0.15 on CPU、支援中英雙語；社群在 Hugging Face 討論區回報語音自然度接近 Kokoro-82M 但模型更小（網友主觀評價，非官方基準）。
• 怎麼取得: README 指令：llama-cli -m zonos3-mini-Q4_K_M.gguf --tts -f input.txt -o output.wav，並提供 Python zonos 套件 pip install zonos 直接 from zonos import TTS; tts = TTS.from_pretrained("Zyphra/ZONOS3-Mini")。
• 連結: https://huggingface.co/Zyphra/ZONOS3-Mini

3. taobao-mnn/MNN-Pocket-0.3B：150MB 就能塞進手機 App 的極致小模型

• 這是什麼: 淘寶 MNN 團隊釋出的 0.3B 參數模型，經 int4 量化後權重約 150MB，專為 MNN 推理引擎優化，採 Apache-2.0 授權，主打在手機、嵌入式裝置上離線跑完整 LLM 推理流程。
• 能用在哪些場景:
  • Android、iOS App 開發者想在 App 內內建離線聊天、摘要功能，不想增加體積，直接把 0.3B int4 權重打包進 APK、IPA，用 MNN C++ API 推理。
  • 物聯網工程師在 ESP32-S3、Raspberry Pi Zero 2 W 上跑關鍵字喚醒後的指令理解，模型只佔幾 MB RAM、推理延遲 <200ms。
  • 教學示範：把完整 LLM 推理流程 (tokenize → embedding → transformer → sample) 在筆電 CPU 上跑通，適合課堂或內部分享展示端側 AI 全流程。
• 跑得動嗎: 官方 model card 標示：int4 量化權重約 150MB，README 寫「MNN backend 支援 ARM CPU、Qualcomm DSP、Apple Neural Engine」；作者在說明裡提到「在 Snapdragon 8 Gen 3 上單thread 推理 ~15 tokens/s」。
• 本期聲量: HF 熱度 131（3.4k 次下載、197 個讚）。
• 跟同類比: 作者對比同級模型：比 SmolLM-360M 參數少但 MNN 優化後延遲更低；比 Gemma-2B-int4 體積小 10 倍，犧牲部分推理能力換取極致部署靈活性（model card 作者自述）。
• 怎麼取得: 頁面給出 MNN C++ 範例：MNN::Interpreter::createFromFile("mnn-pocket-0.3b-int4.mnn") → session->run()，並提供 Python 轉換腳本 python convert.py --model taobao-mnn/MNN-Pocket-0.3B --output mnn-pocket-0.3b-int4.mnn。
• 連結: https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B

結尾段落

本期三款模型都走「極致部署友善」路線：Arete-27B 讓 24GB 顯卡也能跑旗艦級 27B，ZONOS3-Mini 把 TTS 門檻壓到 4GB 顯存甚至 CPU，MNN-Pocket-0.3B 則把 LLM 縮小到 150MB 直接塞進手機 App。三者皆為 Apache-2.0、皆提供 GGUF 或原生量化格式、皆在 model card 寫明具體硬體門檻，這樣「下載即用、授權無憂」的開源模型，最值得手邊有專案、想快速驗證可行性的工程師先動手嘗試。下集再見。