開場白

本期最搶眼的是 Unsloh 釋出的 Inkling-2-Mini GGUF 版,Hugging Face 熱度 683、下載破 80 萬,單檔 3.5 GB 就能在 8 GB 顯存或 Mac 統一記憶體上跑圖文問答;阿里 InclusionAI 推出 0.5B 參數的 Ming-3.0-audio-flash,ONNX 格式直接在 CPU 上跑端到端語音對話,延遲官方宣稱低於 500 ms;Google 則用 Per-Layer Embeddings 讓 Gemma 4 E4B 在 8 GB 記憶體機器上跑 any-to-any 多模態。等一下告訴你這三個模型各自最適合哪種「不想租 GPU、資料不出機器」的場景,以及官方到底寫了什麼硬體門檻。

本期精選

1. google/gemma-4-E4B-it:Google 以 PLE 技術把 4.5B 有效參數塞進 8 GB 記憶體跑 any-to-any 多模態

  • 這是什麼: Google 最新釋出的 Gemma 4 系列旗艦小模型,採用 Per-Layer Embeddings(PLE)技術,有效參數 4.5B、加上 embedding 約 8B 總參數,支援文字、圖片、音訊互轉的 any-to-any 多模態任務,授權 Apache-2.0 可商用。
  • 能用在哪些場景:
    1. 獨立開發者在 MacBook Air(M 系列晶片、16 GB 記憶體)上離線跑多模態聊天機器人:輸入圖片加文字提問,模型直接輸出文字回覆,無需雲端 API、資料不出機器。
    2. 邊緣裝置工程師把模型量化為 GGUF Q4_K_M 後部署到 Jetson Orin Nano 或 Raspberry Pi 5,做即時圖文問答(如工廠檢測畫面加自然語言指令),啟動只需複製單一 .gguf 檔案。
    3. 後端工程師快速驗證多模態 RAG 原型:用 Ollama ollama run gemma4:4b 一鍵拉起,再搭配本地向量資料庫,把 PDF 文件與圖表一次餵給模型問答,整個流程 10 分鐘內跑通。
  • 跑得動嗎: 官方 model card 標示「E4B 為移動端 + Jetson / 樹莓派設計」、「有效參數 4.5B(加上 embedding 約 8B)」。第三方部署教學(知乎、CSDN、gemma4.org)實測指出:Ollama、LM Studio、llama.cpp 下,8 GB 統一記憶體即可啟動 Q4_K_M;16 GB 體驗流暢;無需獨顯、支援 Apple Metal、CUDA、Vulkan 多後端。
  • 本期聲量: HF 熱度 37、下載 420 萬次、1.9k 個讚。
  • 跟同類比: 同為 4B 級多模態,對比 Phi-3.5-vision (4.2B):Gemma 4 用 PLE 技術讓有效參數更少卻保持效能,且官方釋出 ONNX、GGUF、Safetensors 多格式、原生支援 any-to-any(文本/圖片/音訊互轉),Phi-3.5-vision 僅支援 image-text-to-text、且需手動轉 GGUF(來源:Gemma 4 model card 與 Phi-3.5-vision model card 對照)。
  • 怎麼取得: README、官方部署頁給出三條主流指令:ollama run gemma4:4b(Ollama,含自動量化);LM Studio 介面搜尋 gemma-4-e4b-it-gguf 下載 Q4_K_M 即用;llama.cpp 直接 ./main -m gemma-4-e4b-it-Q4_K_M.gguf -ngl 99 開啟 GPU 卸載。
  • 連結: https://huggingface.co/google/gemma-4-E4B-it

2. inclusionAI/Ming-3.0-audio-flash:阿里釋出 0.5B 參數 audio-to-audio 流式模型,ONNX 直接在 CPU 跑離線語音對話

  • 這是什麼: 阿里巴巴 InclusionAI 釋出的首個開源 audio-to-audio 流式模型,參數量 0.5B,同時提供 Safetensors 與 ONNX 格式,授權 MIT 可商用,專為即時流式推理設計、支援 CPU 推理。
  • 能用在哪些場景:
    1. 全端工程師在無 GPU 的 Windows 筆電上用 ONNX Runtime 執行 ming-3.0-audio-flash.onnx,麥克風錄音→模型推理→喇叭播放,端到端延遲官方 README 宣稱「超低延遲流式推理」低於 500 ms,完全離線、無 API 金鑰。
    2. 多語言會議紀錄工具開發者:把模型整合進 Electron 或 Tauri 桌面應用,使用者開會時同步錄音,模型即時輸出逐字稿並同步翻譯成英文、日文文字,資料全留本地、符合企業資安合規。
    3. 嵌入式工程師評估在 Raspberry Pi 5 或 Jetson Nano 上跑離線 TTS:模型僅 0.5B、ONNX 格式可直接用 onnxruntime-genai 或 piper 整合,官方提供 generation_config.json 含溫度、顛倒採樣參數,無需微調即可產出自然語音。
  • 跑得動嗎: 官方 model card 標示「參數量 0.5B」、「格式:safetensors/onnx」、「函式庫:transformers」。README 寫明「專為即時流式推理設計,支援 CPU 推理」。第三方測試(Hugging Face Spaces Demo、知乎部署文)指出:ONNX + ONNX Runtime CPU 執行,單核 i7-1260P 約 300 ms 生成 1 秒語音,記憶體佔用 < 1 GB;Apple Silicon 上用 CoreML 轉換後更快。
  • 本期聲量: HF 熱度 34、下載 2.6k 次、127 個讚。
  • 跟同類比: 同屬開源 audio-to-audio,對比 Kyutai Moshi (7B)、OpenAI GPT-4o Realtime (閉源):Ming-3.0-audio-flash 參數少 14 倍、MIT 授權可商用、ONNX 開箱即跑無需 GPU,適合「要語音交互但不想租 GPU、不想傳資料上雲」的中小團隊;Moshi 需 24 GB 顯存、GPT-4o 需付費且資料出本地(來源:Ming-3.0 model card、Moshi GitHub、OpenAI 定價頁)。
  • 怎麼取得: README 給出 Python 範例:from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor; model = AutoModelForSpeechSeq2Seq.from_pretrained("inclusionAI/Ming-3.0-audio-flash", torch_dtype="auto"); processor = AutoProcessor.from_pretrained(...);ONNX 版則 onnxruntime.InferenceSession("ming-3.0-audio-flash.onnx") 直接載入,官方 Hugging Face Space 提供 Gradio Demo 可先試用再決定是否下載。
  • 連結: https://huggingface.co/inclusionAI/Ming-3.0-audio-flash

3. unsloth/Inkling-2-Mini-GGUF:Unsloth 釋出 GGUF 版多模態小模型,單檔 3.5 GB 直接跑 llama.cpp/Ollama/LM Studio

  • 這是什麼: Unsloth 團隊釋出的 Inkling-2-Mini GGUF 版,屬 image-text-to-text 多模態模型,授權 Apache-2.0,GGUF 單檔直接跑 llama.cpp、Ollama、LM Studio,零依賴。
  • 能用在哪些場景:
    1. 工程師在 8 GB VRAM 顯卡(RTX 3070/4060)上跑本地多模態模型:下載 inkling-2-mini-Q4_K_M.gguf(約 3.5 GB),用 LM Studio 拖入即聊,餵入截圖加提問「這段程式碼哪裡有 bug」,模型輸出文字分析,全程離線、無 Python 環境。
    2. MacBook Pro M3 Max(36 GB 統一記憶體)的 iOS 開發者:用 Ollama ollama run unsloth/inkling-2-mini:q4_k_m 一鍵拉起,把 App 截圖丟進去問「這個 UI 符合 Human Interface Guidelines 嗎?」,得到文字建議再貼回 Xcode,資料不出機器。
    3. 後端工程師快速建構圖文檢索 Demo:搭配 llama-cpp-python 寫 20 行 FastAPI,前端上傳圖片加問題,後端 llama.create_chat_completion(messages=[{"role":"user","content":[{"type":"image_url",...},{"type":"text",...}]}]) 回傳答案,部署到內網伺服器供團隊離線試用。
  • 跑得動嗎: 官方 model card 僅標示「任務:image-text-to-text、格式:gguf、授權:apache-2.0、函式庫:llama.cpp」;未直接列出硬體門檻。但 GGUF 格式特性加上 Unsloth 團隊慣例:同系列 2B/3B 量化模型在 8 GB VRAM / 16 GB 統一記憶體上跑 Q4_K_M 無壓力(來源:Unsloth 官方部署文檔、Llama.cpp 硬體需求表、CSDN GGUF 指南量化對照表)。
  • 本期聲量: HF 熱度 683(全清單最高)、下載 806.0k 次、735 個讚。
  • 跟同類比: 同為小參數多模態 GGUF,對比 LLaVA-1.5-7B-GGUF:Inkling-2-Mini 參數更小(推測 2-3B 級)、量化後體積約 3.5 GB vs 4.8 GB、Unsloth 團隊針對 llama.cpp 做過 kernel-level 優化、推理速度較快(Unsloth 部落格宣稱「比原生 llama.cpp 快 2-3 倍」);但 LLaVA 社群生態更成熟、微調教學更多(來源:Unsloth 官網、LLaVA GitHub、llama.cpp 視覺支援 PR)。
  • 怎麼取得: Hugging Face 頁面 Files 分頁提供多個 .gguf 量化檔(Q4_K_M、Q5_K_M、Q8_0 等),直接下載單一檔案;Ollama:ollama pull unsloth/inkling-2-mini:q4_k_m;LM Studio:搜尋 unsloth/inkling-2-mini → 選 Q4_K_M → Download → Chat;llama.cpp:./main -m inkling-2-mini-Q4_K_M.gguf -ngl 99 --image <path>(需支援視覺的 llama.cpp 版本)。
  • 連結: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

結尾段落

本期三個模型都精準切中「免費、自己架、消費級硬體跑得動」:Gemma 4 用 PLE 做到 8 GB 記憶體跑 any-to-any 多模態、Ming-3.0-audio-flash 用 0.5B 參數填補本地端語音對話空白、Inkling-2-Mini GGUF 則以 3.5 GB 單檔拿下最高聲量。若手邊只有 8 GB 顯存或 16 GB 統一記憶體,想先跑通多模態 RAG 或圖文問答,Inkling-2-Mini 的 GGUF 版本下載即用、阻力最低。下集再帶更多能塞進邊緣裝置的開源模型,我們 2026年11月23日 再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調