開場白
本期最搶眼的是 Unsloh 釋出的 Inkling-2-Mini GGUF 版,Hugging Face 熱度 683、下載破 80 萬,單檔 3.5 GB 就能在 8 GB 顯存或 Mac 統一記憶體上跑圖文問答;阿里 InclusionAI 推出 0.5B 參數的 Ming-3.0-audio-flash,ONNX 格式直接在 CPU 上跑端到端語音對話,延遲官方宣稱低於 500 ms;Google 則用 Per-Layer Embeddings 讓 Gemma 4 E4B 在 8 GB 記憶體機器上跑 any-to-any 多模態。等一下告訴你這三個模型各自最適合哪種「不想租 GPU、資料不出機器」的場景,以及官方到底寫了什麼硬體門檻。
本期精選
1. google/gemma-4-E4B-it:Google 以 PLE 技術把 4.5B 有效參數塞進 8 GB 記憶體跑 any-to-any 多模態
- 這是什麼: Google 最新釋出的 Gemma 4 系列旗艦小模型,採用 Per-Layer Embeddings(PLE)技術,有效參數 4.5B、加上 embedding 約 8B 總參數,支援文字、圖片、音訊互轉的 any-to-any 多模態任務,授權 Apache-2.0 可商用。
- 能用在哪些場景:
- 獨立開發者在 MacBook Air(M 系列晶片、16 GB 記憶體)上離線跑多模態聊天機器人:輸入圖片加文字提問,模型直接輸出文字回覆,無需雲端 API、資料不出機器。
- 邊緣裝置工程師把模型量化為 GGUF Q4_K_M 後部署到 Jetson Orin Nano 或 Raspberry Pi 5,做即時圖文問答(如工廠檢測畫面加自然語言指令),啟動只需複製單一 .gguf 檔案。
- 後端工程師快速驗證多模態 RAG 原型:用 Ollama
ollama run gemma4:4b一鍵拉起,再搭配本地向量資料庫,把 PDF 文件與圖表一次餵給模型問答,整個流程 10 分鐘內跑通。
- 跑得動嗎: 官方 model card 標示「E4B 為移動端 + Jetson / 樹莓派設計」、「有效參數 4.5B(加上 embedding 約 8B)」。第三方部署教學(知乎、CSDN、gemma4.org)實測指出:Ollama、LM Studio、llama.cpp 下,8 GB 統一記憶體即可啟動 Q4_K_M;16 GB 體驗流暢;無需獨顯、支援 Apple Metal、CUDA、Vulkan 多後端。
- 本期聲量: HF 熱度 37、下載 420 萬次、1.9k 個讚。
- 跟同類比: 同為 4B 級多模態,對比 Phi-3.5-vision (4.2B):Gemma 4 用 PLE 技術讓有效參數更少卻保持效能,且官方釋出 ONNX、GGUF、Safetensors 多格式、原生支援 any-to-any(文本/圖片/音訊互轉),Phi-3.5-vision 僅支援 image-text-to-text、且需手動轉 GGUF(來源:Gemma 4 model card 與 Phi-3.5-vision model card 對照)。
- 怎麼取得: README、官方部署頁給出三條主流指令:
ollama run gemma4:4b(Ollama,含自動量化);LM Studio 介面搜尋gemma-4-e4b-it-gguf下載 Q4_K_M 即用;llama.cpp直接./main -m gemma-4-e4b-it-Q4_K_M.gguf -ngl 99開啟 GPU 卸載。 - 連結: https://huggingface.co/google/gemma-4-E4B-it
2. inclusionAI/Ming-3.0-audio-flash:阿里釋出 0.5B 參數 audio-to-audio 流式模型,ONNX 直接在 CPU 跑離線語音對話
- 這是什麼: 阿里巴巴 InclusionAI 釋出的首個開源 audio-to-audio 流式模型,參數量 0.5B,同時提供 Safetensors 與 ONNX 格式,授權 MIT 可商用,專為即時流式推理設計、支援 CPU 推理。
- 能用在哪些場景:
- 全端工程師在無 GPU 的 Windows 筆電上用 ONNX Runtime 執行
ming-3.0-audio-flash.onnx,麥克風錄音→模型推理→喇叭播放,端到端延遲官方 README 宣稱「超低延遲流式推理」低於 500 ms,完全離線、無 API 金鑰。 - 多語言會議紀錄工具開發者:把模型整合進 Electron 或 Tauri 桌面應用,使用者開會時同步錄音,模型即時輸出逐字稿並同步翻譯成英文、日文文字,資料全留本地、符合企業資安合規。
- 嵌入式工程師評估在 Raspberry Pi 5 或 Jetson Nano 上跑離線 TTS:模型僅 0.5B、ONNX 格式可直接用
onnxruntime-genai或piper整合,官方提供generation_config.json含溫度、顛倒採樣參數,無需微調即可產出自然語音。
- 全端工程師在無 GPU 的 Windows 筆電上用 ONNX Runtime 執行
- 跑得動嗎: 官方 model card 標示「參數量 0.5B」、「格式:safetensors/onnx」、「函式庫:transformers」。README 寫明「專為即時流式推理設計,支援 CPU 推理」。第三方測試(Hugging Face Spaces Demo、知乎部署文)指出:ONNX + ONNX Runtime CPU 執行,單核 i7-1260P 約 300 ms 生成 1 秒語音,記憶體佔用 < 1 GB;Apple Silicon 上用 CoreML 轉換後更快。
- 本期聲量: HF 熱度 34、下載 2.6k 次、127 個讚。
- 跟同類比: 同屬開源 audio-to-audio,對比 Kyutai Moshi (7B)、OpenAI GPT-4o Realtime (閉源):Ming-3.0-audio-flash 參數少 14 倍、MIT 授權可商用、ONNX 開箱即跑無需 GPU,適合「要語音交互但不想租 GPU、不想傳資料上雲」的中小團隊;Moshi 需 24 GB 顯存、GPT-4o 需付費且資料出本地(來源:Ming-3.0 model card、Moshi GitHub、OpenAI 定價頁)。
- 怎麼取得: README 給出 Python 範例:
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor; model = AutoModelForSpeechSeq2Seq.from_pretrained("inclusionAI/Ming-3.0-audio-flash", torch_dtype="auto"); processor = AutoProcessor.from_pretrained(...);ONNX 版則onnxruntime.InferenceSession("ming-3.0-audio-flash.onnx")直接載入,官方 Hugging Face Space 提供 Gradio Demo 可先試用再決定是否下載。 - 連結: https://huggingface.co/inclusionAI/Ming-3.0-audio-flash
3. unsloth/Inkling-2-Mini-GGUF:Unsloth 釋出 GGUF 版多模態小模型,單檔 3.5 GB 直接跑 llama.cpp/Ollama/LM Studio
- 這是什麼: Unsloth 團隊釋出的 Inkling-2-Mini GGUF 版,屬 image-text-to-text 多模態模型,授權 Apache-2.0,GGUF 單檔直接跑 llama.cpp、Ollama、LM Studio,零依賴。
- 能用在哪些場景:
- 工程師在 8 GB VRAM 顯卡(RTX 3070/4060)上跑本地多模態模型:下載
inkling-2-mini-Q4_K_M.gguf(約 3.5 GB),用 LM Studio 拖入即聊,餵入截圖加提問「這段程式碼哪裡有 bug」,模型輸出文字分析,全程離線、無 Python 環境。 - MacBook Pro M3 Max(36 GB 統一記憶體)的 iOS 開發者:用 Ollama
ollama run unsloth/inkling-2-mini:q4_k_m一鍵拉起,把 App 截圖丟進去問「這個 UI 符合 Human Interface Guidelines 嗎?」,得到文字建議再貼回 Xcode,資料不出機器。 - 後端工程師快速建構圖文檢索 Demo:搭配
llama-cpp-python寫 20 行 FastAPI,前端上傳圖片加問題,後端llama.create_chat_completion(messages=[{"role":"user","content":[{"type":"image_url",...},{"type":"text",...}]}])回傳答案,部署到內網伺服器供團隊離線試用。
- 工程師在 8 GB VRAM 顯卡(RTX 3070/4060)上跑本地多模態模型:下載
- 跑得動嗎: 官方 model card 僅標示「任務:image-text-to-text、格式:gguf、授權:apache-2.0、函式庫:llama.cpp」;未直接列出硬體門檻。但 GGUF 格式特性加上 Unsloth 團隊慣例:同系列 2B/3B 量化模型在 8 GB VRAM / 16 GB 統一記憶體上跑 Q4_K_M 無壓力(來源:Unsloth 官方部署文檔、Llama.cpp 硬體需求表、CSDN GGUF 指南量化對照表)。
- 本期聲量: HF 熱度 683(全清單最高)、下載 806.0k 次、735 個讚。
- 跟同類比: 同為小參數多模態 GGUF,對比 LLaVA-1.5-7B-GGUF:Inkling-2-Mini 參數更小(推測 2-3B 級)、量化後體積約 3.5 GB vs 4.8 GB、Unsloth 團隊針對 llama.cpp 做過 kernel-level 優化、推理速度較快(Unsloth 部落格宣稱「比原生 llama.cpp 快 2-3 倍」);但 LLaVA 社群生態更成熟、微調教學更多(來源:Unsloth 官網、LLaVA GitHub、llama.cpp 視覺支援 PR)。
- 怎麼取得: Hugging Face 頁面 Files 分頁提供多個
.gguf量化檔(Q4_K_M、Q5_K_M、Q8_0 等),直接下載單一檔案;Ollama:ollama pull unsloth/inkling-2-mini:q4_k_m;LM Studio:搜尋unsloth/inkling-2-mini→ 選 Q4_K_M → Download → Chat;llama.cpp:./main -m inkling-2-mini-Q4_K_M.gguf -ngl 99 --image <path>(需支援視覺的 llama.cpp 版本)。 - 連結: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
結尾段落
本期三個模型都精準切中「免費、自己架、消費級硬體跑得動」:Gemma 4 用 PLE 做到 8 GB 記憶體跑 any-to-any 多模態、Ming-3.0-audio-flash 用 0.5B 參數填補本地端語音對話空白、Inkling-2-Mini GGUF 則以 3.5 GB 單檔拿下最高聲量。若手邊只有 8 GB 顯存或 16 GB 統一記憶體,想先跑通多模態 RAG 或圖文問答,Inkling-2-Mini 的 GGUF 版本下載即用、阻力最低。下集再帶更多能塞進邊緣裝置的開源模型,我們 2026年11月23日 再見。


























留言