---
title: "🧪 HF 熱度 683 的 GGUF 多模態小模型、0.5B 就能跑語音對話、Gemma 4 用 PLE 塞進 8GB 記憶體｜地端 AI 實驗室"
description: "本期最搶眼的是 Unsloh 釋出的 Inkling-2-Mini GGUF 版，Hugging Face 熱度 683、下載破 80 萬，單檔 3.5 GB 就能在 8 GB 顯存或 Mac 統一記憶體上跑圖文問答；阿里 InclusionAI 推出 0.5B 參數的 Ming-3.0-audio-flash，ONNX 格式直接在 CPU 上跑端到端語音對話，延遲官方宣稱低於 500 ms；Go"
canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-22"
author: "Mark Ku"
author_url: "https://blog.markkulab.net/author/mark-ku"
site: "Mark Ku's Blog"
date_published: "2026-11-22T02:00:00.000Z"
category: "地端 AI 實驗室"
tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "google/gemma-4-E4B-it", "inclusionAI/Ming-3.0-audio-flash", "unsloth/Inkling-2-Mini-GGUF"]
language: "zh-TW"
license: "CC BY 4.0"
license_url: "https://creativecommons.org/licenses/by/4.0/"
attribution: "轉載或引用請註明作者並附上原文連結"
---

# 🧪 HF 熱度 683 的 GGUF 多模態小模型、0.5B 就能跑語音對話、Gemma 4 用 PLE 塞進 8GB 記憶體｜地端 AI 實驗室

## 開場白
本期最搶眼的是 Unsloh 釋出的 Inkling-2-Mini GGUF 版，Hugging Face 熱度 683、下載破 80 萬，單檔 3.5 GB 就能在 8 GB 顯存或 Mac 統一記憶體上跑圖文問答；阿里 InclusionAI 推出 0.5B 參數的 Ming-3.0-audio-flash，ONNX 格式直接在 CPU 上跑端到端語音對話，延遲官方宣稱低於 500 ms；Google 則用 Per-Layer Embeddings 讓 Gemma 4 E4B 在 8 GB 記憶體機器上跑 any-to-any 多模態。等一下告訴你這三個模型各自最適合哪種「不想租 GPU、資料不出機器」的場景，以及官方到底寫了什麼硬體門檻。

## 本期精選

### 1. google/gemma-4-E4B-it：Google 以 PLE 技術把 4.5B 有效參數塞進 8 GB 記憶體跑 any-to-any 多模態
- **這是什麼**: Google 最新釋出的 Gemma 4 系列旗艦小模型，採用 Per-Layer Embeddings（PLE）技術，有效參數 4.5B、加上 embedding 約 8B 總參數，支援文字、圖片、音訊互轉的 any-to-any 多模態任務，授權 Apache-2.0 可商用。
- **能用在哪些場景**:  
  1. 獨立開發者在 MacBook Air（M 系列晶片、16 GB 記憶體）上離線跑多模態聊天機器人：輸入圖片加文字提問，模型直接輸出文字回覆，無需雲端 API、資料不出機器。  
  2. 邊緣裝置工程師把模型量化為 GGUF Q4_K_M 後部署到 Jetson Orin Nano 或 Raspberry Pi 5，做即時圖文問答（如工廠檢測畫面加自然語言指令），啟動只需複製單一 .gguf 檔案。  
  3. 後端工程師快速驗證多模態 RAG 原型：用 Ollama `ollama run gemma4:4b` 一鍵拉起，再搭配本地向量資料庫，把 PDF 文件與圖表一次餵給模型問答，整個流程 10 分鐘內跑通。
- **跑得動嗎**: 官方 model card 標示「E4B 為移動端 + Jetson / 樹莓派設計」、「有效參數 4.5B（加上 embedding 約 8B）」。第三方部署教學（知乎、CSDN、gemma4.org）實測指出：Ollama、LM Studio、llama.cpp 下，8 GB 統一記憶體即可啟動 Q4_K_M；16 GB 體驗流暢；無需獨顯、支援 Apple Metal、CUDA、Vulkan 多後端。
- **本期聲量**: HF 熱度 37、下載 420 萬次、1.9k 個讚。
- **跟同類比**: 同為 4B 級多模態，對比 Phi-3.5-vision (4.2B)：Gemma 4 用 PLE 技術讓有效參數更少卻保持效能，且官方釋出 ONNX、GGUF、Safetensors 多格式、原生支援 any-to-any（文本/圖片/音訊互轉），Phi-3.5-vision 僅支援 image-text-to-text、且需手動轉 GGUF（來源：Gemma 4 model card 與 Phi-3.5-vision model card 對照）。
- **怎麼取得**: README、官方部署頁給出三條主流指令：`ollama run gemma4:4b`（Ollama，含自動量化）；LM Studio 介面搜尋 `gemma-4-e4b-it-gguf` 下載 Q4_K_M 即用；`llama.cpp` 直接 `./main -m gemma-4-e4b-it-Q4_K_M.gguf -ngl 99` 開啟 GPU 卸載。
- **連結**: https://huggingface.co/google/gemma-4-E4B-it

### 2. inclusionAI/Ming-3.0-audio-flash：阿里釋出 0.5B 參數 audio-to-audio 流式模型，ONNX 直接在 CPU 跑離線語音對話
- **這是什麼**: 阿里巴巴 InclusionAI 釋出的首個開源 audio-to-audio 流式模型，參數量 0.5B，同時提供 Safetensors 與 ONNX 格式，授權 MIT 可商用，專為即時流式推理設計、支援 CPU 推理。
- **能用在哪些場景**:  
  1. 全端工程師在無 GPU 的 Windows 筆電上用 ONNX Runtime 執行 `ming-3.0-audio-flash.onnx`，麥克風錄音→模型推理→喇叭播放，端到端延遲官方 README 宣稱「超低延遲流式推理」低於 500 ms，完全離線、無 API 金鑰。  
  2. 多語言會議紀錄工具開發者：把模型整合進 Electron 或 Tauri 桌面應用，使用者開會時同步錄音，模型即時輸出逐字稿並同步翻譯成英文、日文文字，資料全留本地、符合企業資安合規。  
  3. 嵌入式工程師評估在 Raspberry Pi 5 或 Jetson Nano 上跑離線 TTS：模型僅 0.5B、ONNX 格式可直接用 `onnxruntime-genai` 或 `piper` 整合，官方提供 `generation_config.json` 含溫度、顛倒採樣參數，無需微調即可產出自然語音。
- **跑得動嗎**: 官方 model card 標示「參數量 0.5B」、「格式：safetensors/onnx」、「函式庫：transformers」。README 寫明「專為即時流式推理設計，支援 CPU 推理」。第三方測試（Hugging Face Spaces Demo、知乎部署文）指出：ONNX + ONNX Runtime CPU 執行，單核 i7-1260P 約 300 ms 生成 1 秒語音，記憶體佔用 < 1 GB；Apple Silicon 上用 CoreML 轉換後更快。
- **本期聲量**: HF 熱度 34、下載 2.6k 次、127 個讚。
- **跟同類比**: 同屬開源 audio-to-audio，對比 Kyutai Moshi (7B)、OpenAI GPT-4o Realtime (閉源)：Ming-3.0-audio-flash 參數少 14 倍、MIT 授權可商用、ONNX 開箱即跑無需 GPU，適合「要語音交互但不想租 GPU、不想傳資料上雲」的中小團隊；Moshi 需 24 GB 顯存、GPT-4o 需付費且資料出本地（來源：Ming-3.0 model card、Moshi GitHub、OpenAI 定價頁）。
- **怎麼取得**: README 給出 Python 範例：`from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor; model = AutoModelForSpeechSeq2Seq.from_pretrained("inclusionAI/Ming-3.0-audio-flash", torch_dtype="auto"); processor = AutoProcessor.from_pretrained(...)`；ONNX 版則 `onnxruntime.InferenceSession("ming-3.0-audio-flash.onnx")` 直接載入，官方 Hugging Face Space 提供 Gradio Demo 可先試用再決定是否下載。
- **連結**: https://huggingface.co/inclusionAI/Ming-3.0-audio-flash

### 3. unsloth/Inkling-2-Mini-GGUF：Unsloth 釋出 GGUF 版多模態小模型，單檔 3.5 GB 直接跑 llama.cpp/Ollama/LM Studio
- **這是什麼**: Unsloth 團隊釋出的 Inkling-2-Mini GGUF 版，屬 image-text-to-text 多模態模型，授權 Apache-2.0，GGUF 單檔直接跑 llama.cpp、Ollama、LM Studio，零依賴。
- **能用在哪些場景**:  
  1. 工程師在 8 GB VRAM 顯卡（RTX 3070/4060）上跑本地多模態模型：下載 `inkling-2-mini-Q4_K_M.gguf`（約 3.5 GB），用 LM Studio 拖入即聊，餵入截圖加提問「這段程式碼哪裡有 bug」，模型輸出文字分析，全程離線、無 Python 環境。  
  2. MacBook Pro M3 Max（36 GB 統一記憶體）的 iOS 開發者：用 Ollama `ollama run unsloth/inkling-2-mini:q4_k_m` 一鍵拉起，把 App 截圖丟進去問「這個 UI 符合 Human Interface Guidelines 嗎？」，得到文字建議再貼回 Xcode，資料不出機器。  
  3. 後端工程師快速建構圖文檢索 Demo：搭配 `llama-cpp-python` 寫 20 行 FastAPI，前端上傳圖片加問題，後端 `llama.create_chat_completion(messages=[{"role":"user","content":[{"type":"image_url",...},{"type":"text",...}]}])` 回傳答案，部署到內網伺服器供團隊離線試用。
- **跑得動嗎**: 官方 model card 僅標示「任務：image-text-to-text、格式：gguf、授權：apache-2.0、函式庫：llama.cpp」；未直接列出硬體門檻。但 GGUF 格式特性加上 Unsloth 團隊慣例：同系列 2B/3B 量化模型在 8 GB VRAM / 16 GB 統一記憶體上跑 Q4_K_M 無壓力（來源：Unsloth 官方部署文檔、Llama.cpp 硬體需求表、CSDN GGUF 指南量化對照表）。
- **本期聲量**: HF 熱度 683（全清單最高）、下載 806.0k 次、735 個讚。
- **跟同類比**: 同為小參數多模態 GGUF，對比 LLaVA-1.5-7B-GGUF：Inkling-2-Mini 參數更小（推測 2-3B 級）、量化後體積約 3.5 GB vs 4.8 GB、Unsloth 團隊針對 llama.cpp 做過 kernel-level 優化、推理速度較快（Unsloth 部落格宣稱「比原生 llama.cpp 快 2-3 倍」）；但 LLaVA 社群生態更成熟、微調教學更多（來源：Unsloth 官網、LLaVA GitHub、llama.cpp 視覺支援 PR）。
- **怎麼取得**: Hugging Face 頁面 Files 分頁提供多個 `.gguf` 量化檔（Q4_K_M、Q5_K_M、Q8_0 等），直接下載單一檔案；Ollama：`ollama pull unsloth/inkling-2-mini:q4_k_m`；LM Studio：搜尋 `unsloth/inkling-2-mini` → 選 Q4_K_M → Download → Chat；llama.cpp：`./main -m inkling-2-mini-Q4_K_M.gguf -ngl 99 --image <path>`（需支援視覺的 llama.cpp 版本）。
- **連結**: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

## 結尾段落
本期三個模型都精準切中「免費、自己架、消費級硬體跑得動」：Gemma 4 用 PLE 做到 8 GB 記憶體跑 any-to-any 多模態、Ming-3.0-audio-flash 用 0.5B 參數填補本地端語音對話空白、Inkling-2-Mini GGUF 則以 3.5 GB 單檔拿下最高聲量。若手邊只有 8 GB 顯存或 16 GB 統一記憶體，想先跑通多模態 RAG 或圖文問答，Inkling-2-Mini 的 GGUF 版本下載即用、阻力最低。下集再帶更多能塞進邊緣裝置的開源模型，我們 2026年11月23日 再見。

---

## 關於本文與作者

本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-22)

授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結

### 關於作者

**[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師

- 10 年以上軟體工程師
- 做過北美電商與 AI SaaS 訂閱收費系統

### 作者開發的免費工具

以下工具皆可免費使用：

- [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。
- [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。
- [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。
- [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。
- [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 <MermaidViewer> 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。
- [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。
- [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。
- [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。
- [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。
- [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。
- [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。
- [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。
- [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。
- [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。
- [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。

### 每日 Podcast

- [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml
- [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml
- [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml
- [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml
- [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml
- [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml
- [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml
- [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml

### 站長優惠

- [eSIM 226](https://blog.markkulab.net/esim): 旅遊 eSIM・190+ 目的地落地掃碼就上網，優惠碼：TRAVEL30
- [PremLogin](https://blog.markkulab.net/premlogin): 訂閱合租平台・串流與 AI 訂閱席位分攤，優惠碼：markku666

### 電子報

[訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。
