---
title: "🧪 Gemma 4 31B 完整精度上 M4 Max、Qwen 27B GGUF 百萬下載｜地端 AI 實驗室"
description: "Google 最新開放的 Gemma 4 系列，31B Dense 版在 Hugging Face 熱度 42、600 萬次下載，更關鍵的是 CloudInsight 實測：M4 Max 128GB 統一記憶體跑得動完整精度、單張 RTX 4090 用 Q4_K_M 量化只要 17GB VRAM、中階 Android 手機塞得進 3.1GB 的 E2B 4-bit。"
canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-21"
author: "Mark Ku"
author_url: "https://blog.markkulab.net/author/mark-ku"
site: "Mark Ku's Blog"
date_published: "2026-11-21T02:00:00.000Z"
category: "地端 AI 實驗室"
tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "gemma-4-31B-it", "Huihui-Qwen3.8-27B-abliterated-GGUF", "Qwen3.8-27B-pi-adapted"]
language: "zh-TW"
license: "CC BY 4.0"
license_url: "https://creativecommons.org/licenses/by/4.0/"
attribution: "轉載或引用請註明作者並附上原文連結"
---

# 🧪 Gemma 4 31B 完整精度上 M4 Max、Qwen 27B GGUF 百萬下載｜地端 AI 實驗室

## 開場白
Google 最新開放的 Gemma 4 系列，31B Dense 版在 Hugging Face 熱度 42、600 萬次下載，更關鍵的是 CloudInsight 實測：M4 Max 128GB 統一記憶體跑得動完整精度、單張 RTX 4090 用 Q4_K_M 量化只要 17GB VRAM、中階 Android 手機塞得進 3.1GB 的 E2B 4-bit。同期社群熱度更高的 huihui-ai Huihui-Qwen3.8-27B-abliterated-GGUF，熱度 69、450 萬下載，Apache-2.0 授權移除拒答，GGUF 格式原生支援 Ollama、llama.cpp。還有一個只有數百 MB 的視覺 adapter，讓你手上的 Qwen 27B 秒變多模態。等一下告訴你這三個怎麼挑、怎麼跑、硬體門檻在哪裡。

## 本期精選

### 1. google/gemma-4-31B-it：Google 2026 年最新開放模型，31B Dense 完整精度能跑在消費級 Mac、26B MoE 量化上單張 4090
- **這是什麼**：Gemma 4 系列的旗艦模型，31B 參數 Dense 架構，另有 E2B、E4B、26B MoE 等多種尺寸，全系列 Apache-2.0 授權，支援 transformers、llama.cpp、Ollama、vLLM 等主流推理引擎。
- **能用在哪些場景**：
  - 獨立開發者手邊有 MacBook Pro M4 Max (128GB 統一記憶體)，想離線跑 31B 完整精度當本地 Copilot 替代方案，程式碼生成、重構、單元測試零 Token 成本、資料不出機器。
  - 邊緣裝置工程師要在中階 Android 手機 (8GB RAM) 部署完全離線的語音助理、翻譯、摘要，醫療或金融現場 Demo 不能上傳資料，E2B 4-bit 只要約 3.1GB 記憶體。
  - 中小團隊只有一張 RTX 4090 (24GB)，用 Q4_K_M 量化跑 26B MoE 版本，支援 8K 上下文做程式碼庫級 RAG 問答，取代付費 API 降低長期推理成本。
- **跑得動嗎**：根據 CloudInsight 實測硬體門檻對照表：E2B 4-bit 約 3.1GB 記憶體（中階 Android 即可）；E4B Q4 約 5GB（8GB RAM 筆電無需獨顯）；26B MoE Q4_K_M 約 17GB VRAM（實務門檻 24GB 卡如 RTX 4090，16GB 卡需改 Q4_0 約 14.4GB 但上下文空間極緊）；31B Dense BF16 需 62GB（H100 單卡），M4 Max 128GB 統一記憶體可跑完整精度 31B。官方模型卡 README 範例使用 `device_map='auto'` 與 `torch_dtype='auto'` 載入。
- **本期聲量**：HF 熱度 42，600 萬次下載，4.4k 個讚。
- **跟同類比**：CloudInsight 指出 Gemma 4 26B MoE 在 Q4_K_M 下品質損失約 3-5%，優於同級別 Qwen3 27B 同量化檔的 5-8% 損失；31B Dense 完整精度在推理基準上略遜於 Llama-3.1-70B 但參數量不到一半，部署門檻大幅降低。
- **怎麼取得**：官方 Gemma 4 頁面提供 Hugging Face 模型卡連結，README 範例：`pip install -U transformers accelerate && python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('google/gemma-4-31B-it', device_map='auto', torch_dtype='auto'); t=AutoTokenizer.from_pretrained('google/gemma-4-31B-it')"`。
- **連結**：https://huggingface.co/google/gemma-4-31B-it

### 2. huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF：Qwen 27B 移除拒答的 GGUF 量化包，單張 4090 跑 Q6_K 接近 FP16 品質
- **這是什麼**：基於 Qwen3.8-27B 基座的 GGUF 量化版本，abliterated 移除拒答機制，Apache-2.0 授權商用無慮，提供 Q2_K 到 Q8_0 多種量化檔，原生支援 llama.cpp、Ollama、LM Studio。
- **能用在哪些場景**：
  - 後端工程師在 RTX 3060 12GB 筆電上用 Ollama 載入 Q4_K_M（約 16GB 檔案、約 19-21GB 運行顯存），離線進行程式碼審查、SQL 生成、API 文件撰寫，機密程式碼不上雲。
  - 資料科學家在 Mac Studio M2 Ultra (96GB 統一記憶體) 用 Q5_K_M 跑 32K 上下文，處理百頁 PDF 財報的長文摘要與關鍵指標抽取，單次推理無 Token 成本。
  - 個人開發者在 RTX 4090 24GB 桌機用 Q6_K（約 20.5GB 檔案）獲得接近 FP16 品質，作為本地聊天機器人核心，整合 RAG 與 Function Calling 建構私有知識庫助理。
- **跑得動嗎**：官方模型卡未標示具體硬體門檻；參考社區 GGUF 量化經驗（CSDN 實測文《Qwen3.8-27B本地部署：從量化檔位到硬體配置完整指南》）：Q2_K 約 11GB/14-16GB VRAM（16GB 可跑但品質打折）、Q4_K_M 約 16GB/19-21GB（24GB 顯存為甜點）、Q6_K 約 20.5GB/24-27GB（建議 24GB 以上）、Q8_0 約 27GB/31GB+（需 32GB+ 或雙卡）。
- **本期聲量**：HF 熱度 69，450 萬次下載，2.5k 個讚。
- **跟同類比**：對比同基底的 prism-ml/ternary-bonsai-2-27b-gguf（三值量化 9 倍壓縮、約 6.1GB），huihui 版保留完整權重精度、靠標準 GGUF 量化平衡體積與品質，適合不想折騰實驗性量化方案的工程師；對比官方 Qwen3-27B-Instruct（FP16 約 54GB），abliterated 版移除拒答層、直接輸出更適合程式碼與技術文檔生成場景。
- **怎麼取得**：模型頁提供 GGUF 多種量化檔下載；Ollama 範例：`ollama run hf.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF:Q4_K_M`；llama.cpp 範例：`./llama-cli -m Huihui-Qwen3.8-27B-abliterated-Q4_K_M.gguf -p "你的提示詞" -n 512`。
- **連結**：https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

### 3. harness-hub/Qwen3.8-27B-pi-adapted：只有數百 MB 的視覺 adapter，讓手上的 Qwen 27B 秒獲得圖文問答能力
- **這是什麼**：針對 Qwen3.8-27B 文字基座的視覺對齊 LoRA/adapter（task: image-text-to-text），權重僅數百 MB safetensors，Apache-2.0 授權，需搭配基座模型使用，library 標示 peft。
- **能用在哪些場景**：
  - 擁有 Qwen3.8-27B 基座的 MLOps 工程師，只需下載 adapter 權重，用 PEFT `PeftModel.from_pretrained` 載入，即可在 24GB 顯存上跑圖文問答、截圖轉程式碼、UI 設計稿生成前端元件。
  - 前端工程師在本地 Ollama 跑基座 Qwen3.8-27B-Q4_K_M，再以 llama.cpp `--lora` 參數載入此 adapter，實現「貼上錯誤畫面截圖 → 直接給出修復建議」的離線除錯工作流，無需重新下載完整視覺模型。
  - 技術文檔撰寫者將架構圖、ER 圖截圖餵給載入 adapter 的模型，自動生成 Mermaid 圖表與文字說明，支援中英雙語輸出，減少手繪文檔時間。
- **跑得動嗎**：官方模型卡未標示硬體門檻；adapter 權重極小（safetensors，約數百 MB），實際門檻取決於基座模型量化檔：搭配 Qwen3.8-27B Q4_K_M（約 16GB 檔、19-21GB 運行顯存）時，24GB 顯存卡（RTX 3090/4090）或 M2/M3 Max 32GB+ 統一記憶體即可；若基座用 Q6_K 則建議 24GB+ 顯存。
- **本期聲量**：HF 熱度 613，2.4k 次下載，849 個讚；同家族的量化／重打包版本有 8 個。
- **跟同類比**：對比完整視覺模型 google/gemma-4-31b-it（31B Dense、需 62GB BF16 或 24GB Q4）、Qwen2-VL-72B（72B、門檻更高），此 adapter 以 <1% 參數量增加視覺能力，部署成本僅基座模型的額外 VRAM；同類 LoRA 有 lodestones/kromoss（針對 Moss Image 擴散模型），但此為針對 Qwen3.8 文字基座的視覺對齊 adapter，適用場景不同。
- **怎麼取得**：模型卡標示 library: peft，載入範例：`from transformers import AutoModelForCausalLM; from peft import PeftModel; base=AutoModelForCausalLM.from_pretrained('Qwen/Qwen3.8-27B', device_map='auto', torch_dtype='auto'); model=PeftModel.from_pretrained(base, 'harness-hub/Qwen3.8-27B-pi-adapted')`；Ollama/llama.cpp 需確認支援 vision adapter 格式。
- **連結**：https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted

## 結尾段落
本期三個選題都指向同一個趨勢：大模型能力下放到消費級硬體的「最後一哩路」正在被量化格式、MoE 架構、甚至極小 adapter 填平。Gemma 4 給你完整精度上 Mac、量化上 4090、手機端都能跑的完整譜系；Huihui Qwen 27B GGUF 用成熟量化管線把 27B 變成隨插即用的本地引擎；Pi-adapted 則用 <1% 參數量解鎖多模態。如果你手邊已有 Qwen 27B 基座，先試 adapter 最划算；想要零配置、開箱即用的程式碼生成主力，Huihui GGUF Q4_K_M 是目前社群共識最高的甜點。下集我們會繼續追蹤 Llama 4 與 Nemotron 系列的量化進展，再見。

---

## 關於本文與作者

本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-21)

授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結

### 關於作者

**[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師

- 10 年以上軟體工程師
- 做過北美電商與 AI SaaS 訂閱收費系統

### 作者開發的免費工具

以下工具皆可免費使用：

- [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。
- [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。
- [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。
- [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。
- [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 <MermaidViewer> 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。
- [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。
- [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。
- [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。
- [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。
- [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。
- [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。
- [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。
- [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。
- [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。
- [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。

### 每日 Podcast

- [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml
- [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml
- [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml
- [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml
- [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml
- [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml
- [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml
- [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml

### 站長優惠

- [eSIM 226](https://blog.markkulab.net/esim): 旅遊 eSIM・190+ 目的地落地掃碼就上網，優惠碼：TRAVEL30
- [PremLogin](https://blog.markkulab.net/premlogin): 訂閱合租平台・串流與 AI 訂閱席位分攤，優惠碼：markku666

### 電子報

[訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。
