開場白

Google 最新開放的 Gemma 4 系列,31B Dense 版在 Hugging Face 熱度 42、600 萬次下載,更關鍵的是 CloudInsight 實測:M4 Max 128GB 統一記憶體跑得動完整精度、單張 RTX 4090 用 Q4_K_M 量化只要 17GB VRAM、中階 Android 手機塞得進 3.1GB 的 E2B 4-bit。同期社群熱度更高的 huihui-ai Huihui-Qwen3.8-27B-abliterated-GGUF,熱度 69、450 萬下載,Apache-2.0 授權移除拒答,GGUF 格式原生支援 Ollama、llama.cpp。還有一個只有數百 MB 的視覺 adapter,讓你手上的 Qwen 27B 秒變多模態。等一下告訴你這三個怎麼挑、怎麼跑、硬體門檻在哪裡。

本期精選

1. google/gemma-4-31B-it:Google 2026 年最新開放模型,31B Dense 完整精度能跑在消費級 Mac、26B MoE 量化上單張 4090

  • 這是什麼:Gemma 4 系列的旗艦模型,31B 參數 Dense 架構,另有 E2B、E4B、26B MoE 等多種尺寸,全系列 Apache-2.0 授權,支援 transformers、llama.cpp、Ollama、vLLM 等主流推理引擎。
  • 能用在哪些場景:
    • 獨立開發者手邊有 MacBook Pro M4 Max (128GB 統一記憶體),想離線跑 31B 完整精度當本地 Copilot 替代方案,程式碼生成、重構、單元測試零 Token 成本、資料不出機器。
    • 邊緣裝置工程師要在中階 Android 手機 (8GB RAM) 部署完全離線的語音助理、翻譯、摘要,醫療或金融現場 Demo 不能上傳資料,E2B 4-bit 只要約 3.1GB 記憶體。
    • 中小團隊只有一張 RTX 4090 (24GB),用 Q4_K_M 量化跑 26B MoE 版本,支援 8K 上下文做程式碼庫級 RAG 問答,取代付費 API 降低長期推理成本。
  • 跑得動嗎:根據 CloudInsight 實測硬體門檻對照表:E2B 4-bit 約 3.1GB 記憶體(中階 Android 即可);E4B Q4 約 5GB(8GB RAM 筆電無需獨顯);26B MoE Q4_K_M 約 17GB VRAM(實務門檻 24GB 卡如 RTX 4090,16GB 卡需改 Q4_0 約 14.4GB 但上下文空間極緊);31B Dense BF16 需 62GB(H100 單卡),M4 Max 128GB 統一記憶體可跑完整精度 31B。官方模型卡 README 範例使用 device_map='auto' 與 torch_dtype='auto' 載入。
  • 本期聲量:HF 熱度 42,600 萬次下載,4.4k 個讚。
  • 跟同類比:CloudInsight 指出 Gemma 4 26B MoE 在 Q4_K_M 下品質損失約 3-5%,優於同級別 Qwen3 27B 同量化檔的 5-8% 損失;31B Dense 完整精度在推理基準上略遜於 Llama-3.1-70B 但參數量不到一半,部署門檻大幅降低。
  • 怎麼取得:官方 Gemma 4 頁面提供 Hugging Face 模型卡連結,README 範例:pip install -U transformers accelerate && python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('google/gemma-4-31B-it', device_map='auto', torch_dtype='auto'); t=AutoTokenizer.from_pretrained('google/gemma-4-31B-it')"。
  • 連結:https://huggingface.co/google/gemma-4-31B-it

2. huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF:Qwen 27B 移除拒答的 GGUF 量化包,單張 4090 跑 Q6_K 接近 FP16 品質

  • 這是什麼:基於 Qwen3.8-27B 基座的 GGUF 量化版本,abliterated 移除拒答機制,Apache-2.0 授權商用無慮,提供 Q2_K 到 Q8_0 多種量化檔,原生支援 llama.cpp、Ollama、LM Studio。
  • 能用在哪些場景:
    • 後端工程師在 RTX 3060 12GB 筆電上用 Ollama 載入 Q4_K_M(約 16GB 檔案、約 19-21GB 運行顯存),離線進行程式碼審查、SQL 生成、API 文件撰寫,機密程式碼不上雲。
    • 資料科學家在 Mac Studio M2 Ultra (96GB 統一記憶體) 用 Q5_K_M 跑 32K 上下文,處理百頁 PDF 財報的長文摘要與關鍵指標抽取,單次推理無 Token 成本。
    • 個人開發者在 RTX 4090 24GB 桌機用 Q6_K(約 20.5GB 檔案)獲得接近 FP16 品質,作為本地聊天機器人核心,整合 RAG 與 Function Calling 建構私有知識庫助理。
  • 跑得動嗎:官方模型卡未標示具體硬體門檻;參考社區 GGUF 量化經驗(CSDN 實測文《Qwen3.8-27B本地部署:從量化檔位到硬體配置完整指南》):Q2_K 約 11GB/14-16GB VRAM(16GB 可跑但品質打折)、Q4_K_M 約 16GB/19-21GB(24GB 顯存為甜點)、Q6_K 約 20.5GB/24-27GB(建議 24GB 以上)、Q8_0 約 27GB/31GB+(需 32GB+ 或雙卡)。
  • 本期聲量:HF 熱度 69,450 萬次下載,2.5k 個讚。
  • 跟同類比:對比同基底的 prism-ml/ternary-bonsai-2-27b-gguf(三值量化 9 倍壓縮、約 6.1GB),huihui 版保留完整權重精度、靠標準 GGUF 量化平衡體積與品質,適合不想折騰實驗性量化方案的工程師;對比官方 Qwen3-27B-Instruct(FP16 約 54GB),abliterated 版移除拒答層、直接輸出更適合程式碼與技術文檔生成場景。
  • 怎麼取得:模型頁提供 GGUF 多種量化檔下載;Ollama 範例:ollama run hf.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF:Q4_K_M;llama.cpp 範例:./llama-cli -m Huihui-Qwen3.8-27B-abliterated-Q4_K_M.gguf -p "你的提示詞" -n 512。
  • 連結:https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

3. harness-hub/Qwen3.8-27B-pi-adapted:只有數百 MB 的視覺 adapter,讓手上的 Qwen 27B 秒獲得圖文問答能力

  • 這是什麼:針對 Qwen3.8-27B 文字基座的視覺對齊 LoRA/adapter(task: image-text-to-text),權重僅數百 MB safetensors,Apache-2.0 授權,需搭配基座模型使用,library 標示 peft。
  • 能用在哪些場景:
    • 擁有 Qwen3.8-27B 基座的 MLOps 工程師,只需下載 adapter 權重,用 PEFT PeftModel.from_pretrained 載入,即可在 24GB 顯存上跑圖文問答、截圖轉程式碼、UI 設計稿生成前端元件。
    • 前端工程師在本地 Ollama 跑基座 Qwen3.8-27B-Q4_K_M,再以 llama.cpp --lora 參數載入此 adapter,實現「貼上錯誤畫面截圖 → 直接給出修復建議」的離線除錯工作流,無需重新下載完整視覺模型。
    • 技術文檔撰寫者將架構圖、ER 圖截圖餵給載入 adapter 的模型,自動生成 Mermaid 圖表與文字說明,支援中英雙語輸出,減少手繪文檔時間。
  • 跑得動嗎:官方模型卡未標示硬體門檻;adapter 權重極小(safetensors,約數百 MB),實際門檻取決於基座模型量化檔:搭配 Qwen3.8-27B Q4_K_M(約 16GB 檔、19-21GB 運行顯存)時,24GB 顯存卡(RTX 3090/4090)或 M2/M3 Max 32GB+ 統一記憶體即可;若基座用 Q6_K 則建議 24GB+ 顯存。
  • 本期聲量:HF 熱度 613,2.4k 次下載,849 個讚;同家族的量化/重打包版本有 8 個。
  • 跟同類比:對比完整視覺模型 google/gemma-4-31b-it(31B Dense、需 62GB BF16 或 24GB Q4)、Qwen2-VL-72B(72B、門檻更高),此 adapter 以 <1% 參數量增加視覺能力,部署成本僅基座模型的額外 VRAM;同類 LoRA 有 lodestones/kromoss(針對 Moss Image 擴散模型),但此為針對 Qwen3.8 文字基座的視覺對齊 adapter,適用場景不同。
  • 怎麼取得:模型卡標示 library: peft,載入範例:from transformers import AutoModelForCausalLM; from peft import PeftModel; base=AutoModelForCausalLM.from_pretrained('Qwen/Qwen3.8-27B', device_map='auto', torch_dtype='auto'); model=PeftModel.from_pretrained(base, 'harness-hub/Qwen3.8-27B-pi-adapted');Ollama/llama.cpp 需確認支援 vision adapter 格式。
  • 連結:https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted

結尾段落

本期三個選題都指向同一個趨勢:大模型能力下放到消費級硬體的「最後一哩路」正在被量化格式、MoE 架構、甚至極小 adapter 填平。Gemma 4 給你完整精度上 Mac、量化上 4090、手機端都能跑的完整譜系;Huihui Qwen 27B GGUF 用成熟量化管線把 27B 變成隨插即用的本地引擎;Pi-adapted 則用 <1% 參數量解鎖多模態。如果你手邊已有 Qwen 27B 基座,先試 adapter 最划算;想要零配置、開箱即用的程式碼生成主力,Huihui GGUF Q4_K_M 是目前社群共識最高的甜點。下集我們會繼續追蹤 Llama 4 與 Nemotron 系列的量化進展,再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調