--- title: "🧪 610 萬次下載的 27B 模型：Unsloth 版 Qwen3.8 讓你 24GB 顯卡就能跑多模態微調｜地端 AI 實驗室" description: "本期雷達最亮眼的是 Unsloth 官方釋出的 Qwen3.8-27B-GGUF，Hugging Face 熱度 200、累積 610 萬次下載，附帶 mmproj 多模態投影與完整 LoRA 訓練腳本，號稱 24GB 顯卡即可跑 Q4_K_M 量化版。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-11" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-11-11T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "Qwen3.8-27B", "Zonos3-mini", "Gemma-4-31B", "GGUF", "LoRA微調", "TTS"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 610 萬次下載的 27B 模型：Unsloth 版 Qwen3.8 讓你 24GB 顯卡就能跑多模態微調｜地端 AI 實驗室 ## 開場白 本期雷達最亮眼的是 Unsloth 官方釋出的 Qwen3.8-27B-GGUF，Hugging Face 熱度 200、累積 610 萬次下載，附帶 mmproj 多模態投影與完整 LoRA 訓練腳本，號稱 24GB 顯卡即可跑 Q4_K_M 量化版。同場加映：Zyphra 推出 MoE 架構的輕量 TTS 模型 Zonos3-mini，以及社區量化大神 mradermacher 打包的 Gemma 4 31B 指令版，兩者皆為 Apache-2.0 授權、支援繁體中文，等一下告訴你哪個適合拿來做離線客服語音、哪個適合處理政府公文抽取。 ## 本期精選 ### 1. unsloth/Qwen3.8-27B-GGUF：自帶多模態與 LoRA 腳本的 27B 旗艦，24GB 顯卡可上手 - **這是什麼**: 由 Unsloth 官方團隊釋出的 Qwen3.8-27B 量化倉庫，參數量 27B，授權 Apache-2.0，提供 12 種 GGUF 量化檔（Q2_K 至 Q8_0），並同步釋出 mmproj 多模態投影檔與一鍵 LoRA 微調腳本，支援 llama.cpp、Ollama、LM Studio 直接部署。 - **能用在哪些場景**: 1. 獨立開發者手邊有一張 RTX 3090 或 4090（24GB 顯示記憶體），想架設離線程式碼助手與文件問答系統，載入 Q4_K_M（約 16.9 GB）即可運作，搭配 mmproj 還能讓模型讀取截圖、圖表進行說明。 2. 想注入自有領域知識的工程師，可依官方 README 範例指令，在 16GB 顯卡搭配系統記憶體混載環境下完成 Unsloth LoRA 微調，訓練完成後量化回 GGUF 部署，全流程不出資料。 3. Mac 統一記憶體 24GB 以上用戶，透過 Ollama 直接執行 `ollama run hf.co/unsloth/Qwen3.8-27B-GGUF:Q4_K_M`，即可獲得接近雲端的中文與程式碼生成品質，來源為官方 README 與社區整理測試報告（來源：）。 - **跑得動嗎**: 官方 README 標示 12 種量化檔大小（Q2_K 11 GB ~ Q8_0 29.1 GB），並給出「可用記憶體 ≈ 模型大小 × 1.2~1.5」經驗法則：12GB 記憶體勉強跑 Q2_K、16GB 顯示記憶體建議 Q3_K_L 或 IQ4_XS、24GB 顯示記憶體首推 Q4_K_S/M、32GB 以上可上 Q6_K/Q8_0；Mac M 系列 24GB 以上統一記憶體可流暢跑 Q4_K_M（來源：官方 README 並參考社區整理，）。 - **本期聲量**: HF 熱度 200，累積 610 萬次下載、5.8k 個讚，本期同家族量化／重打包版本共 6 個。 - **跟同類比**: 同基礎模型的社區量化版（如 mradermacher/ggml-org 等）僅提供推論檔，Unsloth 版由官方團隊維護，獨家附贈完整 LoRA 訓練腳本與多模態 mmproj，適合想「自己訓練再部署」的工程師（來源：模型頁描述與 Unsloth 官網教學）。 - **怎麼取得**: 官方建議從模型頁下載單一 .gguf 檔，配合 llama.cpp 啟動：`llama-server -m Qwen3.8-27B-Q4_K_M.gguf --mmproj Qwen3.8-27B.mmproj-Q8_0.gguf -c 8192 -ngl 999`；或直接用 Ollama：`ollama run hf.co/unsloth/Qwen3.8-27B-GGUF:Q4_K_M`（來源：模型頁 README）。 - **連結**: [https://huggingface.co/unsloth/Qwen3.8-27B-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) ### 2. Zyphra/ZONOS3-Mini：MoE 架構的輕量開源 TTS，16GB 顯卡跑離線中英語音合成 - **這是什麼**: Zyphra 推出的第三代輕量級文字轉語音模型，採用 MoE 稀疏激活架構，參數量未公開細節但主打小模型高效能，支援中英文，格式含 GGUF 與 safetensors，授權 Apache-2.0 可商用。 - **能用在哪些場景**: 1. 後端工程師在 16GB 顯卡上以 GGUF 量化跑 Zonos3-mini，為自架客服 Bot 或語音通知系統提供零延遲、可離線的中英 TTS 服務。 2. 內容創作者將模型部署在本地 Mac（M 系列 16GB 以上），搭配 Gradio 或 WebUI 批次把文章轉成有聲書，完全離線、無字數限制、無 API 費用。 3. 邊緣裝置開發者（如 Jetson Orin、Raspberry Pi 5 + 16GB 記憶體）透過 llama.cpp 載入 GGUF 版，實現完全離線的語音助理原型。 - **跑得動嗎**: 官方 model card 未標示具體顯存門檻；參考 Zonos2（同架構）社區實測：MoE 稀疏激活使 4-bit GGUF 約 2~3 GB 顯存即可啟動，8-bit 約 4~5 GB，生成速度在消費級 GPU 上可達即時因子 <0.3。以上顯存與速度數據為 Zonos2 社區實測，Zonos3-mini 同架構參考，實際數值可能不同（來源：B 站評測影片 ）。 - **本期聲量**: HF 熱度 196，累積 8.5k 次下載、224 個讚。 - **跟同類比**: 對比 Coqui XTTSv2、Bark、Fish Speech 等開源 TTS，Zonos 系列主打 MoE 稀疏架構，參數量小但合成速度快、語音自然度高；Zonos3-mini 是 Zyphra 針對本地部署優化的輕量版，授權更寬鬆（Apache-2.0 vs. Coqui 的 CPML），適合商用自架（來源：B 站評測者 Hewkick 對 Zonos2 的綜合評價）。 - **怎麼取得**: 模型頁提供 GGUF 檔案，可用 llama.cpp 啟動：`llama-server -m zonos3-mini-Q4_K_M.gguf -c 2048`；或參考 Zonos2 官方 repo 的 `zonos serve` 指令啟動 OpenAI 相容 API（來源：模型頁 Files 頁面與 https://github.com/Zyphra/Zonos2/ README）。 - **連結**: [https://huggingface.co/Zyphra/ZONOS3-Mini](https://huggingface.co/Zyphra/ZONOS3-Mini) ### 3. mradermacher/gemma-4-31B-it-ARA-heretic-GGUF：Gemma 4 31B 多語言指令版，繁中公文處理首選 - **這是什麼**: 社區知名量化作者 mradermacher 打包的 Google Gemma 4 31B 指令微調版（ARA-heretic 版本），參數量 31B，授權 Apache-2.0，提供完整 GGUF 量化檔，針對多語言（含繁體中文）指令遵循與工具呼叫優化。 - **能用在哪些場景**: 1. 需處理繁體中文客服工單、政府公文的工程師，在 24GB 顯卡載入 Q4_K_M（約 18~19 GB），離線跑分類、摘要、結構化欄位抽取，零資料外洩風險。 2. 多語言產品團隊在 Mac Studio 64GB 統一記憶體上部署，可載入較高精度量化（如 Q6_K 區間約 20-24 GB，依 Q4_K_M 18.1 GiB 與 Q8_0 26.6 GiB 推估），支援繁中、日文、韓文、東南亞語言的單一模型服務，簡化部署架構。 3. 想比較指令遵循品質的開發者，對照 Qwen3.8-27B、Llama-3.1-8B-Instruct，在同硬體上跑相同基準集（如 IFEval、MT-Bench），評估 Gemma 4 在結構化輸出與工具呼叫的表現。 - **跑得動嗎**: 官方 model card 未標示硬體需求；參考同量化作者對 Qwen3.6-27B-GGUF 的說明：Q4_K_M 約 18.1 GiB、Q8_0 約 26.6 GiB、BF16 約 50 GiB，建議 24GB 顯示記憶體跑 Q4_K_M、32GB 以上跑 Q8_0、Mac 統一記憶體 32GB 以上可流暢跑 Q4_K_M（來源：同作者量化邏輯類推，）。 - **本期聲量**: HF 熱度 202，累積 96.3k 次下載、237 個讚。 - **跟同類比**: 恆遠數位 2026/10 實測 16 款開源模型中，Gemma 4 31B 綜合分 93~94%、工具呼叫滿分、繁中用語表現優於多數中資模型；相較 Qwen3.8-27B，Gemma 4 在指令遵循、函式呼叫、多語言一致性上有優勢，但程式碼生成略遜於 Qwen 系（來源：）。 - **怎麼取得**: 模型頁提供 GGUF 分檔下載，配合 llama.cpp：`llama-server -m gemma-4-31b-it-ara-heretic-Q4_K_M.gguf -c 8192 -ngl 999`；或 Ollama 自建 Modelfile `FROM ./gemma-4-31b-it-ara-heretic-Q4_K_M.gguf` 後 `ollama create gemma4-31b-ara -f Modelfile`（來源：模型頁 Files 與 llama.cpp/Ollama 通用用法）。 - **連結**: [https://huggingface.co/mradermacher/gemma-4-31B-it-ARA-heretic-GGUF](https://huggingface.co/mradermacher/gemma-4-31B-it-ARA-heretic-GGUF) ## 結尾段落 本期三款模型皆為 Apache-2.0 授權、支援 GGUF 格式、且在消費級硬體可跑，分別切中「多模態程式助手」、「離線語音合成」、「繁中公文多語言處理」三大剛需。最值得先動手的是 Unsloth 版 Qwen3.8-27B，因同時具備微調腳本與多模態能力，擴展性最高。下集我們會繼續挖掘適合塞進自己機器的開源好物，再見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-11) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。