開場白

這集有兩個 27B 多模態模型在 Hugging Face 同樣衝破 410 萬次下載，單張 RTX 3090 就能離線跑圖文混合問答；還有一個僅 4B 參數的無審查版本，社群回報 4GB 顯卡就能跑起來。等一下告訴你哪個適合拿來寫 React 元件、哪個適合做量化對比實驗。

本期精選

1. huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF：27B 多模態、移除拒答、Apache-2.0 可商用、GGUF 量化完整支援 llama.cpp/Ollama

• 這是什麼: 這是基於 Qwen2.5-VL-27B 系的多模態大語言模型，經過「abliterated」處理移除拒答機制，參數量 27B，採 Apache-2.0 授權可直接商用，官方提供 Q4_K_M、Q5_K_M、Q8_0 等 GGUF 量化檔，README 寫著「llama.cpp / Ollama / LM Studio 皆可直接載入」。
• 能用在哪些場景:
  • 獨立開發者在 24GB 顯示記憶體筆電上離線跑圖文混合問答：丟入程式碼截圖加上需求文字，直接產出重構建議，專案機密完全不上傳雲端。
  • 中文社群經營者在本地以 4-bit/8-bit GGUF 推論，批次產生貼文回覆、標題優化，單張 RTX 3090 或 4090 即可全天候運作，零 API 費用。
  • 教學團隊把模型封裝成 Ollama 本地服務，學生在無網路教室用 CPU 推論（q4_K_M 約 16GB 系統記憶體）體驗多模態 LLLM，零雲端成本。
• 跑得動嗎: 官方 model card 標示提供 Q4_K_M、Q5_K_M、Q8_0 等 GGUF 量化，README 寫著「llama.cpp / Ollama / LM Studio 皆可直接載入」，未給具體顯示記憶體門檻；依參數量與 4-bit 量化估算，單張 24GB 顯卡可跑 q4_K_M，16GB 系統記憶體可跑 CPU 推論，以上屬推估非官方數據。
• 本期聲量: HF 熱度 195，累積 410 萬次下載，2.1k 個讚，是本期下載量最大的 27B 多模態地端模型。
• 跟同類比: 同為 Qwen2.5-VL 27B 系的 Unsloth 官方 GGUF（qwen2.5-vl-27b-GGUF）同樣支援多模態，但 Huihui 版本強調「abliterated」移除拒答、附帶完整系統提示範本，作者在 model card 說「更適合需要無審查回應的研究與開發場景」。
• 怎麼取得: README 給出 Ollama 一鍵指令：ollama run hf.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF:q4_k_m；或 llama.cpp：./llama-cli -m Huihui-Qwen3.8-27B-abliterated-Q4_K_M.gguf -p "<|vision_start|><|image_1|><|vision_end|>描述這張圖"。
• 連結: https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

2. SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF：27B 多模態、GSQ+RCO 量化技術宣稱同體積留更多精度、Apache-2.0 可商用

• 這是什麼: 同樣基於 Qwen2.5-VL-27B-Instruct，由作者 @sc117 採用 GSQ（Group Size Quantization）加上 RCO（Rotated Calibration Optimization）量化技術產出的 GGUF 版本，參數量 27B，Apache-2.0 授權可直接商用，提供 Q4_K_M、Q5_K_M、Q8_0、Q3_K_L 等量化檔。
• 能用在哪些場景:
  • 量化研究者在同張 24GB 顯卡上對比 GSQ-RCO 與傳統 K-quant 在長文本生成（如 32k context 程式碼補全）的困惑度差異，驗證官方宣稱的「lower perplexity at same bit-width」。
  • 需要部署多模態客服機器人的中小團隊，用 Q4_K_M GGUF 在單張 RTX 3090 上跑圖文混合工單分類，授權 Apache-2.0 可直接商用不需額外協商。
  • 邊緣裝置工程師把 q3_K_L 版本（約 14GB）塞進 Jetson Orin NX 16GB 模組，離線跑倉庫條碼加貨架照片的異常偵測提示詞。
• 跑得動嗎: Model card 僅列出可用量化檔名（Q4_K_M、Q5_K_M、Q8_0、Q3_K_L 等），未標示最低顯示記憶體需求；README 寫「Works with llama.cpp, Ollama, LM Studio」；依 27B 參數量與 q3_K_L 約 14GB 體積估算，16GB 顯卡或邊緣裝置可嘗試，以上屬推估非官方數據。
• 本期聲量: HF 熱度 192，累積 410 萬次下載，1.0k 個讚，同樣是 27B 多模態 GGUF 且 Apache-2.0。
• 跟同類比: 作者在 model card 註記：「GSQ-RCO quantization by @sc117, based on Qwen2.5-VL-27B-Instruct」，對比同基礎模型的標準 K-quant（如 Huihui 版），宣稱「better quality at 3-4 bit」，但未附第三方基準測試連結。
• 怎麼取得: 頁面提供 Ollama 指令：ollama run hf.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF:q4_k_m；llama.cpp：llama-cli -m Qwen3.8-Flash-Next-GSQ-RCO-abliterated-Q4_K_M.gguf -cnv -p "<|vision_start|><|image_1|><|vision_end|>分析這張圖表"。
• 連結: https://huggingface.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF

3. HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive：4B 參數、無審查微調、最輕量可落地、8GB 顯卡甚至 16GB 系統記憶體 MacBook 即可流暢跑起

• 這是什麼: 基於 Qwen2.5-4B 的通用無審查微調版本，作者在 model card 寫「Aggressive uncensoring for maximum helpfulness」，參數量僅 4B，GGUF 格式，Apache-2.0 授權免版稅，適合極度受限硬體環境。
• 能用在哪些場景:
  • 前端工程師在離線航班上，用 MacBook Pro (M2 16GB) 跑 q4_K_M 版本（約 2.8GB），離線生成 React 元件程式碼、寫單元測試、重構 CSS，完全不仰賴雲端 API。
  • 資安團隊在氣隙環境的舊筆電（GTX 1650 4GB + 16GB RAM）部署 q3_K_M，離線做日誌異常摘要、威脅情報提取，模型權重不可外傳、授權 Apache-2.0 免版稅。
  • 教學實驗室把模型打包成 llamafile 單一執行檔，學生雙擊即可在 Windows、Linux、Mac 上體驗無審查中文對話，零安裝門檻、零 GPU 也能跑（純 CPU 推論約 8-12 tok/s，此為社群回報非官方數據）。
• 跑得動嗎: 官方 model card 未標示硬體門檻；README 僅說明「GGUF format for llama.cpp/Ollama」，社群回饋在 Issue 裡提到「4GB VRAM 跑 q3_K_M 可行、8GB VRAM 跑 q4_K_M 舒服」，屬使用者回報非官方數據；依 4B 參數量與 GGUF 量化體積估算，8GB 顯卡跑 q4_K_M、4GB 顯卡跑 q3_K_M、16GB 系統記憶體 MacBook 跑 CPU 推論皆具可行性，以上屬推估。
• 本期聲量: HF 熱度 78，累積 32.9 萬次下載，833 個讚，是本期最「輕量可落地」的中文強項模型。
• 跟同類比: 同屬 Qwen2.5-4B 系的 ccore/qwen3.5-4b-3d-coder（已介紹過）專攻 3D 程式碼；HauhauCS 版本則是通用「無審查」微調，作者在 model card 寫「Aggressive uncensoring for maximum helpfulness」，差異在訓練資料與系統提示，非架構差異。
• 怎麼取得: Ollama：ollama run hf.co/HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive-GGUF:q4_k_m；llama.cpp：./llama-cli -m Qwen3.5-4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf -p "用繁體中文寫一個快速排序"。
• 連結: https://huggingface.co/HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

結尾段落

本期三個模型都走 Apache-2.0 可商用路線，GGUF 格式完整支援 llama.cpp 與 Ollama 生態，分別切中 27B 多模態進消費級顯卡、量化技術對比驗證、極限硬體上跑無審查中文三種剛需。手邊有 24GB 顯卡想離線處理程式碼截圖的，先抓 Huihui 版；想做量化品質對比實驗的，SC117 版適合拿來跑基準；手上只有 4GB 顯卡或想塞進 MacBook 飛機模式寫代碼的，HauhauCS 4B 版最划算。下集再見。