地端 AI 實驗室

🧪 321B 的 GLM-5.3-Flash 單卡塞不下，但這顆 9B 熱度衝到 113｜地端 AI 實驗室

Mark Ku

November 5, 2026•13 分鐘閱讀

開場白

GLM-5.3-Flash 在 Hugging Face 上 6.3M 次下載、3.1k 讚、MIT 授權，頁面標示 321B 參數，官方 model card 還特地開了一節「Serve GLM-5.3-Flash Locally」教你自架，但單張消費級顯卡大概是塞不下的。這集另外兩顆比較貼地：一顆 27B 的 coding agent GGUF，一顆 9B 寫作模型，作者在自己 5090 加 LM Studio 的環境上量到 130 t/s 起跳。至於為什麼「下載量冠軍」不是「HF 熱度冠軍」，等一下告訴你。

本期精選

1. zai-org/GLM-5.3-Flash：MIT 授權的旗艦級原生多模態開放權重，門檻在記憶體不在顯卡

這是什麼: 來源是本節目的「地端模型雷達」選題，對應的是 Hugging Face 上的 zai-org/GLM-5.3-Flash 頁面。官方 model card 寫明這是 GLM-5 系列第一個原生多模態模型，HF 頁面標示 321B 參數、張量型別 BF16 與 F8_E4M3，官方 Introduction 則自述 320B 總參數、18B 啟用參數，授權是 MIT，權重公開、不需申請。
能用在哪些場景:
- 公司內網的「不外流多模態助理」後端：model card 的 image-text-to-text pipeline 範例就是傳一張圖片加一句「描述這張圖片」進去。想像你們內部有一堆系統截圖、報表圖表、流程圖，要做成可問答的知識入口，但法遵不准丟外部 API，這顆的定位就是給你自己架一個端點來接。
- 評估要不要把自家 agent 接到自架端點：官方 Introduction 宣稱它在 coding 與 agentic benchmark 上逼近 Claude Opus 4.8，而且 footnote 把評測設定列得滿細的，像 DeepSWE 用 mini-swe-agent harness、400K context，Terminal-Bench 2.1 用 Claude Code 2.1.207。如果你正在做 coding／agent 工具鏈，這些設定值得拿來對照自己的 harness 條件，而不是只看分數。
- 要控制 token 成本與延遲的服務端開發者：model card 的 Note 說明可以用 reasoning_effort 在 low／high／max 之間切換思考預算，預設是 max，正式聊天場景還建議明確帶 clear_thinking=true。等於官方幫你留了一個可調的「省 token 開關」，做線上服務的人應該會有感。
跑得動嗎: 先講清楚，官方 model card 沒有標示任何 VRAM 或 RAM 數字，只在「Serve GLM-5.3-Flash Locally」列出六條部署路徑：SGLang、vLLM、TokenSpeed、Transformers、KTransformers、Unsloth，其中 KTransformers 與 Unsloth 各有專屬教學連結。第三方的數字部分，DataCamp 的 KTransformers 教學寫到官方 KTransformers 教學建議至少預留 350GB 系統記憶體、FP8 權重約 306 GiB；Unsloth 則在 HF discussion 上宣稱其動態量化可以在 128GB 記憶體跑 3-bit、100GB 跑 1-bit。這兩筆都是第三方說法，不是 zai-org 官方 model card 的標示。接下來這句是節目方的判斷，不是來源結論也不是實測：官方沒給數字，我們依 321B 參數加上 FP8／動態量化這個組合做的粗略分級是，這題屬於「大記憶體工作站或 Mac Studio 等級」才有機會的自架題目，單張消費級顯卡請直接跳過。
本期聲量: HF 熱度 62，6.3M 次下載、3.1k 個讚。這邊補一句避免等一下聽起來打架：本期下載量最大的是 GLM-5.3-Flash，但HF 熱度分數最高的是後面第三顆 9B（熱度 113）。下載量與熱度是兩個不同指標，一個看累積量體，一個是平台的綜合熱度分數，不要直接混著比。
跟同類比: 跟同期一樣高聲量的 deepseek-ai/DeepSeek-V4.1-Flash-1017 相比，DeepSeek 官方 model card 的對照表把 GLM-5.3 列為競品，在 Terminal-Bench 4.0、DeepSWE v1.1 等欄位 DeepSeek-V4.1-Flash-1017 的數字比較高，這是 DeepSeek 方的說法。不過 GLM-5.3-Flash 頁面標示 321B 參數、18B 啟用，體積明顯小於 DeepSeek 那顆標示 763B 的模型，對想自架的人門檻低一截。
怎麼取得: model card 的 vLLM 區塊寫的是 pip install vllm 後執行 vllm serve "zai-org/GLM-5.3-Flash"；SGLang 則是 python3 -m sglang.launch_server --model-path "zai-org/GLM-5.3-Flash"，兩者都會起 OpenAI 相容 API。頁面另有 Docker 與社群量化版（Browse Quantizations）入口。
連結: https://huggingface.co/zai-org/GLM-5.3-Flash

2. Jackrong/Qwopus3.8-27B-Coder-Flash-GGUF：27B 的本地 coding agent 甜蜜點，而且作者自己把話講得很保守

這是什麼: 同樣來自本期「地端模型雷達」。model card 寫明這是 unsloth/Qwen3.8-27B（源自 Qwen/Qwen3.8-27B）的 coding 取向 fine-tune，HF 頁面標示 27B 參數、GGUF 格式，Apache-2.0 授權，直接給量化檔，不需申請。
能用在哪些場景:
- 在自己機器上跑本地 coding agent：README 把目標工作流程直接寫成 Read → Reason → Call Tools → Edit → Test → Recover → Deliver，訓練資料含約 20K 筆 agent 互動與工具呼叫樣本，主要自 Qwen3.8-Flash-Max 蒸餾。換句話說，它針對的不是「幫我補完這行」，而是「選工具、看輸出、改計畫、交付成品」這整段迴圈。
- 程式碼不能離開內網的團隊：HF 頁面的 llama.cpp 與 Ollama 指令直接指向 Q4_K_M 量化檔，可以在內網開一個 OpenAI 相容端點，再用頁面示範的 Pi、OpenClaw、Hermes Agent 設定檔，把本地終端機 coding 工具接上去。對那種「客戶合約明文禁止程式碼上雲」的專案來說，這條路線很實際。
- 刷演算法題與做重構的人：model card 說明約 200K 筆程式與複雜推理資料中，演算法與程式生成的部分（教師模型列了 Qwen3.8-Flash-Max、Qwen3.8-Max、DeepSeek-V4-Flash）訓練重點包含演算法實作、邊界條件、重構與除錯。
跑得動嗎: 官方未標示 VRAM 或記憶體需求，model card 只有一節「Checkpoint and runtime」與 Transformers／vLLM 推論範例，頁面上的 llama.cpp、Ollama、Docker Model Runner、Lemonade 指令一律預設抓 Q4_K_M 標籤。以下是節目方的粗略判斷，不是來源說法也不是實測：官方沒給數字，我們依 27B 參數加 Q4_K_M 這個組合推估，它比較像是「有一張大顯示記憶體顯卡，或是統一記憶體較充裕的機器」才會舒服的尺寸，要跑之前建議先用自己的機器實際載一次 Q4_K_M 確認，不要憑這段分級就下單買卡。
本期聲量: HF 熱度 61，23.8k 次下載、62 個讚。量體比 GLM 那顆小很多，但它是本期少數「自己有話說」的社群微調。
跟同類比: 作者在 model card 裡自己說它是 unsloth/Qwen3.8-27B 的 coding 微調版，跟原版 Qwen3.8-27B 的差別在於加了 agent 互動與工具呼叫的蒸餾資料。值得給他一個讚的是，卡片明寫本次評測並未測量「推理 token 減少」，所以名字裡的 Flash 不該被讀成已驗證的加速效果，這是作者自己的提醒。
怎麼取得: README 與 HF 頁面給的是 llama serve -hf Jackrong/Qwopus3.8-27B-Coder-Flash-GGUF:Q4_K_M 起本地 OpenAI 相容伺服器，或 ollama run hf.co/Jackrong/Qwopus3.8-27B-Coder-Flash-GGUF:Q4_K_M。Apache-2.0，不需申請。
連結: https://huggingface.co/Jackrong/Qwopus3.8-27B-Coder-Flash-GGUF

3. DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF：本期唯一真的「一張遊戲卡就能玩」，但它是 fully uncensored

這是什麼: 一樣出自本期「地端模型雷達」。作者說明這是一顆經過多階段微調與合併的 9B 模型，GGUF 格式、Apache-2.0，卡片標示 256k context，README 也寫 vision 已啟用。先把話講在前面：這是一顆 fully uncensored 模型，沒有內建的內容拒答邊界，輸出內容與使用責任完全在你自己身上，公司環境要不要放進流程請先想清楚。
能用在哪些場景:
- 只有一張遊戲卡、想要完全離線的寫作與改稿助手：9B 加 GGUF，作者說可以在所有標準 AI app 裡跑，再加上卡片標示的 256k context，適合那種「手上有一篇幾萬字的長稿要整篇丟進去請它順過」的用法，全程不離開本機。
- 想在本機做看圖問答：README 寫 vision 已啟用，但有個很容易踩的坑，你必須另外下載一個 mmproj 檔，放在 GGUF 同一個資料夾，模型才吃得到圖片。只抓主檔案會以為 vision 壞掉。
- 在意出字速度、願意調參的 local LLM 玩家：作者提供 regular 與 MTP（multi-token prediction）兩種 NEO IMATRIX 量化檔，並建議 MTP 版把 temp 壓在 1 以下、rep pen 設 1，如果 token acceptance 低於 50% 就換回一般量化檔。
- 要 drop-in 塞進既有工作流的工程師：卡片列了建議取樣設定，thinking 模式 temp 1.0／top_p 0.95／top_k 20，精確寫程式任務 temp 0.6，instruct 模式 temp 0.7／top_p 0.80，並說預設 reasoning 為 xhigh、切 instruct 會自動降為 medium。
跑得動嗎: 官方未標示最低 VRAM。作者在說明裡提到的硬體線索是：量化檔皆為 NEO IMATRIX（他宣稱比一般 GGUF 多 2-4% 準確度）、輸出張量保留 16-bit、MTP 張量設為 Q8_0，並建議 context 至少開到 8k 到 16k。速度的部分是作者自己在他環境上的測量：他寫在 5090、Windows 11、LM Studio 上，Q4_K_S 的一般 GGUF 約 130 t/s，MTP 版（2 token、接受率 60%）可超過 185 t/s，他本人也註明速度會隨 GPU、系統與 app 變動。這些數字請當成作者環境下的參考值，不要當成你的機器會有的表現。
本期聲量: HF 熱度 113，2.0M 次下載、1.4k 個讚。如前面提過的，這是本期三顆裡 HF 熱度分數最高的一顆，而下載量最大的仍是 GLM-5.3-Flash 的 6.3M，兩個是不同指標。
跟同類比: 作者在卡片貼出自測 benchmark 表（arc/c、arc/e、boolq、hellaswag、openbookqa、piqa、winogrande），宣稱這顆 9B 在 7 項上勝過 Qwen3.5-9B-Instruct、Qwen3.5-27B-Instruct 等 base 模型，部分情況逼近 Qwen3.6-27B。這全是作者自己的測試與說法，而且他本人也補了一句：超越 27B 的 benchmark 不代表所有任務都會贏 27B。這句補充其實比分數本身更值得記住。
怎麼取得: HF 頁面給的本地指令是 llama serve -hf DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF:Q4_K_M，或 ollama run hf.co/DavidAU/...:Q4_K_M，也可以直接用 LM Studio 或 Jan 開。要用圖片輸入，記得依 README 說明另抓 mmproj 檔放同資料夾。
連結: https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF

結尾

這期三顆剛好排出一條很清楚的階梯：GLM-5.3-Flash 是 MIT 授權、下載量最大的旗艦，但官方沒給 VRAM 數字、第三方寫的是 350GB 系統記憶體等級，那是工作站題；Qwopus3.8-27B-Coder-Flash-GGUF 是本地 coding agent 的中段甜蜜點；DavidAU 那顆 9B 則是唯一真的能在單張遊戲卡上動手的。如果今晚只想動一個，從 9B 開始最快，但請記住兩件事：它是 fully uncensored，產出內容請自己把關、用途自負，不要直接接進對外服務；另外要用 vision 一定要另外抓 mmproj 檔放進同一個資料夾，否則圖片吃不進去。最後補個時效界線：這三份 model card 都沒有標示發布日期，本集所有敘述一律引述 HF 頁面與 model card 當前內容，本節目未實際執行任何一顆模型，而且頁面隨時可能更新，動手前請以你當下看到的頁面為準。我們下集見。