--- title: "🧪 thinking token 砍到 1/10：Qwen3.8-27B-TURBO-Fable-Cold-Fusion 累積 1.5M 次下載｜地端 AI 實驗室" description: "一個 27B 的社群微調，Hugging Face 上累積 1.5M 次下載、2.6k 個讚，作者還直接在 model card 上給你 llama.cpp 跟 Ollama 的一行指令，這就是今天第一個要聊的 DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-06" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-11-06T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "Qwen3.8-27B-TURBO-Fable-Cold-Fusion", "Qwen3.5-0.8B-weight-space-programming", "MinimaxH3TurboLoRas", "GGUF", "llamacpp", "Ollama"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 thinking token 砍到 1/10：Qwen3.8-27B-TURBO-Fable-Cold-Fusion 累積 1.5M 次下載｜地端 AI 實驗室 ## 開場白 一個 27B 的社群微調，Hugging Face 上累積 1.5M 次下載、2.6k 個讚，作者還直接在 model card 上給你 llama.cpp 跟 Ollama 的一行指令，這就是今天第一個要聊的 DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF。另外兩個選題，一個是只改了兩個張量、完全沒訓練的 0.8B 小模型，另一個是 ComfyUI 玩家的影片生成 turbo LoRA 整理包，至於那個「沒訓練也能大幅改變行為」的故事到底怎麼回事，等一下告訴你。 先講清楚：本節目沒有實際執行這些模型，以下所有功能、效能、硬體敘述一律引述官方 model card 與頁面說明。 ## 本期精選 ### 1. DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF：為消費級硬體打包好的 27B GGUF - **這是什麼**: 名字長到像在報身分證字號，但拆開看其實很清楚。這是以 Qwen/Qwen3.8-27B 為基底的多階段社群微調，作者在 model card 裡自稱是「for consumer hardware」而做，並說是用 Unsloth 在消費級硬體上訓練出來的；repo 直接提供 GGUF，27B 參數，授權 apache-2.0。model card 也說明這是一個 de-censored（heretic）版本，Features 清單另外列出 Vision。 - **能用在哪些場景**: - **想在自己工作站跑本地 coding agent**：你已經有一張還可以的卡，想用 llama.cpp 開一個 OpenAI 相容 server，再接 Pi 或 OpenClaw 這種 CLI agent 來改自己的 repo。model card 的 TOOL CALLING 段落講得很具體，建議量化至少 q4km，q5ks／q5km 更好，最推薦 Q6，並且明講低於 q4km 工具呼叫可能會出問題。這種「幾號量化會壞掉」的資訊，在多數 model card 上其實很少見。 - **受不了 reasoning 模型一直空轉的人**：作者在說明裡寫，這版之所以叫 TURBO，是因為把 thinking token 壓到原本的 1/2 到 1/10，而且 xhigh／medium／low 三種推論模式都適用。如果你的使用情境是本機多輪 refine，一句 prompt 改一點、再改一點，每輪都要先看一大坨思考區塊確實很磨人，這個取向值得留意。 - **需要不被拒答的寫作或劇情草稿**：model card 說這是 de-censored 版本，頁面上放了五段創作示範。拿來寫小說草稿、遊戲劇情分支、不想一直被安全政策擋下來的那種素材生成，是作者自己標示的定位。另外因為 Features 有列 Vision，圖片問答也在它宣稱的能力範圍內。 - **跑得動嗎**: 官方沒有標示具體 VRAM 數字，model card 只寫這是為消費級硬體打造、用 Unsloth 在消費級硬體上建構。它給的是量化面的建議值：工具呼叫最低 q4km、建議 Q6，取樣建議 Temp 0.6 或 0.7、Rep pen 設 1（也就是關閉）。我自己的判斷是，27B 在 q4km 這個等級，你大致要準備得起「模型檔案本身搬得進記憶體」的空間，這是從參數量與量化格式推得的常識性推估，不是官方數字，請以你實際下載下來的檔案大小為準。 - **本期聲量**: HF 熱度 250，1.5M 次下載、2.6k 個讚，是本期聲量最高的一個。本期在 Hugging Face 上，同家族的量化或重打包版本有 5 個。 - **跟同類比**: 以下都是作者單方宣稱：他說這個模型在 7 項核心 benchmark 上都超過 base Qwen 3.8 27B，也超過 Qwen3.6-35B-A3B、Qwen 3.6 27B 與 Qwen 3.5 27B，並宣稱是同尺寸第一個 8-bit ARC-C 達 735、4-bit 達 719 的微調。他自己也註明，如果硬體吃不下，同系列的 Qwen3.5-9B-The-Defiant-Fable 是比較小的替代，但不如這一版強。頁面請讀者到 community 分頁看第三方 benchmark，這點我覺得滿誠實的，要信數字之前先去那邊翻一翻。 - **怎麼取得**: HF 頁面的 Local Apps 區塊直接給指令，llama.cpp 用 `llama serve -hf DavidAU/Qwen3.8-27B-TURBO-...-MTP-GGUF:Q4_K_M` 起一個本地 OpenAI 相容 server，或是 `ollama run hf.co/DavidAU/Qwen3.8-27B-TURBO-...-MTP-GGUF:Q4_K_M`。同一個 repo 內同時收錄 regular 與 MTP 兩種 NEO-CODER MAX 雙 imatrix 量化。 - **連結**: https://huggingface.co/DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF ### 2. ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming：只改兩個張量、完全沒訓練的對照組 - **這是什麼**: 0.8B 參數、BF16 safetensors、Apache-2.0。重點不在分數，在題材。model card 說這是「Sparks of Weight Space Programming」實驗 8 當中原本沒有釋出的那個 checkpoint，由一個前沿 LLM 直接手改 131,072 個權重，完全沒有做任何訓練。更關鍵的是作者註明：相對於公開 base（Qwen/Qwen3.5-0.8B，有指定 commit），只有 layers.15 與 layers.19 的 `mlp.down_proj.weight` 這兩個張量不同。 - **能用在哪些場景**: - **讀書會或內部分享的教學素材**：你要跟團隊解釋「權重編輯」跟「微調」到底差在哪，光講很抽象。model card 說 base 模型在幾乎每題數學題都會迴圈輸出到 token 上限、改過的不會，而且附了一個 Space demo，可以同時看 base 跟編輯版跑同一題。投影片放那個 demo，比你講十分鐘有感。 - **做可解釋性或模型修復研究**：只有兩個張量不同，等於拿到一份超乾淨的對照組，可以直接 diff 權重，研究 repetition 或 loop 這種病理到底跟哪些參數有關。這種「變因只有兩個」的素材其實不好找。 - **想在小模型上重現評測流程**：model card 把評測協定寫得很完整，vLLM、thinking 開啟、temperature 0.6、top_p 0.95、top_k 20、presence_penalty 1.5、最多 32,768 new tokens、seed 0，最後一個 `\boxed{}` 用 math-verify 0.9.0 判分，raw 分數與逐題結果放在 repo 的 eval/ 目錄。你想練習建一套自己的評測 pipeline，照著它重跑是個很低成本的起點。 - **跑得動嗎**: 官方未標示消費級硬體門檻，model card 只提到驗證用的環境是 NVIDIA H200 搭 vLLM 0.33.0 與 transformers 5.20.2，另外說權重重建與 hash 驗證是在 CPU 上完成的。檔案面是 0.9B 參數、BF16 safetensors。以這個參數量與精度推估，權重體積大概落在 2GB 這個等級，一般筆電或消費級顯卡搬得動，不過要提醒一句，這是我從參數量與格式推算的，官方沒有給任何消費級硬體的數字。 - **本期聲量**: HF 熱度 64，538 次下載、64 個讚。數字不大，但以這種實驗性質的 checkpoint 來說，讚數跟下載數的比例其實滿有趣的。 - **跟同類比**: 跟 base 的 Qwen3.5-0.8B 相比，model card 自己列的表格是 MATH-500 準確率 5.0%（25 題 smoke，原文寫 7.9）對上本 checkpoint 的 51.0%（原文 48.1），截斷率從 95% 降到 31.6%。作者並說明這份 checkpoint 是用原作者的 `apply_edit.py` 重建、每個張量都做過 sha256 比對。這些都是 model card 上的說法。 - **怎麼取得**: model card 的 Usage 直接給 vLLM 範例，`LLM(model=ckpt, dtype="bfloat16", max_model_len=34816)`，搭配 tokenizer 的 chat template（`enable_thinking=True`）；HF 頁面另外提供 transformers pipeline 與 `vllm serve` 的一行指令。 - **連結**: https://huggingface.co/ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming ### 3. Minimax H3 Turbo LoRas：把各家 turbo LoRA 做成 ComfyUI 載得進去的相容版 - **這是什麼**: 本期唯一的 adapter 類選題，放在 Civitai 上。底模是 MiniMax H3，格式是 BF16 SafeTensor，單檔 591.55 MB，另外有一個 23.97 KB 的 `MiniMax_H3.json` 選用檔。值得先講清楚定位：上傳者自己寫明沒有訓練或蒸餾原始 turbo 權重，這頁提供的是 modified compatibility 版本，目的是讓那些原本載不進去的 LoRA，在使用 pruned 或 curve-form 模型時能被 ComfyUI 內建的 LoRA loader 讀取。 - **能用在哪些場景**: - **想把 MiniMax H3 的影片生成步數壓低**：頁面逐一列出各版本的建議參數，例如 `larryvrh_v4_600_ema` 是 6 到 8 steps、sampler 用 er_sde 或 res_multistep、scheduler simple、Strength 1.0；dmad 版則是 er_sde 或 euler，Video／Audio Shift 給 12／2。你手上已經有一條能跑的 workflow，只是每次出片等太久，這類 turbo LoRA 就是典型的解法。 - **想橫向比較不同來源的 turbo LoRA**：同一頁收了 lightx2v、larryvrh、DMAD、taomate_fl2va、pika 等多個來源，共 7 個 variants。對想認真調品質的人來說，能在同一個 base 上換 LoRA 比畫面跟音訊，省掉自己到處撿檔案的工。 - **卡在相容性問題的人**：如果你曾經下載過某個 turbo LoRA、丟進 ComfyUI 卻載不起來，這頁存在的理由就是解這件事，頁面註明 ComfyUI 相容化是標註 drbaph 與 kijai 的版本。 - **跑得動嗎**: 官方沒有標示 VRAM 或顯卡門檻，頁面只給得出檔案規格與步數、sampler 建議。授權這塊要特別看一下，頁面載明 MiniMax H3 Community License Agreement 的授權範圍排除歐盟、英國、南韓與美國；Civitai 條款那邊則是二創允許、商用標示為 Image／RentCivit／Rent／Sell／SellMerge。如果你的案子有跨境或商用考量，這段請自己去頁面確認原文，不要聽我轉述就下決定。 - **本期聲量**: Civitai 本週榜 54.2k 次下載，評價為 Overwhelmingly Positive，共 969 則。 - **跟同類比**: 上傳者自己的評語是，`dmad_minimax_h3_4step_full_critic_comfyui` 的影像與 larryvrh v4 相當，但他個人覺得音訊品質更好。原始權重分別來自 larryvrh、lightx2v 團隊、TaoLiveAIGC、Bytedance 與 Texas A&M 學生的 DMAD 專案、Pika-Labs。再強調一次，這頁的定位是整合與相容性，不是原創訓練。 - **怎麼取得**: 直接在 Civitai 頁面選版本下載 .safetensors，7 個 variants，預設 best match 是 `minimax_h3_turbo_v4_step600_pruned_comfyui.safetensors`，放進 ComfyUI 的 LoRA 目錄後用內建 LoRA loader 載入。頁面註明所有示範圖都是以 strength 1.0 產生的。 - **連結**: https://civitai.com/models/2837571 ## 結尾段落 今天這三個東西，共同點是作者都把「怎麼在你自己的機器上接起來」寫在最前面：27B 給你一行 llama.cpp 指令跟明確的量化下限、0.8B 給你完整的評測協定與 eval 目錄、LoRA 給你每個版本的 steps 跟 sampler。這在開源生態裡其實不是常態，值得多看兩眼。如果你今天只想動一個，我會建議先抓那個 0.8B 的 weight-space-programming checkpoint，它最輕、下載最快，而且那個「兩個張量、零訓練」的故事，自己看一次 demo 的衝擊比聽我講有效得多。我們下集見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-06) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。