--- title: "🧪 4B 參數也能控思考預算？搭 8 步蒸餾繪圖神隊友，無網也能跑 Agent｜地端 AI 實驗室" description: "這一期我們挖到在 Hugging Face 狂吸 7.5 萬次下載的 8 步繪圖蒸餾 LoRA，以及主打「可控思考預算」的極輕量 4B 級 Spark-X2.6-4B 模型。只要一台舊款 Mac 或中低階顯卡，就能在完全斷網的環境下，跑起會自己修伺服器的 Agent，甚至還能精準控制圖片裡的文字排版，到底是怎麼辦到的？等一下告訴你。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-23" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-10-23T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "Spark-X2.6-4B", "MOSS-Image-SFT", "LoRA", "ComfyUI", "地端AI實驗室"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 4B 參數也能控思考預算？搭 8 步蒸餾繪圖神隊友，無網也能跑 Agent｜地端 AI 實驗室 這一期我們挖到在 Hugging Face 狂吸 7.5 萬次下載的 8 步繪圖蒸餾 LoRA，以及主打「可控思考預算」的極輕量 4B 級 Spark-X2.6-4B 模型。只要一台舊款 Mac 或中低階顯卡，就能在完全斷網的環境下，跑起會自己修伺服器的 Agent，甚至還能精準控制圖片裡的文字排版，到底是怎麼辦到的？等一下告訴你。 ## 本期精選 ### 1. XHToken/Spark-X2.6-4B：具備「可控思考預算」與強大 Agent 任務能力的 4B 輕量地端模型 - **這是什麼**: 這是一款參數規模僅有 4B 的超輕量地端大型語言模型，採用 Apache-2.0 開源授權，格式為 safetensors。它最大的特色是支援「可控思考預算」，並且在工具呼叫與 Agent 任務上表現優異，非常適合對硬體資源敏感的開發場景。 - **能用在哪些場景**: - (1) **離線開發助理**：軟體工程師在飛機上、高鐵或無網路的密閉環境下，需要一個能快速理解複雜程式碼、自動生成單元測試，且完全不消耗 API 額度的本機 AI 助手。 - (2) **動態資源分配系統**：開發者在資源受限的單板電腦（如 Raspberry Pi）或舊款 Mac 上部署客服機器人，平時使用「無思考模式」以極低延遲回覆簡單問候，遇到複雜邏輯時動態切換至「高思考模式」以確保回答品質。 - (3) **本地自動化運維 Agent**：DevOps 工程師利用其強大的 Tool-calling 能力，讓模型在本地安全沙盒中執行多輪終端機指令，自動排查並修復伺服器設定錯誤。 - **跑得動嗎**: 根據官方 model card 標示，該模型在邊緣推論效率上優於 Qwen3.5-4B 與 Gemma-E4B，並指出可透過 MLX 支援 Apple Silicon GPU、Linux CPU 及 NVIDIA CUDA。雖然官方未標示具體的顯示記憶體（VRAM）佔用，但提到可使用 llama.cpp、Ollama、LM Studio 等相容工具載入量化版本。以 4B 參數量來估計，量化後的版本通常只需要 4GB 到 6GB 左右的 VRAM，對於大部分工程師的開發機來說完全沒有負擔。 - **本期聲量**: 目前在 Hugging Face 上的熱度為 219，擁有 482 次下載與 233 個讚。此外，本期 Hugging Face 上同家族的量化或重打包版本已經出現了 2 個，顯示社群已經開始動手為它進行優化。 - **跟同類比**: 官方 model card 宣稱，Spark-X2.6-4B 在同等參數量的開源模型中達到了最佳（best-in-class）效能，甚至在多項基準測試中追平或超越了約 9B 參數量的較大模型。 - **怎麼取得**: 官方 README 說明，可以直接使用 Transformers 函式庫載入：`from transformers import AutoModelForCausalLM; model = AutoModelForCausalLM.from_pretrained("XHToken/Spark-X2.6-4B", trust_remote_code=True, device_map="auto")`，或者透過 `ollama run SparkLLM/Spark-X2.6-4B` 直接在本機運行。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/XHToken/Spark-X2.6-4B) --- ### 2. OpenMOSS-Team/MOSS-Image-SFT：主打強大自然語言理解與 JSON 佈局控制的 5B 開源圖像生成模型 - **這是什麼**: 這是一個 5B 參數量的開源圖像生成模型，採用 Apache-2.0 授權，格式為 safetensors。它最大的特色是支援獨特的 Layout-to-image（佈局轉圖像）控制，能精準理解自然語言並控制畫面元素的排版。 - **能用在哪些場景**: - (1) **精準 UI 介面原型生成**：前端工程師在設計新版網頁時，利用 JSON 格式定義白板、便籤與文字的精確位置（如 `bbox_format: "yxyx"`），讓模型在指定區域精準渲染出繁體中文標題與按鈕，避免傳統繪圖模型的文字錯亂問題。 - (2) **本地 ComfyUI 創意繪圖**：獨立遊戲開發者在本地使用 ComfyUI，透過安裝 MOSS-Image 原生外掛，直接輸入長文本自然語言，為遊戲生成高品質且排版合理的場景道具圖。 - **跑得動嗎**: 官方 README 寫的是，需要 Python 3.10 或更高版本，以及支援 CUDA 的 NVIDIA GPU。在精度方面，Transformer 與 Text Encoder 使用 bfloat16 精度，VAE 與初始雜訊使用 float32 精度，內建的 VAE 採用了 FLUX.2 small 解碼器。由於它是 5B 規模且部分組件需要 float32 運算，建議準備 12GB 以上 VRAM 的 NVIDIA 顯卡會比較保險。 - **本期聲量**: 在 Hugging Face 上熱度高達 522，累積了 6.9k 次下載與 563 個讚，是近期地端繪圖圈非常受矚目的新星。 - **跟同類比**: 官方 README 提到，相較於 MOSS-Image-Base 基礎模型，這個經過監督微調的 SFT 版本在文字分組的清晰度與白板佈局的組織性上，皆能產生更清晰、更有條理的視覺效果。 - **怎麼取得**: 官方說明指出，可透過 Diffusers 載入：`pipe = DiffusionPipeline.from_pretrained("OpenMOSS-Team/MOSS-Image-SFT", custom_pipeline="pipeline_moss_image", trust_remote_code=True)`，或在 ComfyUI Manager 中搜尋 "MOSS-Image" 安裝原生外掛。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT) --- ### 3. lodestones/MOSS-Image-SFT-8-steps-dmd：專為 MOSS-Image-SFT 設計、能將 50 步繪圖縮短至 8 步的超強蒸餾 LoRA - **這是什麼**: 這是一個專為 MOSS-Image-SFT 圖像模型量身打造的 8 步蒸餾 LoRA 權重，採用 Apache-2.0 授權，提供 safetensors 格式。它能大幅縮短圖片生成時間，是解決地端顯示卡效能瓶頸的利器。 - **能用在哪些場景**: - (1) **中低階顯卡快速出圖**：只有一張 8GB VRAM 顯卡的個人創作者，在本地運行 MOSS-Image-SFT 時，載入此 LoRA 權重，將單張圖片的生成時間縮短數倍，實現近乎即時的靈感預覽。 - (2) **ComfyUI 工作流加速**：工作流設計師在 ComfyUI 中配置自動化批次繪圖節點，透過載入此 LoRA 並將強度設為 1.0，在不犧牲太多畫質的前提下，大幅提升每小時的圖片產出效率。 - **跑得動嗎**: 官方 README 標示，此蒸餾 delta 小於 bf16 的四捨五入步長，因此 `transformer/` 必須在 fp32 精度下載入與運行（`torch_dtype=torch.float32`，不使用 autocast）；若要進行快速的 bf16 推論，則需保持基礎倉庫的 bf16 transformer，並以未合併（unmerged）的方式套用此 LoRA 權重。 - **本期聲量**: 雖然熱度分數為 196，但其下載量極為驚人，高達 75.4k 次下載，並獲得 201 個讚，足見這顆加速 LoRA 對於地端玩家的吸引力。 - **跟同類比**: 根據作者在說明裡的說法，這是將原本需要 50 步、CFG 3 的 MOSS-Image-SFT，透過資料空間分佈匹配蒸餾（Data-space DMD）技術，蒸餾至僅需 8 次網路評估且無需 CFG 的版本。 - **怎麼取得**: 官方 README 寫的是，可以直接將 `lora.safetensors`（推薦強度 1.0）或 `lora_latest.safetensors`（推薦強度 0.7）直接載入至 ComfyUI 的 LoRA 載入器（LoRA Loader）中。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/lodestones/MOSS-Image-SFT-8-steps-dmd) ## 結尾段落 從這週的選題可以看得出來，地端 AI 正在往「極致輕量化」與「精準控制」這兩個方向快速演進。我們不僅能在 4B 規模的小模型上玩到可控的思考預算，甚至連原本非常吃資源的 Layout 控制繪圖，都能透過 8 步蒸餾技術在普通顯卡上飛速運行。如果你手邊剛好有舊款 Mac 或中低階 NVIDIA 顯卡，不妨先把這幾個模型與 LoRA 下載回去試試看，我們下集再見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-23) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): Rust 寫的單一執行檔 ai-security-monitor 裝在電腦或伺服器上，抓出異常連線、用 26 個公開威脅情資來源判定安全／可疑／危險，檢查防火牆、開放 port、漏洞與 60 條系統硬化；Security Hub 集中看整個車隊，Claude Code／Codex 用白話解讀。MIT 開源、免費、自架。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物週報](https://blog.markkulab.net/category/open-source-weekly): 每週從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動週報](https://blog.markkulab.net/category/sports-weekly): 每週一、三、六以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每週三、五精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷週報](https://blog.markkulab.net/category/ai-marketing): 每週二以雙人對話整理過去一週 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安週報](https://blog.markkulab.net/category/ai-security): 每週四以雙人對話整理過去一週 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。