這一期我們挖到在 Hugging Face 狂吸 7.5 萬次下載的 8 步繪圖蒸餾 LoRA,以及主打「可控思考預算」的極輕量 4B 級 Spark-X2.6-4B 模型。只要一台舊款 Mac 或中低階顯卡,就能在完全斷網的環境下,跑起會自己修伺服器的 Agent,甚至還能精準控制圖片裡的文字排版,到底是怎麼辦到的?等一下告訴你。
本期精選
1. XHToken/Spark-X2.6-4B:具備「可控思考預算」與強大 Agent 任務能力的 4B 輕量地端模型
- 這是什麼: 這是一款參數規模僅有 4B 的超輕量地端大型語言模型,採用 Apache-2.0 開源授權,格式為 safetensors。它最大的特色是支援「可控思考預算」,並且在工具呼叫與 Agent 任務上表現優異,非常適合對硬體資源敏感的開發場景。
- 能用在哪些場景:
- (1) 離線開發助理:軟體工程師在飛機上、高鐵或無網路的密閉環境下,需要一個能快速理解複雜程式碼、自動生成單元測試,且完全不消耗 API 額度的本機 AI 助手。
- (2) 動態資源分配系統:開發者在資源受限的單板電腦(如 Raspberry Pi)或舊款 Mac 上部署客服機器人,平時使用「無思考模式」以極低延遲回覆簡單問候,遇到複雜邏輯時動態切換至「高思考模式」以確保回答品質。
- (3) 本地自動化運維 Agent:DevOps 工程師利用其強大的 Tool-calling 能力,讓模型在本地安全沙盒中執行多輪終端機指令,自動排查並修復伺服器設定錯誤。
- 跑得動嗎: 根據官方 model card 標示,該模型在邊緣推論效率上優於 Qwen3.5-4B 與 Gemma-E4B,並指出可透過 MLX 支援 Apple Silicon GPU、Linux CPU 及 NVIDIA CUDA。雖然官方未標示具體的顯示記憶體(VRAM)佔用,但提到可使用 llama.cpp、Ollama、LM Studio 等相容工具載入量化版本。以 4B 參數量來估計,量化後的版本通常只需要 4GB 到 6GB 左右的 VRAM,對於大部分工程師的開發機來說完全沒有負擔。
- 本期聲量: 目前在 Hugging Face 上的熱度為 219,擁有 482 次下載與 233 個讚。此外,本期 Hugging Face 上同家族的量化或重打包版本已經出現了 2 個,顯示社群已經開始動手為它進行優化。
- 跟同類比: 官方 model card 宣稱,Spark-X2.6-4B 在同等參數量的開源模型中達到了最佳(best-in-class)效能,甚至在多項基準測試中追平或超越了約 9B 參數量的較大模型。
- 怎麼取得: 官方 README 說明,可以直接使用 Transformers 函式庫載入:
from transformers import AutoModelForCausalLM; model = AutoModelForCausalLM.from_pretrained("XHToken/Spark-X2.6-4B", trust_remote_code=True, device_map="auto"),或者透過ollama run SparkLLM/Spark-X2.6-4B直接在本機運行。 - 連結: Hugging Face 頁面連結
2. OpenMOSS-Team/MOSS-Image-SFT:主打強大自然語言理解與 JSON 佈局控制的 5B 開源圖像生成模型
- 這是什麼: 這是一個 5B 參數量的開源圖像生成模型,採用 Apache-2.0 授權,格式為 safetensors。它最大的特色是支援獨特的 Layout-to-image(佈局轉圖像)控制,能精準理解自然語言並控制畫面元素的排版。
- 能用在哪些場景:
- (1) 精準 UI 介面原型生成:前端工程師在設計新版網頁時,利用 JSON 格式定義白板、便籤與文字的精確位置(如
bbox_format: "yxyx"),讓模型在指定區域精準渲染出繁體中文標題與按鈕,避免傳統繪圖模型的文字錯亂問題。 - (2) 本地 ComfyUI 創意繪圖:獨立遊戲開發者在本地使用 ComfyUI,透過安裝 MOSS-Image 原生外掛,直接輸入長文本自然語言,為遊戲生成高品質且排版合理的場景道具圖。
- (1) 精準 UI 介面原型生成:前端工程師在設計新版網頁時,利用 JSON 格式定義白板、便籤與文字的精確位置(如
- 跑得動嗎: 官方 README 寫的是,需要 Python 3.10 或更高版本,以及支援 CUDA 的 NVIDIA GPU。在精度方面,Transformer 與 Text Encoder 使用 bfloat16 精度,VAE 與初始雜訊使用 float32 精度,內建的 VAE 採用了 FLUX.2 small 解碼器。由於它是 5B 規模且部分組件需要 float32 運算,建議準備 12GB 以上 VRAM 的 NVIDIA 顯卡會比較保險。
- 本期聲量: 在 Hugging Face 上熱度高達 522,累積了 6.9k 次下載與 563 個讚,是近期地端繪圖圈非常受矚目的新星。
- 跟同類比: 官方 README 提到,相較於 MOSS-Image-Base 基礎模型,這個經過監督微調的 SFT 版本在文字分組的清晰度與白板佈局的組織性上,皆能產生更清晰、更有條理的視覺效果。
- 怎麼取得: 官方說明指出,可透過 Diffusers 載入:
pipe = DiffusionPipeline.from_pretrained("OpenMOSS-Team/MOSS-Image-SFT", custom_pipeline="pipeline_moss_image", trust_remote_code=True),或在 ComfyUI Manager 中搜尋 "MOSS-Image" 安裝原生外掛。 - 連結: Hugging Face 頁面連結
3. lodestones/MOSS-Image-SFT-8-steps-dmd:專為 MOSS-Image-SFT 設計、能將 50 步繪圖縮短至 8 步的超強蒸餾 LoRA
- 這是什麼: 這是一個專為 MOSS-Image-SFT 圖像模型量身打造的 8 步蒸餾 LoRA 權重,採用 Apache-2.0 授權,提供 safetensors 格式。它能大幅縮短圖片生成時間,是解決地端顯示卡效能瓶頸的利器。
- 能用在哪些場景:
- (1) 中低階顯卡快速出圖:只有一張 8GB VRAM 顯卡的個人創作者,在本地運行 MOSS-Image-SFT 時,載入此 LoRA 權重,將單張圖片的生成時間縮短數倍,實現近乎即時的靈感預覽。
- (2) ComfyUI 工作流加速:工作流設計師在 ComfyUI 中配置自動化批次繪圖節點,透過載入此 LoRA 並將強度設為 1.0,在不犧牲太多畫質的前提下,大幅提升每小時的圖片產出效率。
- 跑得動嗎: 官方 README 標示,此蒸餾 delta 小於 bf16 的四捨五入步長,因此
transformer/必須在 fp32 精度下載入與運行(torch_dtype=torch.float32,不使用 autocast);若要進行快速的 bf16 推論,則需保持基礎倉庫的 bf16 transformer,並以未合併(unmerged)的方式套用此 LoRA 權重。 - 本期聲量: 雖然熱度分數為 196,但其下載量極為驚人,高達 75.4k 次下載,並獲得 201 個讚,足見這顆加速 LoRA 對於地端玩家的吸引力。
- 跟同類比: 根據作者在說明裡的說法,這是將原本需要 50 步、CFG 3 的 MOSS-Image-SFT,透過資料空間分佈匹配蒸餾(Data-space DMD)技術,蒸餾至僅需 8 次網路評估且無需 CFG 的版本。
- 怎麼取得: 官方 README 寫的是,可以直接將
lora.safetensors(推薦強度 1.0)或lora_latest.safetensors(推薦強度 0.7)直接載入至 ComfyUI 的 LoRA 載入器(LoRA Loader)中。 - 連結: Hugging Face 頁面連結
結尾段落
從這週的選題可以看得出來,地端 AI 正在往「極致輕量化」與「精準控制」這兩個方向快速演進。我們不僅能在 4B 規模的小模型上玩到可控的思考預算,甚至連原本非常吃資源的 Layout 控制繪圖,都能透過 8 步蒸餾技術在普通顯卡上飛速運行。如果你手邊剛好有舊款 Mac 或中低階 NVIDIA 顯卡,不妨先把這幾個模型與 LoRA 下載回去試試看,我們下集再見。


























留言