開場白

本期雷達掃到三個「下載就能跑」的重點:KRAFTON 釋出 3B 參數支援 262K 長文脈的雙語模型、ConceptCountry 用權重空間編輯把 27B 推理 token 砍半卻更強、MinimaLabs 丟出 99M 參數微調教學首選,等一下告訴你哪個最適合今晚動手。

本期精選

1. KRAFTON/Raon-1-nano:3B 參數支援 262K 長文脈,Mac 原生跑雙語工具調用

  • 這是什麼:KRAFTON 從自家 30B-A4B MoE 模型蒸餾剪枝而來的 3B 稠密模型,官方 model card 稱擁有 262K 長文脈,支援繁中、英文混用對話與工具調用,授權為 Apache-2.0。
  • 能用在哪些場景:
    • 想在自己的 MacBook(Apple Silicon)上跑支援繁中、英文混用對話與工具調用的本地助理,不想把內容送上雲端。
    • 公司資安規定不能把文件內容送外部 API,但需要處理長文件摘要或程式碼助理,3B 模型配合 262K context 可在單機跑完。
    • 想在筆電或 mini PC 等邊緣裝置上架設語音助理後端,用 GGUF 搭 llama.cpp 跑推論,不需額外 GPU。
  • 跑得動嗎:官方 model card 標示提供 BF16(約 6.3 GB,無量化)、GGUF(llama.cpp)、MLX 4-bit GPTQ(Apple Silicon)、LiteRT-LM(4-bit 權重、fp16 激活, 4K tokens)四種格式,Mac 用戶可直接用 MLX 載入 4-bit 量化版跑推論。
  • 本期聲量:HF 熱度 92(1.3k 次下載、94 個讚)。
  • 跟同類比:官方 model card 稱在 17 項同規模 benchmark 中領先同量級模型(例如韓語會話 91.0 分);相較前代 Raon-1 mini preview(30B-A4B MoE)透過剪枝與知識蒸餾大幅縮小模型體積,但保留了工具調用與雙語能力。
  • 怎麼取得:README 提供 Transformers、vLLM、llama.cpp、MLX、LiteRT-LM 的完整範例程式碼,Mac 用戶可直接用 MLX 載入 4-bit 量化版跑推論。
  • 連結:https://huggingface.co/KRAFTON/Raon-1-nano

2. ConceptCountry/qwen-concept-27b:權重空間編輯 Qwen2.5-27B,非微調非 Prompt,推理 Token 減 27-54%

  • 這是什麼:ConceptCountry 直接在權重空間手動編輯 Qwen2.5-27B(官方 model card 標示基於 Qwen2.5-27B,來源資料 Qwen3.8-27B 為筆誤)的九個 down-projection 矩陣,非微調、非重打包、也非 prompt engineering,官方公開論文、資料與可重現每個數字的程式碼,授權為 Apache-2.0。
  • 能用在哪些場景:
    • 研究者或進階玩家想理解「不訓練、直接改權重」能不能改善模型行為,可以直接下載程式碼重現論文裡的每個數字。
    • 想輕量化跑 Qwen2.5-27B 又想要比原版推理更有效率(思考 token 減少 27-54%),用 Q4_K_M(16 GB)量化版就能在單張 24 GB 消費級顯卡跑。
    • 技術讀書會或教學想講解介於微調與 prompt engineering 之間的「weight-space programming」新方向,可以拿這個模型當活教材。
  • 跑得動嗎:官方標示提供 BF16(52 GB)、FP8(30 GB)、Q8_0(27 GB)、Q4_K_M(16 GB)四種格式,16 GB 量化版可在單張消費級 GPU 上跑。
  • 本期聲量:HF 熱度 198(64.0k 次下載、263 個讚)。
  • 跟同類比:官方以「norm-matched random edit」做對照實驗,證明是精準編輯而非隨機擾動帶來的效果,在 GPQA Diamond 提升 4.3 分、LiveCodeBench v6 提升 13.0 分;作者自己標示這仍屬實驗性階段,還在評估中。
  • 怎麼取得:model card 指出支援 llama.cpp、Ollama、LM Studio 等本地工具直接載入,並提供論文、資料與「生成每個數字的程式碼」連結(concept.country/research/weight-space-programming)。
  • 連結:https://huggingface.co/ConceptCountry/qwen-concept-27b

3. MinimaLabs/KLM-1.6:99M 參數 Gated DeltaNet-2 基礎模型,CPU 就能跑、幾小時完成微調

  • 這是什麼:MinimaLabs 釋出的 99M 參數極小基礎模型,架構採用 Gated DeltaNet-2 混合注意力,官方標示在 Open SLM 排行榜 100M 參數以下類別拿下 Intelligence Index 第一名(33.95),授權為 Apache-2.0,這是未經指令微調的基礎模型。
  • 能用在哪些場景:
    • 想在樹莓派或老筆電上完全靠 CPU 跑推論的基礎語言模型,拿自己領域的資料做輕量微調實驗。
    • 教學場景想示範「從零開始微調一個 LLM」,99M 參數小到可以在單張消費級 GPU 甚至 CPU 上幾小時內跑完微調。
    • 想研究 Gated DeltaNet-2 這類新注意力架構在小模型上的實際表現,直接拿這個模型的架構設定當範本。
  • 跑得動嗎:官方標示「可在 CPU 和任何 GPU 上運行,不需超出 Transformers 之外的額外套件」,99M 參數、模型檔案小,一般消費級硬體都跑得動。
  • 本期聲量:HF 熱度 81(1.7k 次下載、81 個讚)。
  • 跟同類比:官方標示在 Open SLM 排行榜 100M 參數以下模型中 Intelligence Index(33.95)排名第一;但這是未經指令微調的基礎模型,需要自己做 instruction tuning 才能像助理一樣對話,跟同期已經做好對話微調的小模型(如 KRAFTON Raon 系列)相比,KLM 1.6 更適合當研究與微調的起點而非直接部署成助理。
  • 怎麼取得:官方提供 Python 程式碼範例,包含基本使用與批量推理(fast_generate),用 Transformers 直接載入即可,不需要額外套件。
  • 連結:https://huggingface.co/MinimaLabs/KLM-1.6

結尾段落

本期三款模型剛好拼出地端部署的三種切入點:Raon-1-nano 解決 Mac 使用者要雙語、長文脈、工具調用又不想出門的剛需;qwen-concept-27b 用「權重手術」換來推理效率飛躍,給有顯卡預算的工程師一條不用重訓的捷徑;KLM-1.6 則把微調門檻壓到幾乎為零,適合拿來當教學或架構實驗的起跑線。如果今晚想馬上看到成果,手邊有 Mac 的話先抓 Raon-1-nano 的 MLX 版最快上手,下期再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調