地端 AI 實驗室

🧪 只改 131,072 個權重：README 宣稱 GSM8K 從 13.8% 衝到 67.1% 的 Qwen3.5-0.8B｜地端 AI 實驗室

Mark Ku

November 4, 2026•12 分鐘閱讀

開場白

一顆 0.8B 的小模型，作者說完全沒做訓練，只動了 131,072 個權重，README 的表格就寫 GSM8K 從 13.8% 升到 67.1%，那就是本期的 RikiyaT/Qwen3.5-0.8B-weight-space-programming。另外兩顆是 Apache-2.0 的 ricursiveAI/Ripple-65B-Preview 與 MIT 授權的 ServiceNow-AI/Apriel-Voice-27B-preview，其中一顆的官方 serving 範例直接開到四張 GPU，等一下告訴你是哪一顆。本期三顆的正式發布日期來源未標示，以下數字都是本期抓取的 HF 頁面資訊。

本期精選

1. ricursiveAI/Ripple-65B-Preview：官方說 65B dense 就能塞進消費級硬體的 agentic coding 模型

這是什麼: 一顆 65B 參數的 dense 模型，Apache-2.0 授權、safetensors 權重直接下載，這個 repo 是 BF16 的 instruct 版。官方 model card 把它定位成「跑在本地裝置」的 agentic coding 模型，自述在 TerminalBench 2.1 拿到 80.52，並寫明支援最高 1M context length。官方同時釋出 BF16 instruct、NVFP4 量化版、純預訓練的 Base Preview 與 DFlash2 共四個 repo。
能用在哪些場景:
- 想把 coding agent 搬進公司內網的後端工程師：手上有一套內部 service，希望 agent 能自己開 terminal、跑測試、照著 stack trace 修 bug，但程式碼不能離開機房。官方 model card 強調它強在 agentic coding，可以拿來接 terminal/SWE 類型的 agent harness。
- 要餵整包 codebase 或長規格書的團隊：官方寫的是支援最高 1M context length，適合把整個 repo 或一份又臭又長的系統規格丟進去，做跨檔案問答、重構規劃這類需要同時看很多檔才講得出話的任務。
- 想在本地盒子做後訓練實驗的人：官方說 Base Preview 是「pretrain-only checkpoint」，沒有 midtraining、也沒有合成 QA 資料，對想自己做 SFT 或 LoRA 實驗的人來說，這種乾淨的起點其實比 instruct 版更有價值。
跑得動嗎: 官方 model card 的原話是「At only 65B total parameters, the model can fit on consumer hardware such as the NVIDIA DGX Spark」，並說為了鼓勵本地開發而提供 NVFP4 checkpoint 與 colab。官方另外提到在資料中心 GPU 上「2xB200、batch=8 可達 250 tok/s（量化與自訂 kernel 之前）」。消費級單張顯卡的門檻，官方沒有寫。如果只是想抓個量級感：依 65B × BF16 粗估，光權重就是數十到上百 GB 等級，這是我方換算、非官方標示，也不是實測，真的要上本地，官方指的路是 NVFP4 那條。另外 repo 標了 custom_code，載入時要允許遠端程式碼。
本期聲量: HF 熱度 107，0 次下載、109 個讚。讚數明顯跑在下載數前面，像是大家先按讚觀望、還沒真的拉權重下來的狀態。
跟同類比: 官方 model card 的說法是，它用 dense 而非 MoE，在 65B 規模追平甚至超越 Reflection Beam 501B、Meta Muse Spark Open 816B、Nemotron 3 Ultra 550B 這些大上十倍的 MoE 模型。但 daily.dev 的社群討論區裡，留言者多半認為「U.S. open-weight SOTA」是範圍切得很窄的行銷說法；X 使用者 @kimmonismus 的串上則質疑 65B dense 在約 273GB/s 記憶體頻寬的裝置上跑 agent loop 會很慢。以上都是他人說法，本節目未實際執行此模型。
怎麼取得: HF 頁面以 safetensors 公開權重，授權頁標示 Apache 2.0，model card 以連結列出 BF16／NVFP4／Base／DFlash2 四個 repo。官方說要跑本地量化版，可從 NVFP4 checkpoint 與官方提供的 colab 入手。
連結: https://huggingface.co/ricursiveAI/Ripple-65B-Preview

2. ServiceNow-AI/Apriel-Voice-27B-preview：MIT 授權、支援 49 種語言的自架語音理解模型

這是什麼: 27B 參數的語音模型，MIT 授權、safetensors 權重可直接下載，官方同步發了 arXiv 技術報告。官方表格把能力列為「轉錄、翻譯與口說問答」，標示支援 49 種語言。很重要的一點是官方自己講明：這個 checkpoint「產生文字與 tool call，而非原生全雙工語音」，語音合成要自己接外部 TTS。
能用在哪些場景:
- 想自架語音客服前台的團隊：model card 說它透過共用的 Gemma 4 backbone「理解口說需求、對對話脈絡做推理並產生文字回應與 tool call」，官方建議搭配外部語音合成器組成互動式語音助理。也就是說你拿它當「聽懂人話並決定要呼叫哪個 API」的那一層，TTS 自己選。
- 內部會議與訪談錄音要轉寫摘要：model card 的 long audio 段落寫到 processor 會自動把 16 kHz 單聲道長錄音切成 30 秒片段，官方表示在測試中觀察到連續錄音約 30 分鐘內表現良好，serving 範例還附了一小時音訊的設定。對那種「會議錄音不能上雲」的公司，這是少數可控的選項。
- 跨語言語音流程：官方標示支援 49 種語言，且可以用 OpenAI 相容 API 丟 audio_url 直接取得轉寫結果，要接進既有 pipeline 的改動成本相對低。
跑得動嗎: 這顆要先把期待值調整好。官方 model card 的 serving 範例是 vLLM、dtype bfloat16、--tensor-parallel-size 4，也就是四張 GPU；optimized serving 段落寫的是「在四張 H100 80 GB 上，相較 baseline 設定約有 2× 的 output-token throughput」。官方沒有提供 GGUF 或消費級顯卡的量化選項，單卡門檻也沒有標示。照官方給的這組範例看，它屬於伺服器等級的自架題目，不是筆電那一掛。
本期聲量: HF 熱度 75，571 次下載、75 個讚。相較前一顆，這顆的下載數已經實際跑起來了。
跟同類比: 官方 model card 的比較表把自己放在「2-stage」類別，宣稱 EVA-X 74.13 高於同為開源的 UltraVox v0.6、Gemma 4-12B-IT、Audex-30B-A3B；但同一份表也顯示 τ-Voice 任務成功率仍落後 Gemini-3.8 Live、GPT Realtime 2.1 等閉源 S2S 系統。這些全部是 ServiceNow 自己的評測數字。
怎麼取得: model card 給了兩條路，一是 vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code，官方提供 v0.32.0 的 vLLM Docker image 並指向上游 vLLM PR #64683；二是 Transformers 直接 AutoModel.from_pretrained(..., trust_remote_code=True) 搭配 AutoProcessor 丟 16 kHz 音訊。
連結: https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview

3. RikiyaT/Qwen3.5-0.8B-weight-space-programming：不做梯度下降，直接請前沿 LLM 改權重的實驗產物

這是什麼: 模型名稱寫的是 0.8B，HF 頁面的參數欄位則顯示 0.9B params，兩個數字指的是同一顆，不是兩個模型。Apache-2.0 授權、safetensors、頁面標示 BF16／F32。它的來歷很特別：README 說作者請一個前沿 LLM（代號 Astra）在 50 次 forward pass 的預算內追蹤 base model 的思考迴圈，只對第 15 與第 19 層 down_proj 的 64 個輸出欄位做減法，總共動了 131,072 個權重，佔全模型 0.016%，而且作者強調全程「no gradient descent and no training」。
能用在哪些場景:
- 想在自己機器上重現「不訓練也能改模型」的工程師：README 附了 provenance 連結的 logs 與 apply_edit.py，等於整套流程攤開給你照著重跑一次。這種下載成本極低、但可以玩一整個週末的題材不常見。
- 要做小模型推理教學或內部分享的人：README 的表格寫 base 版在幾乎每題數學都會迴圈到 token 上限（93.0%），編輯後 MATH-500 從 7.9% 升到 48.1%、GSM8K 從 13.8% 升到 67.1%。官方也提供 Space demo，可以同時看 base 版繞圈圈、編輯版把題目解出來，現場 demo 的對比非常強烈。以上數字全部來自 README 的表格，不是第三方驗證結果。
- 研究模型可驗證性與供應鏈信任的人：README 說編輯以 bit-exact diff 發佈，重建腳本會對每個 tensor 做 sha256 驗證，並列出與 Qwen/Qwen3.5-0.8B 相比「只有兩個 tensor 不同」及其雜湊值。如果你正在想「怎麼證明一份權重檔只被改了哪些地方」，這是現成的實作範例。
跑得動嗎: 官方 model card 未標示最低硬體需求。頁面資訊顯示 0.9B params、BF16／F32，README 的 usage 範例是 vLLM 以 dtype="bfloat16"、max_model_len=34816 載入。粗略抓量級的話，0.9B 規模的權重對一般開發機來說負擔很輕，不過頁面標示是 BF16／F32 混合，實際檔案可能大於純 BF16 的換算值，這段是我方推估、非官方標示。另外 README 提到獨立複跑是在一張 NVIDIA H200 上花 51 分鐘跑完 2,000 次生成，那是評測規模的數字，不是單次推論的門檻。
本期聲量: HF 熱度 91，1.3k 次下載、92 個讚。本期 Hugging Face 上同家族的量化／重打包版本有 2 個，表示已經有人把它搬去別的執行環境了。
跟同類比: 它的對照組就是原始的 Qwen/Qwen3.5-0.8B。README 的數字顯示兩者差別只在兩個 tensor，但 IFEval 從 21.0 升到 62.3、撞 token 上限的比例從 93.0% 降到 33.1%。跟一般靠 LoRA 或 SFT 微調出來的小模型不同，作者強調這是純權重編輯。要注意 README 自述部落格評測的是 text-only 匯出版，而這個 checkpoint 是完整多模態版本，只是語言模型張量經雜湊驗證相同。
怎麼取得: README 的 usage 直接給 vLLM：LLM(model="RikiyaT/Qwen3.5-0.8B-weight-space-programming", dtype="bfloat16", max_model_len=34816)，搭配 enable_thinking=True 的 chat template 與 temperature 0.6 / top_p 0.95 / top_k 20 / presence_penalty 1.5。HF 頁面也列了 transformers、vLLM、SGLang 與 Docker Model Runner 的一鍵指令，另有社群量化版本可接 llama.cpp／Ollama／LM Studio。
連結: https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming

結尾段落

這期三顆剛好排成一條從重到輕的光譜：Ripple-65B-Preview 官方自稱 dense 架構就能在 DGX Spark 這類消費級硬體上跑，但單卡門檻官方沒寫；Apriel-Voice-27B-preview 的官方 serving 範例直接開到四張 GPU，optimized 段落用的是四張 H100 80GB，定位很清楚是機房等級的自架；而 Qwen3.5-0.8B-weight-space-programming 是三顆裡唯一今晚就能拉下來玩的，1.3k 下載加兩個社群重打包版本，想先動手的話從它開始最划算。再提醒一次，這三顆的正式發布日期來源未標示，上面的熱度與下載數都是本期抓取的 HF 頁面資訊，不代表此刻的即時狀態。明天同一時間，地端 AI 實驗室再見。