--- title: "🧪 只改 131,072 個權重：README 宣稱 GSM8K 從 13.8% 衝到 67.1% 的 Qwen3.5-0.8B｜地端 AI 實驗室" description: "一顆 0.8B 的小模型，作者說完全沒做訓練，只動了 131,072 個權重，README 的表格就寫 GSM8K 從 13.8% 升到 67.1%，那就是本期的 RikiyaT/Qwen3.5-0.8B-weight-space-programming。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-04" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-11-04T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "Ripple-65B-Preview", "Apriel-Voice-27B-preview", "Qwen3.5-0.8B-weight-space-programming", "agentic-coding", "語音模型", "vLLM"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 只改 131,072 個權重：README 宣稱 GSM8K 從 13.8% 衝到 67.1% 的 Qwen3.5-0.8B｜地端 AI 實驗室 ## 開場白 一顆 0.8B 的小模型，作者說完全沒做訓練，只動了 131,072 個權重，README 的表格就寫 GSM8K 從 13.8% 升到 67.1%，那就是本期的 RikiyaT/Qwen3.5-0.8B-weight-space-programming。另外兩顆是 Apache-2.0 的 ricursiveAI/Ripple-65B-Preview 與 MIT 授權的 ServiceNow-AI/Apriel-Voice-27B-preview，其中一顆的官方 serving 範例直接開到四張 GPU，等一下告訴你是哪一顆。本期三顆的正式發布日期來源未標示，以下數字都是本期抓取的 HF 頁面資訊。 ## 本期精選 ### 1. ricursiveAI/Ripple-65B-Preview：官方說 65B dense 就能塞進消費級硬體的 agentic coding 模型 - **這是什麼**: 一顆 65B 參數的 dense 模型，Apache-2.0 授權、safetensors 權重直接下載，這個 repo 是 BF16 的 instruct 版。官方 model card 把它定位成「跑在本地裝置」的 agentic coding 模型，自述在 TerminalBench 2.1 拿到 80.52，並寫明支援最高 1M context length。官方同時釋出 BF16 instruct、NVFP4 量化版、純預訓練的 Base Preview 與 DFlash2 共四個 repo。 - **能用在哪些場景**: - **想把 coding agent 搬進公司內網的後端工程師**：手上有一套內部 service，希望 agent 能自己開 terminal、跑測試、照著 stack trace 修 bug，但程式碼不能離開機房。官方 model card 強調它強在 agentic coding，可以拿來接 terminal/SWE 類型的 agent harness。 - **要餵整包 codebase 或長規格書的團隊**：官方寫的是支援最高 1M context length，適合把整個 repo 或一份又臭又長的系統規格丟進去，做跨檔案問答、重構規劃這類需要同時看很多檔才講得出話的任務。 - **想在本地盒子做後訓練實驗的人**：官方說 Base Preview 是「pretrain-only checkpoint」，沒有 midtraining、也沒有合成 QA 資料，對想自己做 SFT 或 LoRA 實驗的人來說，這種乾淨的起點其實比 instruct 版更有價值。 - **跑得動嗎**: 官方 model card 的原話是「At only 65B total parameters, the model can fit on consumer hardware such as the NVIDIA DGX Spark」，並說為了鼓勵本地開發而提供 NVFP4 checkpoint 與 colab。官方另外提到在資料中心 GPU 上「2xB200、batch=8 可達 250 tok/s（量化與自訂 kernel 之前）」。**消費級單張顯卡的門檻，官方沒有寫**。如果只是想抓個量級感：依 65B × BF16 粗估，光權重就是數十到上百 GB 等級，這是我方換算、非官方標示，也不是實測，真的要上本地，官方指的路是 NVFP4 那條。另外 repo 標了 custom_code，載入時要允許遠端程式碼。 - **本期聲量**: HF 熱度 107，0 次下載、109 個讚。讚數明顯跑在下載數前面，像是大家先按讚觀望、還沒真的拉權重下來的狀態。 - **跟同類比**: 官方 model card 的說法是，它用 dense 而非 MoE，在 65B 規模追平甚至超越 Reflection Beam 501B、Meta Muse Spark Open 816B、Nemotron 3 Ultra 550B 這些大上十倍的 MoE 模型。但 daily.dev 的社群討論區裡，留言者多半認為「U.S. open-weight SOTA」是範圍切得很窄的行銷說法；X 使用者 @kimmonismus 的串上則質疑 65B dense 在約 273GB/s 記憶體頻寬的裝置上跑 agent loop 會很慢。以上都是他人說法，本節目未實際執行此模型。 - **怎麼取得**: HF 頁面以 safetensors 公開權重，授權頁標示 Apache 2.0，model card 以連結列出 BF16／NVFP4／Base／DFlash2 四個 repo。官方說要跑本地量化版，可從 NVFP4 checkpoint 與官方提供的 colab 入手。 - **連結**: https://huggingface.co/ricursiveAI/Ripple-65B-Preview ### 2. ServiceNow-AI/Apriel-Voice-27B-preview：MIT 授權、支援 49 種語言的自架語音理解模型 - **這是什麼**: 27B 參數的語音模型，MIT 授權、safetensors 權重可直接下載，官方同步發了 arXiv 技術報告。官方表格把能力列為「轉錄、翻譯與口說問答」，標示支援 49 種語言。很重要的一點是官方自己講明：這個 checkpoint「產生文字與 tool call，而非原生全雙工語音」，語音合成要自己接外部 TTS。 - **能用在哪些場景**: - **想自架語音客服前台的團隊**：model card 說它透過共用的 Gemma 4 backbone「理解口說需求、對對話脈絡做推理並產生文字回應與 tool call」，官方建議搭配外部語音合成器組成互動式語音助理。也就是說你拿它當「聽懂人話並決定要呼叫哪個 API」的那一層，TTS 自己選。 - **內部會議與訪談錄音要轉寫摘要**：model card 的 long audio 段落寫到 processor 會自動把 16 kHz 單聲道長錄音切成 30 秒片段，官方表示在測試中觀察到連續錄音約 30 分鐘內表現良好，serving 範例還附了一小時音訊的設定。對那種「會議錄音不能上雲」的公司，這是少數可控的選項。 - **跨語言語音流程**：官方標示支援 49 種語言，且可以用 OpenAI 相容 API 丟 audio_url 直接取得轉寫結果，要接進既有 pipeline 的改動成本相對低。 - **跑得動嗎**: 這顆要先把期待值調整好。官方 model card 的 serving 範例是 vLLM、dtype bfloat16、`--tensor-parallel-size 4`，也就是四張 GPU；optimized serving 段落寫的是「在四張 H100 80 GB 上，相較 baseline 設定約有 2× 的 output-token throughput」。官方**沒有提供 GGUF 或消費級顯卡的量化選項，單卡門檻也沒有標示**。照官方給的這組範例看，它屬於伺服器等級的自架題目，不是筆電那一掛。 - **本期聲量**: HF 熱度 75，571 次下載、75 個讚。相較前一顆，這顆的下載數已經實際跑起來了。 - **跟同類比**: 官方 model card 的比較表把自己放在「2-stage」類別，宣稱 EVA-X 74.13 高於同為開源的 UltraVox v0.6、Gemma 4-12B-IT、Audex-30B-A3B；但同一份表也顯示 τ-Voice 任務成功率仍落後 Gemini-3.8 Live、GPT Realtime 2.1 等閉源 S2S 系統。這些全部是 ServiceNow 自己的評測數字。 - **怎麼取得**: model card 給了兩條路，一是 `vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code`，官方提供 v0.32.0 的 vLLM Docker image 並指向上游 vLLM PR #64683；二是 Transformers 直接 `AutoModel.from_pretrained(..., trust_remote_code=True)` 搭配 AutoProcessor 丟 16 kHz 音訊。 - **連結**: https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview ### 3. RikiyaT/Qwen3.5-0.8B-weight-space-programming：不做梯度下降，直接請前沿 LLM 改權重的實驗產物 - **這是什麼**: 模型名稱寫的是 0.8B，HF 頁面的參數欄位則顯示 0.9B params，兩個數字指的是同一顆，不是兩個模型。Apache-2.0 授權、safetensors、頁面標示 BF16／F32。它的來歷很特別：README 說作者請一個前沿 LLM（代號 Astra）在 50 次 forward pass 的預算內追蹤 base model 的思考迴圈，只對第 15 與第 19 層 down_proj 的 64 個輸出欄位做減法，總共動了 131,072 個權重，佔全模型 0.016%，而且作者強調全程「no gradient descent and no training」。 - **能用在哪些場景**: - **想在自己機器上重現「不訓練也能改模型」的工程師**：README 附了 provenance 連結的 logs 與 apply_edit.py，等於整套流程攤開給你照著重跑一次。這種下載成本極低、但可以玩一整個週末的題材不常見。 - **要做小模型推理教學或內部分享的人**：README 的表格寫 base 版在幾乎每題數學都會迴圈到 token 上限（93.0%），編輯後 MATH-500 從 7.9% 升到 48.1%、GSM8K 從 13.8% 升到 67.1%。官方也提供 Space demo，可以同時看 base 版繞圈圈、編輯版把題目解出來，現場 demo 的對比非常強烈。以上數字全部來自 README 的表格，不是第三方驗證結果。 - **研究模型可驗證性與供應鏈信任的人**：README 說編輯以 bit-exact diff 發佈，重建腳本會對每個 tensor 做 sha256 驗證，並列出與 Qwen/Qwen3.5-0.8B 相比「只有兩個 tensor 不同」及其雜湊值。如果你正在想「怎麼證明一份權重檔只被改了哪些地方」，這是現成的實作範例。 - **跑得動嗎**: 官方 model card **未標示最低硬體需求**。頁面資訊顯示 0.9B params、BF16／F32，README 的 usage 範例是 vLLM 以 `dtype="bfloat16"`、`max_model_len=34816` 載入。粗略抓量級的話，0.9B 規模的權重對一般開發機來說負擔很輕，不過頁面標示是 BF16／F32 混合，實際檔案可能大於純 BF16 的換算值，這段是我方推估、非官方標示。另外 README 提到獨立複跑是在一張 NVIDIA H200 上花 51 分鐘跑完 2,000 次生成，那是評測規模的數字，不是單次推論的門檻。 - **本期聲量**: HF 熱度 91，1.3k 次下載、92 個讚。本期 Hugging Face 上同家族的量化／重打包版本有 2 個，表示已經有人把它搬去別的執行環境了。 - **跟同類比**: 它的對照組就是原始的 Qwen/Qwen3.5-0.8B。README 的數字顯示兩者差別只在兩個 tensor，但 IFEval 從 21.0 升到 62.3、撞 token 上限的比例從 93.0% 降到 33.1%。跟一般靠 LoRA 或 SFT 微調出來的小模型不同，作者強調這是純權重編輯。要注意 README 自述部落格評測的是 text-only 匯出版，而這個 checkpoint 是完整多模態版本，只是語言模型張量經雜湊驗證相同。 - **怎麼取得**: README 的 usage 直接給 vLLM：`LLM(model="RikiyaT/Qwen3.5-0.8B-weight-space-programming", dtype="bfloat16", max_model_len=34816)`，搭配 `enable_thinking=True` 的 chat template 與 temperature 0.6 / top_p 0.95 / top_k 20 / presence_penalty 1.5。HF 頁面也列了 transformers、vLLM、SGLang 與 Docker Model Runner 的一鍵指令，另有社群量化版本可接 llama.cpp／Ollama／LM Studio。 - **連結**: https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming ## 結尾段落 這期三顆剛好排成一條從重到輕的光譜：Ripple-65B-Preview 官方自稱 dense 架構就能在 DGX Spark 這類消費級硬體上跑，但單卡門檻官方沒寫；Apriel-Voice-27B-preview 的官方 serving 範例直接開到四張 GPU，optimized 段落用的是四張 H100 80GB，定位很清楚是機房等級的自架；而 Qwen3.5-0.8B-weight-space-programming 是三顆裡唯一今晚就能拉下來玩的，1.3k 下載加兩個社群重打包版本，想先動手的話從它開始最划算。再提醒一次，這三顆的正式發布日期來源未標示，上面的熱度與下載數都是本期抓取的 HF 頁面資訊，不代表此刻的即時狀態。明天同一時間，地端 AI 實驗室再見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-04) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。