--- title: "🧪 9B 標成 14.6B 推論：SenseNova-Loop-9B-Preview 把 24 層跑兩次｜地端 AI 實驗室" description: "一個官方標著 ~9B 總參數的多模態模型，model card 卻同時寫上 ~14.6B 推論參數，這個模型叫 SenseNova-Loop-9B-Preview，HF 熱度 184、1.5k 次下載、187 個讚。同一期還有 Edge0 的 Audio8-TTS-Realistic-Air，一個 0.6B 的 TTS，熱度衝到 231、7.3k 次下載。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-02" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-11-02T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "SenseNova-Loop-9B-Preview", "Audio8-TTS-Realistic-Air", "多模態模型", "文字轉語音", "零樣本語音克隆", "循環式架構"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 9B 標成 14.6B 推論：SenseNova-Loop-9B-Preview 把 24 層跑兩次｜地端 AI 實驗室 ## 開場白 一個官方標著 ~9B 總參數的多模態模型，model card 卻同時寫上 ~14.6B 推論參數，這個模型叫 SenseNova-Loop-9B-Preview，HF 熱度 184、1.5k 次下載、187 個讚。同一期還有 Edge0 的 Audio8-TTS-Realistic-Air，一個 0.6B 的 TTS，熱度衝到 231、7.3k 次下載。多出來的推論參數到底從哪冒出來、為什麼第三方 GGUF 能壓到 3.84 GB，等一下告訴你。 ## 本期精選 ### 1. SenseNova-Loop-9B-Preview：把同一組權重重跑一次的 looped 多模態模型 **來源**：地端模型雷達（）。官方 News 區標的發布日期是 2026.10.30，這裡依來源原文照錄，實際上架時間還是以 HF 頁面為準。 - **這是什麼**: 官方 model card 把任務標為 image-text-to-text，也就是「吃圖片＋文字、吐文字」的多模態模型，授權是 apache-2.0，權重以 safetensors 直接開放下載。官方 card 寫的架構是 32 層多模態 decoder，結合共享權重的 looped 計算、hybrid attention 與 mHC，並同時列出 ~9B 總參數與 ~14.6B 推論參數兩個數字。官方 News 把它定位成 for long-context and agentic workflows 的 looped multimodal model。 - **能用在哪些場景**: **（a）想做「丟截圖問問題」的本地助理，但截圖不能外流** 你手上是公司內部系統的操作介面、客戶後台的錯誤畫面，或是還沒公開的設計稿，丟給雲端 API 就是法遵問題。官方 card 直接給了 transformers 的 `pipeline('image-text-to-text', ...)` 寫法，意思是你可以在自己機器上起一個服務，貼一張截圖問「這個錯誤是什麼意思、下一步該點哪裡」，產出說明或下一步指令，全程不出機房。 **（b）小團隊要串自架 agent，需要一個本地推論後端** 官方 News 自己就把它定位在 long-context 與 agentic workflows，官方 card 也說 LightLLM 等部署路徑已備；mindstudio 的介紹文補充目前有 Transformers、LightLLM、SGLang PR 三條路可走。如果你正在把 agent 的 LLM 後端從雲端換成本地，而且 agent 需要看得懂畫面（例如讀報表圖、讀監控儀表板），這類「多模態＋長上下文」定位的模型就是候選名單上的東西。 **（c）想搞懂 looped transformer 到底怎麼運作的人** 這點對做技術分享、帶讀書會的人特別有用。repo 裡的 `modeling_sensenova_loop.py` 更新說明寫著支援檢視 Loop 的 hidden states 與 attention，等於官方把拆解的鉤子留給你了。想做「同一層跑第一次 vs 跑第二次，注意力分布差在哪」這種教學拆解，素材是現成的。 - **跑得動嗎**: 先講清楚，**官方 model card 沒有標示 VRAM 門檻**，只寫「建議使用我們文件中的部署環境與設定參數」。所以任何「幾 G 顯示記憶體跑得動」的說法都不是官方背書。 有的是檔案大小：HF 檔案頁顯示官方權重為 8 個 safetensors 分片、合計約 38.2 GB，另有 mtp.safetensors。社群量化頁面則另行標示，notfakerv 的 Q8_0 GGUF 約 14.03 GiB、webmp3 的 Q3_K_M 約 4.64 GB、Q2_K 約 3.84 GB，annelo 另出 Q4_K_M 加 F16 vision projector 版本。 兩個提醒。第一，上面的容量單位 GiB 與 GB 是依各來源頁面原文照錄，沒有統一換算，做「38.2 GB 對 3.84 GB」這種落差推估時請自行留意單位差異。第二，那些 GGUF 都是第三方重打包、非官方產物，而這是一個 image-text-to-text 模型，視覺端在 llama.cpp 生態的支援完整度請自行到各打包頁確認，別抓了 Q4_K_M 才發現只剩純文字能用。 從規格推估（這是推估，不是實測）：原生 safetensors 約 38.2 GB 這個量體，單張消費級顯卡不太可能整包塞下，走 `device_map='auto'` 分流或直接用社群量化版會比較實際。 - **本期聲量**: HF 熱度 184，1.5k 次下載、187 個讚。社群重打包目前看到的有 notfakerv（Q8_0）、webmp3（Q3_K_M、Q2_K）、annelo（Q4_K_M＋F16 vision projector）三組人馬在做量化。 - **跟同類比**: 同樣是 9B 級距的開源多模態，它的差異點是官方 card 自己寫的「共享權重重跑一次」。mindstudio 的分析說第 4 到 27 層這個 24 層區塊，會用相同權重連跑兩次，也就是 B(B(h))。把三個數字串起來看就不繞了：整體 32 層，以 1 起算的話大致是前 3 層加中間 24 層的 loop 區塊再加後 5 層，中間那 24 層算兩遍，所以 card 才要同時標 ~9B 參數（磁碟上實際存的權重）與 ~14.6B 推論參數（實際跑過的計算量）。層號區間取自 mindstudio 的說法，索引起算方式請以 repo 程式碼為準。 同廠的 SenseNova-U1.5-8B-MoT-Preview 走的是 Any-to-Any、18B 的另一條路線，定位不同。 - **怎麼取得**: 官方 card 直接給了三種路。transformers 的 `pipeline('image-text-to-text', model='sensenova/SenseNova-Loop-9B-Preview', trust_remote_code=True)`、`AutoModelForCausalLM.from_pretrained(..., device_map='auto')`，以及 `docker model run hf.co/sensenova/SenseNova-Loop-9B-Preview`。mindstudio 的介紹文特別指出載入時一定要 `trust_remote_code=True`，否則不會拉進 repo 內附的自訂 Loop 模型程式碼。想吃 GGUF 的人則照第三方頁面寫的 `llama serve -hf` 指令走。 - **連結**: https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview --- ### 2. Audio8-TTS-Realistic-Air：0.6B 配置、Apache-2.0、官方說支援零樣本語音克隆的 TTS **來源**：地端模型雷達（）。 - **這是什麼**: Edge0 釋出的文字轉語音模型，官方 card 標示是 0.6B 配置，授權 apache-2.0，權重格式 safetensors。官方給的用法是 transformers 的 text-to-speech pipeline，文字進、語音出。Realistic 系列的 model card 說支援零樣本語音克隆，litert-community 的轉檔頁補充說法是「一段參考錄音加上對應逐字稿即可設定音色，沒有參考音檔也能發聲」。 - **能用在哪些場景**: **（a）自架語音產生服務，不想再按字數付雲端 TTS 的錢** 你在做的是一個會持續產生語音的產品，可能是 App 的朗讀功能、可能是通知語音，用量一上去雲端 TTS 的帳單就很有感。0.6B 配置加 apache-2.0 可商用，意味著你可以把這件事整包搬回自己的機器，成本從「每百萬字多少錢」變成「一張卡的電費」。 **（b）做 Podcast、教學影片的人想用自己的聲音配旁白** 這是零樣本語音克隆最直覺的用法：錄一段參考音檔、附上逐字稿，之後講稿改一行就重產一段旁白，不用重新進錄音間。上面這段是 Realistic 系列 model card 與 litert-community 轉檔頁的說法，不是本節目的量測結果。 **（c）要壓多語客服或導覽語音的團隊** Realistic 系列 card 寫支援 23 種語言，比 Preview 多 12 種，也就是 Preview 為 11 種（由來源的「多 12 種」回推），多出來的包含泰文、越南文、印尼文等。對做東南亞市場的團隊，這個語言覆蓋面值得看一眼。另外 repo 內已附 44.1 kHz 的 neural codec，官方說不需要另外下載 codec checkpoint，少一個環境雷。 **（d）要高吞吐批次產生音檔** 官方 card 指向 SGLang Omni adapter 做 GPU 服務，要你用 `sglang_omni/configs/audio8_tts_0_6b.yaml` 這組 0.6B 設定，並把 model path 指向本模型或下載好的 snapshot。有幾千句要一次壓出來的，走這條。 - **跑得動嗎**: 同樣先攤開來講，**Air 自己的頁面沒有標 VRAM 門檻**，只標示是 0.6B 配置。同家族 Audio8-TTS-Realistic-0.6b 的 model card 寫的是「建議 Python 3.10 以上與一張 CUDA GPU」，並說明 0.6B 指的是主模型、不含 codec。 另外，**來源自述為推算、非實測**的一筆數字：第三方 tokenstrom 的文章估算約 4 GB VRAM，該文自己註明是推算不是實測，官方也沒有背書，請當成參考量級而不是規格。 從規格推估（這是推估）：0.6B 主模型搭配官方只要求「一張 CUDA GPU」的措辭，這個尺寸對一般開發機的壓力明顯小於第一則那個 38.2 GB 的量體。另有 litert-community 把 Realistic-0.6b 轉成 LiteRT 的 Android 版本，顯示這個尺寸也有人往手機端推。 - **本期聲量**: HF 熱度 231，7.3k 次下載、249 個讚，是本期兩個選題中聲量較高的一個。Edge0 官方同時上了 HF Space 試聽 Playground。 - **跟同類比**: 這段數字需要小心讀。Air 的 model card 把自己和 Audio8-TTS-Preview 並列比較（兩者都是 0.6B），表上 Realistic Air 列的是 CV3 錯誤率 4.86%、MiniMax 5.89%。來源摘要裡沒有交代 MiniMax 這一欄是另一個測試集還是另一家模型，所以這兩個數字能不能直接相比，請以官方 card 的原表為準，本節目不替它下定論。 另一組是 MarkTechPost 的報導，寫同系列 Realistic 的 CV3 錯誤率 4.86% 優於 Qwen3-TTS-1.7B 的 7.73% 與 VoxCPM2 的 5.35%，但同篇也點名 4B 級的 Higgs TTS 3 在 CV3 與 MiniMax 兩項仍領先。 整理成一行：Realistic 4.86% ／ VoxCPM2 5.35% ／ Qwen3-TTS-1.7B 7.73%（CV3 錯誤率，數字愈低愈好）。以上皆為 model card 與 MarkTechPost 的轉述數字，不是本節目的量測。 - **怎麼取得**: 官方 card 給的是 `pipeline('text-to-speech', model='Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True)`，或 `AutoModel.from_pretrained(..., trust_remote_code=True, device_map='auto')`。card 也說命令列推論、批次與監督式微調請看 Audio8 TTS 的 repo，model path 一樣填 `Edge0/Audio8-TTS-Realistic-Air`。不想先裝環境的，官方有 Audio8 TTS Realistic Air Playground Space 可以先聽聽看。 - **連結**: https://huggingface.co/Edge0/Audio8-TTS-Realistic-Air --- ## 結尾 本期兩個選題都是 apache-2.0、權重直接下載，方向卻剛好相反：一邊是 SenseNova-Loop-9B-Preview 用共享權重把算力「借」出來，換到 ~14.6B 等級的推論量；一邊是 Audio8-TTS-Realistic-Air 把 TTS 壓到 0.6B，甚至有人轉成 Android 的 LiteRT 版本。要排優先順序的話，純粹看客觀條件，Air 的門檻明顯低一截：0.6B 配置、官方只要求一張 CUDA GPU、還有官方 Space 可以先試聽再決定要不要拉回本地；SenseNova-Loop-9B-Preview 則比較像是先留意架構、等部署路徑（Transformers、LightLLM、SGLang PR）更穩之後再評估。再提醒一次，本集所有功能、效能與硬體數字全數引述官方 model card 與來源報導，本節目未實際執行這兩個模型。明天見。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-11-02) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): 網站上線了，漏洞、憑證與安全設定誰來檢查？ai-security-monitor 用自架 Security Hub 集中網站掃描與主機監控，合併重複發現、比對修補前後，讓你知道哪些問題還沒處理。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。