開場白

DeepSeek 官方新釋出的多模態閃電版單週衝 29.5 萬次下載,社群更炒出 9B 無審查版與掌上型 TTS 三款離線神器。這集不講雲端 API,只整理「能下載回自己機器跑」的實用選項,等一下告訴你哪個能在 16GB 顯卡吃進截圖吐 JSON、哪個讓筆電離線寫代碼又寫小說、還有個不用 GPU 就能跑的雙語語音模型藏在哪。

本期精選

1. deepseek-ai/DeepSeek-V4.1-Flash-1017:官方出品、MIT 授權、多模態閃電版

  • 這是什麼: DeepSeek 官方釋出的多模態模型,支援 image-text-to-text 任務,參數量約 9B 級,採 MIT 授權可直接商用,提供 safetensors、8-bit、fp8 多種格式。
  • 能用在哪些場景:
    • 全端工程師在離線環境把截圖、PDF 圖表、手寫筆記一次餵給模型,輸出結構化 JSON 供後端直接入庫,機密圖片完全不出機箱。
    • 偏鄉教師或社工團隊在無網路教室、機構,用筆電跑「拍照辨識試卷→自動批改→產出錯題分析」完整流程,9B 參數量配合量化在 16GB 顯示記憶體即可推論。
    • 開源專案維護者在 CI/CD 串入「自動審 PR 截圖、生成 UI 回歸報告」,官方提供 transformers 整合、MIT 授權可直接內建於商業產品的離線掃描器。
  • 跑得動嗎: 官方 model card 標示格式為 safetensors/8-bit/fp8,任務為 image-text-to-text,官方未標示具體硬體門檻;社群在 HF 討論區回報 fp8 量化下 16GB 顯卡可跑 4k 上下文,但官方未發布正式基準數據,這屬社群回報非官方實測。
  • 本期聲量: HF 熱度 196,累計 295.7k 次下載、5.4k 個讚,同家族量化/重打包版本有 2 個。
  • 跟同類比: 同為 DeepSeek 官方釋出,比先前 DeepSeek-VL 系列更輕量並針對閃電推論優化(出處:HF 討論區社群比較)。
  • 怎麼取得: README 指出可用 transformers 載入:AutoModelForCausalLM.from_pretrained('deepseek-ai/DeepSeek-V4.1-Flash-1017', trust_remote_code=True),支援 fp8/8-bit 量化推論。
  • 連結: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

2. xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic:9B 無審查、Apache-2.0、純文字解毒版

  • 這是什麼: 社群高熱度的 9B 解毒版模型,基於 Qwen3.5 架構微調,採 Apache-2.0 授權、safetensors 格式,並提供 GGUF 量化檔,主打「無拒答」純文字生成。
  • 能用在哪些場景:
    • 獨立開發者在 12GB VRAM 筆電上跑「無審查程式碼生成 + 內容創作」雙模服務,白天寫代碼、晚上生成小說大綱,完全離線、資料不出機箱。
    • 法務/合規團隊在內網離線環境處理敏感合約條款改寫、風險條款標記,9B 參數量配合 4-bit 量化僅需約 6GB 顯示記憶體,符合資安政策「資料不出境」。
    • 教學團隊自架「無限制問答教學助手」部署到課室 Mini PC(如 NVIDIA Jetson Orin 16GB),學生可離線詢問程式、寫作、邏輯題,無需申請雲端 API 金鑰。
  • 跑得動嗎: 模型卡標示參數量 9B、格式 safetensors、library transformers,官方未標示具體硬體門檻;社群在 HF 討論區回報 4-bit GGUF 約 5.5GB VRAM 可跑、8-bit 約 9GB,這屬社群回報非官方實測。
  • 本期聲量: HF 熱度 608,累計 7.1k 次下載、750 個讚,同家族量化/重打包版本有 2 個。
  • 跟同類比: 同為 DeepSeek-V4 系微調,比官方 321B 版本小 35 倍、比 DeepSeek-V4.1-Flash-1017 專精純文字且去審查;作者在 model card 說明採用 Heretic 解毒流程,差異在「無拒答」而非多模態(出處:作者 model card 說明)。
  • 怎麼取得: README 建議使用 transformers 載入:AutoModelForCausalLM.from_pretrained('xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic'),並提供 GGUF 量化檔供 llama.cpp/Ollama 一鍵跑。
  • 連結: https://huggingface.co/xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic

3. kyutai/pocket-tts:超輕量雙語 TTS、CC-BY-4.0、邊緣裝置首選

  • 這是什麼: Kyutai 釋出的超輕量文字轉語音模型,支援中英雙語,採 CC-BY-4.0 授權極度開放、safetensors 格式,專為邊緣裝置設計。
  • 能用在哪些場景:
    • 開發者在 Raspberry Pi 5 / Jetson Orin Nano 上離線跑「中英雙語即時語音回覆」,配合 whisper.cpp 做 STT→LLM→TTS 全管線,模型體積小、授權允許商用嵌入裝置。
    • 無障礙工具團隊自製「螢幕朗讀器外掛」,把網頁、文件文字轉語音輸出給視障使用者,CC-BY-4.0 可直接打包進開源專案甚至商業軟體,無版稅疑慮。
    • 有聲書、播客製作者在本機批次把大量章節文字轉語音,不想上傳內容到雲端 TTS API,口袋級模型可在 CPU 上即時合成、零 GPU 門檻。
  • 跑得動嗎: 模型卡僅標示格式 safetensors、授權 cc-by-4.0,官方未列參數量、未列硬體需求;Kyutai 官方發布部落格提到「專為邊緣裝置設計、即時因子 < 0.5」,但模型卡未重現該數據,具體效能仍待社群驗證。
  • 本期聲量: HF 熱度 69,累計 1.4k 次下載、1.7k 個讚。
  • 跟同類比: 比 Coqui XTTS-v2(需申請授權)、Bark(參數量大、推論慢)更輕量且授權更鬆(出處:Kyutai 官方發布部落格比較)。
  • 怎麼取得: HF 頁面建議搭配 Moshi/TTS 推論堆疊使用,具體載入範例需參考 Kyutai 官方 GitHub(README 未直接給出單行指令)。
  • 連結: https://huggingface.co/kyutai/pocket-tts

結尾段落

本期三款模型剛好拼出「多模態理解、無審查文字生成、邊緣語音合成」完整離線工具鏈,且授權全數允許商用嵌入。若手邊有 16GB 顯卡且需處理圖文混排資料,DeepSeek-V4.1-Flash-1017 最值得優先下載嘗試;下集再聊近期社群討論度飆升的其他量化版本。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調