開場白

SmolVLM2-256M-Video-Instruct 在本期資料中已有 45.2k 次下載,官方列出的用途不只影片問答,還包括圖片文字轉錄和視覺比較。2026年11月18日這集也會介紹能在 CPU 執行的 Kitten TTS 2 Mini,等一下告訴你兩個模型分別適合放進什麼樣的地端工具。

本集根據官方 model card 整理,本節目並未實際執行這兩個模型。

本期精選

1. SmolVLM2-256M-Video-Instruct:讓地端工具看圖片,也能回答影片問題

  • 這是什麼:SmolVLM2-256M-Video-Instruct 是 256M 參數的多模態模型,採用 Apache 2.0 授權。官方 model card 說明,它支援影片、圖片與文字輸入,可用於影片問答、圖片文字轉錄和視覺內容比較。
  • 能用在哪些場景:
    • 整理產品展示影片:工程師手上有一段產品操作錄影,想先整理片段內容時,可以針對影片提問,再把模型回答交給人工整理成描述。
    • 轉錄圖片文字:文件工具開發者遇到含有文字的圖片,可以請模型轉錄圖片中的文字,作為後續整理的素材。
    • 比較介面截圖:產品團隊檢視兩張介面截圖時,可以請模型比較視覺內容,輔助整理差異。
  • 跑得動嗎:官方 model card 標示,影片推論需要 1.38 GB GPU 記憶體;該敘述沒有指定量化選項或測試條件。頁面列有 safetensors 與 ONNX 格式。
  • 本期聲量:Hugging Face 熱度為 64,有 45.2k 次下載、323 個讚。
  • 跟同類比:官方 model card 說明,SmolVLM2 使用 SigLIP 作為影像編碼器,SmolLM2 作為文字解碼器,並支援影片、圖片與文字輸入。這是模型組成與用途的說明,素材沒有提供可引用的同類模型直接比較。
  • 怎麼取得:官方提供 Transformers 範例,安裝 transformers 與 accelerate 後,使用 image-text-to-text pipeline 載入 HuggingFaceTB/SmolVLM2-256M-Video-Instruct,再送入圖片與文字訊息。
  • 連結:Hugging Face 模型頁面

2. Kitten TTS 2 Mini:替自架工具加上語音輸出

  • 這是什麼:Kitten TTS 2 Mini 是文字轉語音模型,採用 Apache 2.0 授權。官方範例涵蓋英語與德語語音;素材未提供參數量。
  • 能用在哪些場景:
    • 英文文件朗讀:工程師開發文件朗讀工具時,可以把英文文字轉成音訊檔,讓使用者用聽的接收內容。
    • 自架服務語音提示:開發者想替應用程式加入英文語音通知,可以將提示文字轉成語音,再整合進服務。
    • 德語練習素材:語言學習工具開發者可以依官方範例選擇德語聲音,產生練習音檔。
  • 跑得動嗎:官方 model card 寫明,ONNX int8 權重為 82.7 MB,int4 權重為 47.5 MB,兩者都能在 CPU 執行,而且不需要 PyTorch。官方也提供 float32 PyTorch 權重,範例中列有 CUDA 選項。
  • 本期聲量:Hugging Face 熱度為 46,有 6.4k 次下載、74 個讚。
  • 跟同類比:官方列出 ONNX int8、int4 與 PyTorch float32 選項,其中前兩者可在 CPU 執行;素材沒有提供足以引用的同類模型直接比較。
  • 怎麼取得:依官方 model card,先安裝 kittenml,再用 KittenTTS("KittenML/kitten-tts-2-mini") 載入並呼叫 generate。指定 weights="int4" 就能選用 int4 權重。
  • 連結:Hugging Face 模型頁面

結尾段落

這集兩個選題都指向實用的地端功能:一個處理圖片與影片,另一個替文字加上聲音。如果想先替自架工具加入語音輸出,Kitten TTS 2 Mini 的 CPU 選項值得列入清單;下集再見。

作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調