開場白
在 Hugging Face 狂攬近萬次下載的 Nanbeige/Nanbeige4.3-33B,憑藉著 512K 超長上下文與強悍的 Agent 執行力,成為本週最受矚目的開源地端模型。本期節目除了介紹這款能幫你自動重構 Legacy Code 的 33B 悍將,還會分享百度開源、專治幾百頁 PDF 的 Unlimited-OCR-2,以及騰訊能用單張 4090 跑的互動影片模型 Hy-Nomas。到底這些地端神兵該怎麼挑、硬體門檻高不高?等一下告訴你!
本期精選
1. Nanbeige/Nanbeige4.3-33B:同量級最強的 Agent 執行與程式碼生成地端模型
- 這是什麼: 這是由南北閣(Nanbeige)開源的 33B(330 億參數)大型語言模型,採用 Apache-2.0 授權,提供 Safetensors 格式。它主打極致的 Agent 執行能力與程式碼生成,並支援超長的上下文。
- 能用在哪些場景:
- 本地 Legacy Code 自動化重構與除錯:軟體工程師在進行本地開發時,若不想將敏感的商業原始碼上傳到雲端,可以將它部署為本地 AI Agent。它能幫忙自動化重構複雜的舊系統程式碼、修復 Bug,甚至執行終端機指令(Terminal-Bench 任務)與處理複雜的軟體工程任務(SWE-bench 任務)。
- 跨檔案的專案架構分析:專案經理或系統架構師需要理解整個 Git Repository 的代碼庫時,可以利用其極長的上下文能力,一次讀入多個檔案,進行跨檔案的架構理解並給出重構建議,完全在本地安全執行。
- 跑得動嗎: 根據官方 model card 標示,該模型支援高達 512K(524,288 tokens)的上下文長度。在硬體部署方面,官方在 SGLang 與 vLLM 部署範例中,使用了
--tensor-parallel-size 4(張量平行度設為 4)與--gpu-memory-utilization 0.8的配置參數。這意味著若要完整發揮其多卡並行與超長上下文效能,官方配置是使用四卡環境。對於想在本地架設強大 AI 助理、不願將原始碼上傳雲端的台灣工程師來說,需要評估一下手邊的多卡硬體資源。 - 本期聲量: 目前在 Hugging Face 上獲得 738 熱度,累積了 9.7k 次下載與 749 個讚,社群上也有 2 個同家族的量化或重打包版本。
- 跟同類比: 官方 Model Card 數據顯示,Nanbeige4.3-33B 在 Terminal-Bench、DeepSWE、SWE-Bench Pro 等多項 Agentic 評測中,超越了同量級的 Qwen3.8-27B、Muse-Glimmer-30B 與 Gemma4-31B,展現出同級最強的 Agent 執行與程式碼生成能力。
- 怎麼取得: 官方 README 說明,可透過 Transformers 載入,使用
AutoModelForCausalLM.from_pretrained("Nanbeige/Nanbeige4.3-33B", torch_dtype='auto', device_map='auto', trust_remote_code=True),或者使用 SGLang 或 vLLM 啟動服務。 - 連結: Hugging Face 頁面連結
2. baidu/Unlimited-OCR-2:專為超長文檔解析設計、徹底解決記憶體瓶頸的 3B 輕量級地端 OCR 模型
- 這是什麼: 這是由百度(Baidu)開源的 3B(30 億參數)多模態 OCR 模型,採用 MIT 授權,提供 Safetensors 格式,專門用來處理超長文檔並將其轉換為結構化 Markdown。
- 能用在哪些場景:
- 數百頁技術手冊地端一次性解析:軟體工程師需要將數百頁的 PDF 技術手冊、API 文件或掃描合約轉換為 Markdown,但又極度重視隱私,不願外洩合約。此時可以在本地一次性完整解析,不用擔心發生 OOM(記憶體不足)的問題。
- 企業 RAG 知識庫的圖表與表格精準檢索:企業內部知識庫(RAG)開發者在處理包含大量圖表、複雜表格的超長歷史文檔時,需要跨頁面的上下文關聯解析。利用此模型可以完整保留圖表脈絡,大幅提升後續 RAG 系統的檢索召回率。
- 跑得動嗎: 官方 README 標示,在 Transformers 推理測試中,他們使用了一張 NVIDIA A800-80GB 顯卡。不過若使用 SGLang 部署,官方提供了多個記憶體優化參數,例如透過
--mem-fraction-static 0.7來保留足夠的運行空間,並且可以透過SGLANG_UOCR_DOC_GUNDAM_PAGE_WINDOW調整每個窗口處理的頁數,藉此降低記憶體峰值,這讓地端部署的硬體門檻變得更具彈性。 - 本期聲量: 目前在 Hugging Face 上獲得 339 熱度,擁有 18.1k 次下載與 355 個讚。
- 跟同類比: 官方 README 說明,相較於前代 Unlimited-OCR 以及 Deepseek-OCR-2,第二代引入了「稀疏參考滑動窗口注意力(SR-SWA)」,將超長序列的文本-視覺注意力壓縮至固定大小(例如 512 tokens),使每步解碼延遲與記憶體佔用在文檔變長時仍保持近乎恆定,徹底解決了傳統二次方注意力縮放與記憶體瓶頸。
- 怎麼取得: 官方 README 說明,可以直接透過 Transformers 載入:使用
AutoModel.from_pretrained("baidu/Unlimited-OCR-2", trust_remote_code=True)。另外,官方也推薦使用自訂的 SGLang 分支啟動服務以獲得更佳的吞吐量。 - 連結: Hugging Face 頁面連結
3. tencent/Hy-Nomas:支援多輪自由文本互動與精準相機軌跡控制的騰訊開源互動式影片世界模型
- 這是什麼: 這是由騰訊(Tencent)開源的互動式影片生成世界模型,採用 Apache-2.0 授權,提供 Safetensors 格式,支援精細的動作與相機軌跡引導。
- 能用在哪些場景:
- 獨立遊戲與動畫的前期分鏡快速迭代:獨立遊戲開發者或動畫導演在進行 Previs(前期視覺化企劃)時,可以先用文字描述初始場景,再透過「分段引導」逐步加入新物件、改變風格(例如一鍵轉為水彩風)或精準控制鏡頭軌跡,不需要每次都重新生成整段影片,極大提升迭代效率。
- 自動駕駛與機器人的虛擬模擬數據生成:機器人或自動駕駛研發工程師在訓練模型時,需要多樣化的虛擬模擬數據。可以利用其「動作感知因果注意力」與相機軌跡控制,在本地生成符合物理規律的連續多視角影片,用於訓練與驗證。
- 跑得動嗎: 騰訊官方 README 標示,該模型可以在單張 GeForce RTX 4090 顯示卡上運行「低記憶體推理配置」。這個配置結合了 INT8 量化權重、INT8 記憶體快取、FP8 解碼器與 CPU offloading(CPU 卸載),在此狀態下,峰值 GPU 記憶體佔用約為 20.53 GiB,對於擁有高階家用顯卡的開發者來說完全在可控範圍內。
- 本期聲量: 目前在 Hugging Face 上獲得 107 熱度,下載量達到 44.1k 次,並有 110 個讚。其 ComfyUI 社群插件也已迅速推出,地端生態相當活躍。
- 跟同類比: 根據官方發布的論文與評測,Hy-Nomas 在多輪自由文本互動與相機控制基準測試中,表現優於 LingBot-World v2 等基準模型。其核心設計在於將結構化影片描述與動作感知因果注意力相結合,使描述性上下文在不同片段間保持可存取,同時將動作指令限制在特定的時間窗口內。
- 怎麼取得: 官方 README 說明,推薦使用 Docker 映像檔部署以簡化環境配置,或透過 ComfyUI 社群插件載入。在本地啟動時,可執行
deploy.sh腳本來自動安裝依賴並啟動服務。 - 連結: Hugging Face 頁面連結
結尾段落
從本期的選題可以看出,地端模型正在朝向「超長上下文」與「極致的互動控制」演進。不論是 33B 卻擁有 512K 上下文的 Nanbeige4.3-33B,還是專治超長文檔的輕量級 Unlimited-OCR-2,都幫我們把隱私與效能牢牢鎖在本地,非常值得追求地端自主權的工程師們下載動手玩玩看。地端 AI 實驗室,我們明天見!


























留言