--- title: "🧪 挑戰 512K 上下文！Nanbeige4.3-33B 登頂最強地端 Agent｜地端 AI 實驗室" description: "在 Hugging Face 狂攬近萬次下載的 Nanbeige/Nanbeige4.3-33B，憑藉著 512K 超長上下文與強悍的 Agent 執行力，成為本週最受矚目的開源地端模型。" canonical_url: "https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-29" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-10-29T02:00:00.000Z" category: "地端 AI 實驗室" tags: ["local-ai", "podcast", "地端模型", "lora", "開源模型", "Nanbeige", "Unlimited_OCR_2", "Hy_Nomas", "Agent", "OCR", "影片生成"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 🧪 挑戰 512K 上下文！Nanbeige4.3-33B 登頂最強地端 Agent｜地端 AI 實驗室 ## 開場白 在 Hugging Face 狂攬近萬次下載的 Nanbeige/Nanbeige4.3-33B，憑藉著 512K 超長上下文與強悍的 Agent 執行力，成為本週最受矚目的開源地端模型。本期節目除了介紹這款能幫你自動重構 Legacy Code 的 33B 悍將，還會分享百度開源、專治幾百頁 PDF 的 Unlimited-OCR-2，以及騰訊能用單張 4090 跑的互動影片模型 Hy-Nomas。到底這些地端神兵該怎麼挑、硬體門檻高不高？等一下告訴你！ --- ## 本期精選 ### 1. Nanbeige/Nanbeige4.3-33B：同量級最強的 Agent 執行與程式碼生成地端模型 - **這是什麼**: 這是由南北閣（Nanbeige）開源的 33B（330 億參數）大型語言模型，採用 Apache-2.0 授權，提供 Safetensors 格式。它主打極致的 Agent 執行能力與程式碼生成，並支援超長的上下文。 - **能用在哪些場景**: - **本地 Legacy Code 自動化重構與除錯**：軟體工程師在進行本地開發時，若不想將敏感的商業原始碼上傳到雲端，可以將它部署為本地 AI Agent。它能幫忙自動化重構複雜的舊系統程式碼、修復 Bug，甚至執行終端機指令（Terminal-Bench 任務）與處理複雜的軟體工程任務（SWE-bench 任務）。 - **跨檔案的專案架構分析**：專案經理或系統架構師需要理解整個 Git Repository 的代碼庫時，可以利用其極長的上下文能力，一次讀入多個檔案，進行跨檔案的架構理解並給出重構建議，完全在本地安全執行。 - **跑得動嗎**: 根據官方 model card 標示，該模型支援高達 512K（524,288 tokens）的上下文長度。在硬體部署方面，官方在 SGLang 與 vLLM 部署範例中，使用了 `--tensor-parallel-size 4`（張量平行度設為 4）與 `--gpu-memory-utilization 0.8` 的配置參數。這意味著若要完整發揮其多卡並行與超長上下文效能，官方配置是使用四卡環境。對於想在本地架設強大 AI 助理、不願將原始碼上傳雲端的台灣工程師來說，需要評估一下手邊的多卡硬體資源。 - **本期聲量**: 目前在 Hugging Face 上獲得 738 熱度，累積了 9.7k 次下載與 749 個讚，社群上也有 2 個同家族的量化或重打包版本。 - **跟同類比**: 官方 Model Card 數據顯示，Nanbeige4.3-33B 在 Terminal-Bench、DeepSWE、SWE-Bench Pro 等多項 Agentic 評測中，超越了同量級的 Qwen3.8-27B、Muse-Glimmer-30B 與 Gemma4-31B，展現出同級最強的 Agent 執行與程式碼生成能力。 - **怎麼取得**: 官方 README 說明，可透過 Transformers 載入，使用 `AutoModelForCausalLM.from_pretrained("Nanbeige/Nanbeige4.3-33B", torch_dtype='auto', device_map='auto', trust_remote_code=True)`，或者使用 SGLang 或 vLLM 啟動服務。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/Nanbeige/Nanbeige4.3-33B) --- ### 2. baidu/Unlimited-OCR-2：專為超長文檔解析設計、徹底解決記憶體瓶頸的 3B 輕量級地端 OCR 模型 - **這是什麼**: 這是由百度（Baidu）開源的 3B（30 億參數）多模態 OCR 模型，採用 MIT 授權，提供 Safetensors 格式，專門用來處理超長文檔並將其轉換為結構化 Markdown。 - **能用在哪些場景**: - **數百頁技術手冊地端一次性解析**：軟體工程師需要將數百頁的 PDF 技術手冊、API 文件或掃描合約轉換為 Markdown，但又極度重視隱私，不願外洩合約。此時可以在本地一次性完整解析，不用擔心發生 OOM（記憶體不足）的問題。 - **企業 RAG 知識庫的圖表與表格精準檢索**：企業內部知識庫（RAG）開發者在處理包含大量圖表、複雜表格的超長歷史文檔時，需要跨頁面的上下文關聯解析。利用此模型可以完整保留圖表脈絡，大幅提升後續 RAG 系統的檢索召回率。 - **跑得動嗎**: 官方 README 標示，在 Transformers 推理測試中，他們使用了一張 NVIDIA A800-80GB 顯卡。不過若使用 SGLang 部署，官方提供了多個記憶體優化參數，例如透過 `--mem-fraction-static 0.7` 來保留足夠的運行空間，並且可以透過 `SGLANG_UOCR_DOC_GUNDAM_PAGE_WINDOW` 調整每個窗口處理的頁數，藉此降低記憶體峰值，這讓地端部署的硬體門檻變得更具彈性。 - **本期聲量**: 目前在 Hugging Face 上獲得 339 熱度，擁有 18.1k 次下載與 355 個讚。 - **跟同類比**: 官方 README 說明，相較於前代 Unlimited-OCR 以及 Deepseek-OCR-2，第二代引入了「稀疏參考滑動窗口注意力（SR-SWA）」，將超長序列的文本-視覺注意力壓縮至固定大小（例如 512 tokens），使每步解碼延遲與記憶體佔用在文檔變長時仍保持近乎恆定，徹底解決了傳統二次方注意力縮放與記憶體瓶頸。 - **怎麼取得**: 官方 README 說明，可以直接透過 Transformers 載入：使用 `AutoModel.from_pretrained("baidu/Unlimited-OCR-2", trust_remote_code=True)`。另外，官方也推薦使用自訂的 SGLang 分支啟動服務以獲得更佳的吞吐量。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/baidu/Unlimited-OCR-2) --- ### 3. tencent/Hy-Nomas：支援多輪自由文本互動與精準相機軌跡控制的騰訊開源互動式影片世界模型 - **這是什麼**: 這是由騰訊（Tencent）開源的互動式影片生成世界模型，採用 Apache-2.0 授權，提供 Safetensors 格式，支援精細的動作與相機軌跡引導。 - **能用在哪些場景**: - **獨立遊戲與動畫的前期分鏡快速迭代**：獨立遊戲開發者或動畫導演在進行 Previs（前期視覺化企劃）時，可以先用文字描述初始場景，再透過「分段引導」逐步加入新物件、改變風格（例如一鍵轉為水彩風）或精準控制鏡頭軌跡，不需要每次都重新生成整段影片，極大提升迭代效率。 - **自動駕駛與機器人的虛擬模擬數據生成**：機器人或自動駕駛研發工程師在訓練模型時，需要多樣化的虛擬模擬數據。可以利用其「動作感知因果注意力」與相機軌跡控制，在本地生成符合物理規律的連續多視角影片，用於訓練與驗證。 - **跑得動嗎**: 騰訊官方 README 標示，該模型可以在單張 GeForce RTX 4090 顯示卡上運行「低記憶體推理配置」。這個配置結合了 INT8 量化權重、INT8 記憶體快取、FP8 解碼器與 CPU offloading（CPU 卸載），在此狀態下，峰值 GPU 記憶體佔用約為 20.53 GiB，對於擁有高階家用顯卡的開發者來說完全在可控範圍內。 - **本期聲量**: 目前在 Hugging Face 上獲得 107 熱度，下載量達到 44.1k 次，並有 110 個讚。其 ComfyUI 社群插件也已迅速推出，地端生態相當活躍。 - **跟同類比**: 根據官方發布的論文與評測，Hy-Nomas 在多輪自由文本互動與相機控制基準測試中，表現優於 LingBot-World v2 等基準模型。其核心設計在於將結構化影片描述與動作感知因果注意力相結合，使描述性上下文在不同片段間保持可存取，同時將動作指令限制在特定的時間窗口內。 - **怎麼取得**: 官方 README 說明，推薦使用 Docker 映像檔部署以簡化環境配置，或透過 ComfyUI 社群插件載入。在本地啟動時，可執行 `deploy.sh` 腳本來自動安裝依賴並啟動服務。 - **連結**: [Hugging Face 頁面連結](https://huggingface.co/tencent/Hy-Nomas) --- ## 結尾段落 從本期的選題可以看出，地端模型正在朝向「超長上下文」與「極致的互動控制」演進。不論是 33B 卻擁有 512K 上下文的 Nanbeige4.3-33B，還是專治超長文檔的輕量級 Unlimited-OCR-2，都幫我們把隱私與效能牢牢鎖在本地，非常值得追求地端自主權的工程師們下載動手玩玩看。地端 AI 實驗室，我們明天見！ --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/local-ai-lab/local-ai-lab-2026-10-29) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 - [AI 資安監控 ai-security-monitor](https://blog.markkulab.net/tools/ai-security-monitor): Rust 寫的單一執行檔 ai-security-monitor 裝在電腦或伺服器上，抓出異常連線、用 26 個公開威脅情資來源判定安全／可疑／危險，檢查防火牆、開放 port、漏洞與 60 條系統硬化；Security Hub 集中看整個車隊，Claude Code／Codex 用白話解讀。MIT 開源、免費、自架。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物日報](https://blog.markkulab.net/category/open-source-weekly): 每天從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動日報](https://blog.markkulab.net/category/sports-weekly): 每天以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每天精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml - [AI 行銷日報](https://blog.markkulab.net/category/ai-marketing): 每天以雙人對話整理最新 AI 在行銷、廣告、SEO／GEO 與內容行銷的大事，實戰視角、不業配、每則附出處。 — RSS: https://blog.markkulab.net/ai-marketing/feed.xml - [AI 資安日報](https://blog.markkulab.net/category/ai-security): 每天以雙人對話整理最新 AI 與資安交會的大事：LLM 與 AI agent 漏洞、prompt injection、模型供應鏈、攻擊者怎麼用 AI，防禦視角、每則附出處。 — RSS: https://blog.markkulab.net/ai-security/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。