--- title: "先工具、再 MCP、最後 Agent：用 Hermes Agent 打造全地端 AI 助理" description: "我先做了聲音、圖片、影片模型的 API，再把它們包成 MCP，最後才讓 Hermes Agent 去調用。結果意外發現，跑在地端 Qwen 35B 上的 Agent，已經能自己準備素材、訓練另一個機器人的 LoRA，還能生圖、生影片、用聲音跟大家打招呼。這篇分享整套全地端架構、為什麼順序是「先工具、再 MCP、最後 Agent」，以及地端模型目前夠用和不夠用的地方。" canonical_url: "https://blog.markkulab.net/post/hermes-agent-local-mcp-lora" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2026-10-11T02:00:00.000Z" category: "AI" tags: ["Hermes Agent", "MCP", "AI Agent", "地端模型", "Qwen", "LoRA", "k3s", "企業導入"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 先工具、再 MCP、最後 Agent：用 Hermes Agent 打造全地端 AI 助理 > **TL;DR** — Qwen 35B 地端 Agent 透過先建 API、再包 MCP、最後接 Agent 的三層架構，已能自主調度聲音、圖片、影片工具完成複雜任務，包括蒐集素材、訓練 LoRA、生影片、配音。地端模型在日常應答、調用內部系統、串接多個 MCP 工具上足夠，關鍵在於工具設計清楚，而非模型聰慧程度。 ## 前言：我的 Agent 自己跑去訓練 LoRA 這件事我自己也蠻意外的。 那天在 Discord 裡隨口叫我的 Agent Melody 幫忙生一支「Ani 的打招呼影片」。Ani 是群組裡另一個機器人。結果 Melody 不只排了影片，還順手把 Ani 的 LoRA 訓練也排進 GPU 佇列：12 張素材準備好、預估 21 分鐘，兩邊進度都會自己回報。 ![Discord 上 Melody 回報 LoRA 訓練已排入、12 張素材就緒、預估 21 分鐘，打招呼影片也同時在跑](https://blog.markkulab.net/content/markku/posts/hermes-agent-local-mcp-lora/images/01-discord-lora-training-status.webp) 整個過程沒有雲端模型參與，主力模型是跑在地端的 Qwen 35B。 ## 先講結論 - **順序很重要**：我是先做聲音、圖片、影片模型的 API，再包成 MCP，最後才讓 Agent 去調用。工具本身就能獨立使用，Agent 只是最後一層的編排。 - **地端模型夠不夠用？** 拿來寫程式可能還不太夠；但日常應答、調用內部系統、呼叫自己設計的 MCP 工具，已經足夠。 - **企業要落地，重點不在導入 Agent 系統，而在打造工具讓 Agent 用。** Agent 框架隨時可以換，工具才是自己累積下來的資產。 ## 我的順序：先有工具，再包 MCP，最後讓 Agent 來叫 回頭看，這條路其實是走出來的，不是一開始就規劃好的。 1. **先做基礎系統**：聲音模型 API（語音合成、podcast、配音）、圖片模型 API、影片模型。這些本來就是為了部落格、podcast、短影音在用，每一個都有自己的後台，人可以直接操作。 2. **再包成 MCP**：把這些 API 的能力整理成一支一支 MCP 工具，參數和回傳格式統一，權限也在這層收斂。 3. **最後才接 Agent**：Agent 不需要知道背後是哪個模型、哪台 GPU，它只看得到工具清單。 群組裡有人問起，Melody 自己的回答我覺得講得很到位： ![Melody 回覆：先有工具系統，再包 MCP，最後讓 Agent 來叫；工具可以先針對實際業務優化，不依賴某個 Agent 框架](https://blog.markkulab.net/content/markku/posts/hermes-agent-local-mcp-lora/images/03-discord-tools-first.webp) 很多團隊是反過來的：先選一個 Agent 框架，再「為了讓 Agent 有用」才去寫工具。這樣工具的設計很容易被 Agent 的需求牽著走，換框架時工具也跟著不能用。 ## 整套架構長這樣 ![Hermes Agent × MCP 概念架構圖：使用者、對外入口、prod k3s、文字模型、MCP 伺服器五層](https://blog.markkulab.net/content/markku/posts/hermes-agent-local-mcp-lora/images/04-hermes-mcp-architecture.webp) 由左到右分成五層： 1. **使用者**：LINE、Discord 機器人（群組頻道與私訊），以及管理員的瀏覽器。 2. **對外入口**：Cloudflare 處理 DNS、WAF 和 SSL；Discord 是 Pod 主動連出去的 gateway；管理介面則經由東京 VPS 上的 frps 做穿透。 3. **prod k3s（Mac mini）**：Hermes Agent 跑在 `hermes-agent` 這個 Pod 裡。設定走 ConfigMap、金鑰走 Secrets、記憶和技能存在 PVC。旁邊掛一個 log sidecar，管理頁前面再擋一層 oauth2-proxy（Google 登入）。 4. **文字模型**：主力是地端的 Qwen 35B，透過 OpenAI 相容 API 提供，只在內網使用。另外設了一個雲端備援模型，只有主力出錯時才會用到。 5. **MCP 伺服器（白名單）**： - **ai_gen（24 支）**：圖片、會議、虛擬人素材等，刻意不開放任意 `call_api`。 - **seal_tts（27 支）**：語音合成、podcast、配音、歌聲、翻譯。 - **esim（10 支）**：eSIM 管理、查詢、訂單。 - **esim-live（1 支）**：套用價格建議，屬於會動到真實營運的操作，每次都要人工 `/approve`。 - **agenthub（15 支）**：維護中，目前全部停用。 幾個我覺得比較關鍵的限制： - **網路**：Pod 只對外開放兩個內網目的地（ai-gen 和 TTS），其他內網位址一律不通。Agent 就算被誘導，也碰不到不該碰的系統。 - **權限分級**：查詢類工具直接放行；會改到錢或對外公開的工具，要嘛不開，要嘛每次都要人確認。 - **GPU 共用**：文字模型和 ai_gen MCP 共用同一張 GPU，同一時間只跑一個請求，忙的時候自動排隊。 ## 實際用起來：聲音、生圖、蒸餾另一個機器人 ### 用聲音跟大家打招呼 最簡單的例子：叫它用聲音跟大家打招呼。Melody 會先寫一段自我介紹，再呼叫 seal_tts 的語音合成工具，直接把音檔丟回 Discord。 ![Melody 用語音跟大家自我介紹：eSIM 營運助理，查價、改價、看訂單都可以丟給我](https://blog.markkulab.net/content/markku/posts/hermes-agent-local-mcp-lora/images/05-discord-voice-greeting.webp) 她的正職其實是 eSIM 營運助理：查價、改價、看訂單。聲音只是順手接上的工具。 ### 蒸餾另一個機器人：自己備素材、自己訓練 LoRA 開頭那個案例，背後是這樣跑的： 1. Melody 收到「幫我生成 Ani 的打招呼影片」，判斷要讓影片裡的 Ani 長得一致，需要一個 Ani 的 LoRA。 2. 呼叫 ai_gen 的虛擬人工具，依「全身遠景、正背面、仰拍、俯拍」「臉部與表情」等分類生成素材。每一張都會跟臉部基準圖比對相似度，解析度太低的會被標出來，可以保留、排除或再生一張。 3. 素材湊齊 12 張後，把 LoRA 訓練排進 GPU 佇列。 4. 同時開另一條線跑影片：劇本、分鏡、生成、配音。 5. 兩邊跑完，再回群組回報結果。 ![虛擬人素材頁：臉部基準、微笑、認真等表情逐張生成並比對相似度，下方顯示生成進度 6/7](https://blog.markkulab.net/content/markku/posts/hermes-agent-local-mcp-lora/images/02-persona-face-dataset.webp) 這裡我沒有寫任何「訓練 LoRA」的 Agent 流程。虛擬人素材和 LoRA 訓練本來就是我後台的功能，包成 MCP 之後，Agent 自己把它們串起來了。這也是我說「工具先做好」的原因：工具做得夠完整，Agent 才有東西可以組合。 ## 地端模型，夠用了嗎？ 我的感受是分場景的： | 場景 | 地端 35B 的表現 | | --- | --- | | 寫程式、大型重構 | 可能還不太夠 | | 日常應答、群組互動 | 足夠 | | 調用內部系統（查價、查訂單） | 足夠 | | 串接多個 MCP 工具完成任務 | 足夠，前提是工具本身設計得清楚 | 換句話說，地端模型不需要什麼都會。只要工具的名稱、參數、回傳寫得清楚，中型模型就能把事情做好；真正困難的部分（生圖、生影片、語音、訓練）本來就交給專門的模型。 ## 給想讓 Agent 落地的企業 這次做下來，我最大的體會是： **企業導入地端模型，不是裝一套 Agent 系統就結束了。** Agent 框架只是最後一層，真正決定它能做什麼的，是你有沒有把內部系統整理成可以被呼叫的工具。 如果要排順序，我會建議： 1. **先盤點內部系統**，挑出最常被問、最常重複操作的流程。 2. **把這些流程做成穩定的 API**，人可以直接用，也方便測試。 3. **包成 MCP**，在這一層定好白名單、權限分級和需要人工確認的操作。 4. **最後再接 Agent**，而且隨時可以換框架、換模型，工具不用重寫。 ## 結語 一開始我只是想讓部落格和 podcast 的產製更自動，所以一個一個把聲音、圖片、影片模型做成 API。沒想到把這些工具交給 Agent 之後，它能做到的事情比我原本預期的多：生圖、生影片、用聲音打招呼，甚至自己幫另一個機器人訓練 LoRA。 全地端、資料不出門、成本可控，這條路對企業來說是走得通的。關鍵不在 Agent 有多聰明，而在你給了它多好用的工具。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/post/hermes-agent-local-mcp-lora) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — 軟體工程師 - 10 年以上軟體工程師 - 做過北美電商與 AI SaaS 訂閱收費系統 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸、結構與資料比對（同步 SQL、結構快照）、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、執行前 AI 審查並逐句備份的「審查並執行」（自動產生回滾腳本）、Kafka 訊息瀏覽與監控告警、SSH 終端機與 SFTP / FTP、Docker / Kubernetes、遠端桌面（RDP / VNC / RustDesk）、檔案 / 資料夾比對、預存程序整合測試；六種介面語言，內建 AI 助手（本機 CLI 或 Anthropic / OpenAI 相容 API，自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附監控與叢集管理 RESTful API，一行 Docker Compose 啟動。免費開源（MIT）。 - [AI Podcast Cut 音檔剪輯](https://blog.markkulab.net/tools/ai-podcast-cut): 丟進一段錄音，AI 幫你剪掉「嗯、呃、那個」與講到一半重講的片段，平衡逐段音量，並派第二個 agent 覆核每一刀。辨識與去人聲都在你自己的電腦上跑，不上傳、不需要金鑰。剪點會貼齊字邊界與零交越、每一刀都有漸弱漸強，句尾還留得住呼吸感。Windows / macOS / Linux 桌面應用，MIT 開源，Windows 安裝檔內建 ffmpeg。 - [AI Video Cut 影片剪輯](https://blog.markkulab.net/tools/ai-video-cut): 在影片裡選一個東西：打字（人臉、車牌、手機螢幕、logo）、手動點選或拖框，或交給 Claude Code / Codex 挑。AI Video Cut 會逐幀追蹤它，再幫你打馬賽克或模糊、調色、加跟著走的貼紙與文字、把螢幕或海報換成你的圖片或影片，甚至用其他幀拍到的背景把它移除。另有序列剪輯、本機字幕與 AI 助手。免費開源（MIT）的 Windows 桌面應用（macOS / Linux 實驗中），本機運行，影片不上傳。 - [open-pos 開源餐飲 POS](https://blog.markkulab.net/tools/open-pos): 一台電腦加一台出單機就能開店。資料存在自己的硬碟裡、沒有月租、沒有綁約，MIT 全開源。金額用整數元依營業稅法拆算稅額，銷售額加稅額恆等於總額；出單走網路型 ESC/POS（TCP 9100），不必裝廠商驅動。Tauri + Rust + SQLite 桌面應用，v1.0 開發中。 - [.NET 電商 API 架構範本](https://blog.markkulab.net/tools/dotnet-ecommerce-api): 以 .NET 10 打造的電商平台後端 API 架構範本：Controller → Service → Repository 分層、Autofac 依命名慣例自動註冊、SqlSugar 支援 MySQL / MariaDB 與 SQL Server、Redis 快取與訊息佇列、Hangfire 排程、JWT 認證，內建可擴充的金流 Provider 模組（綠界 ECPay、藍新 Newebpay）。Apache 2.0 開源。 - [Open Token Monitor 團隊 AI 用量監控](https://blog.markkulab.net/tools/open-token-monitor): 把每位員工電腦上 AI coding 工具的 token 用量與等值成本集中到公司自架的 hub：PostgreSQL、組織名單、依公司與部門比較的 dashboard、報表 API。員工端有 Electron 與 Rust/Tauri 兩種，每 30 分鐘自動上傳。MIT 開源，Docker 一行起。 ### 每日 Podcast - [Mark's Tech Insights 每日 AI 新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml - [開源好物週報](https://blog.markkulab.net/category/open-source-weekly): 每週從 Hacker News、GitHub、Reddit 聲量雷達精選免費開源工具，以雙人對話聊解決什麼痛點與怎麼快速上手。 — RSS: https://blog.markkulab.net/open-source-weekly/feed.xml - [AI 運動週報](https://blog.markkulab.net/category/sports-weekly): 每週一、三、六以雙人對話聊 NBA、MLB 與國際體壇大事，台灣球迷視角，輕鬆有梗不酸人。 — RSS: https://blog.markkulab.net/sports-weekly/feed.xml - [AI 國際新聞快報](https://blog.markkulab.net/category/world-news): 每天早上以雙人對話把過去一天的國際大事講白：政治外交、全球經濟、衝突與安全、災害與氣候，台灣視角、中立客觀、每則附出處。 — RSS: https://blog.markkulab.net/world-news/feed.xml - [地端 AI 實驗室](https://blog.markkulab.net/category/local-ai-lab): 每週三、五精選可以下載到自己機器上跑的開源模型與 LoRA，用雙人對話講清楚能用在哪些場景、你的顯卡跑不跑得動、跟同類差在哪，規格一律引述官方 model card。 — RSS: https://blog.markkulab.net/local-ai-lab/feed.xml ### 站長優惠 - [Saily eSIM](https://blog.markkulab.net/saily): 出國旅遊上網 eSIM・NordVPN 團隊出品，優惠碼：KUKU - [NordVPN](https://blog.markkulab.net/nordvpn): 全球最多人用的 VPN・獨立稽核無日誌 - [PremLogin](https://blog.markkulab.net/premlogin): 訂閱合租平台・串流與 AI 訂閱席位分攤，優惠碼：markku666 ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。