回到地端模型解決方案作品

Hermes Agent 全地端 AI 助理

跑在地端 Qwen 35B 上的 AI 助理 Melody，住在 Discord 與 LINE 裡。它透過 MCP 呼叫我自己的語音、生圖、虛擬人與 eSIM 營運工具：能用聲音打招呼、生圖生影片，還會自己幫另一個機器人備素材、排進 GPU 訓練 LoRA。

作品畫面

Hermes Agent × MCP 概念架構圖：使用者、對外入口、prod k3s、文字模型、MCP 伺服器五層 — 整體架構：LINE／Discord 進來，Agent 跑在 k3s，主力是地端 Qwen 35B，工具全部走 MCP 白名單。點擊圖片可查看原尺寸

Discord 上 Melody 回報 LoRA 訓練已排入、12 張素材就緒、預估 21 分鐘，打招呼影片也同時在跑 — 實際對話：只叫它生一支打招呼影片，它自己把另一個機器人的 LoRA 訓練也排進 GPU 佇列，兩邊進度會回報。點擊圖片可查看原尺寸

虛擬人素材頁：臉部基準、微笑、認真等表情逐張生成並比對相似度，下方顯示生成進度 6/7 — Agent 透過 ai_gen MCP 備的 LoRA 素材：每張跟臉部基準比對相似度，可保留、排除或再生一張。點擊圖片可查看原尺寸

Melody 在 Discord 用語音跟大家自我介紹 — 用聲音打招呼：Melody 先寫自我介紹，再呼叫 seal_tts 合成語音，直接把音檔丟回群組。點擊圖片可查看原尺寸

Hermes Agent 透過 Hindsight API 存取記憶：Retain、Recall、Reflect，底層是 PostgreSQL + pgvector — 記憶層：Hindsight 負責存（Retain）、找（Recall）與多步推理（Reflect），資料落在 PostgreSQL + pgvector。點擊圖片可查看原尺寸

解決的問題

想讓 Agent 真的能做事，又不想把內部資料交給雲端模型；同時 Agent 能碰的系統要收斂，會動到錢或對外公開的操作不能放它自己決定。

實作方向

01先工具、再 MCP、最後 Agent：聲音、圖片、影片模型先做成人可以直接用的 API，再包成 MCP，Agent 只看得到工具清單。
02MCP 白名單分級：ai_gen、seal_tts、esim 查詢類直接放行；會改到真實營運的 esim-live 每次都要人工 /approve。
03Hermes Agent 跑在 Mac mini 的 k3s，Pod 只能連 ai-gen 與 TTS 兩個內網目的地，管理頁前面擋 oauth2-proxy（Google 登入）。
04記憶交給 Hindsight：對話與文件存成可查的事實，回答前先 Recall、需要時多步 Reflect，資料放在 PostgreSQL + pgvector。
05文字模型與 ai_gen 共用同一張 GPU，同一時間只跑一個請求、忙時自動排隊；雲端模型只在主力出錯時備援。