開場白

Hugging Face 平台上驚傳惡意模型供應鏈攻擊,駭客利用載入程式碼的預設功能,直接強佔企業的 GPU 伺服器來挖礦。今天沐妍除了帶大家看這起「Load/Mine」攻擊,還會解析 vLLM 框架的遠端程式碼執行漏洞。另外,AI 開發平台在十月爆發的憑證危機,究竟讓企業平白損失了多少 API 費用?等一下告訴你。


今日 AI 資安焦點

1. AI 開發平台爆發「黑色十月」憑證危機,多個平台遭 AI 代理人蜂群攻擊

  • 發生什麼: 根據 Wiz Research 最新報告指出,2024 年 10 月有多達 9 個 AI 開發平台,包括 Fireworks AI、Lightning AI 等,發生嚴重的安全事件,被稱為「黑色十月」。攻擊者鎖定平台上的環境變數與憑證進行大規模濫用,導致企業下游憑證外洩,並產生超過 10 萬美元的 API 額外費用。其中部分平台更偵測到「AI 代理人蜂群(Agent Swarm)」的自動化攻擊,導致如 Zeabur 等服務商因受波及而宣布暫時關閉服務。
  • 影響範圍: 使用這 9 家 AI 開發平台,且在平台上儲存了敏感環境變數、API 金鑰或資料庫憑證的企業與開發團隊。
  • 防禦建議: 立即盤點並重設所有部署在第三方 AI 開發平台上的 API 憑證,並落實嚴格的環境變數生命週期管理與權限最小化。
  • 來源: The Futurum Group(https://futurumgroup.com/insights/black-october-llmjacking-wave-exposes-ai-infrastructures-credential-crisis/)

2. Hugging Face 遭惡意模型供應鏈攻擊,利用 trust_remote_code 劫持 GPU 挖礦

  • 發生什麼: 據資安團隊 JFrog 揭露,Hugging Face 平台上出現一起名為「Load/Mine」的惡意模型供應鏈攻擊。攻擊者利用多個惡意帳號發布了數十個偽裝成 Qwen2 測試節點的惡意模型,累積下載已破萬次。該攻擊利用了平台上下載模型時常用的 trust_remote_code(信任遠端程式碼)功能,在模型載入時於 GPU 伺服器上執行惡意 Python 程式碼,藉此植入挖礦軟體並建立反向 Shell 以取得伺服器控制權。
  • 影響範圍: 下載並運行未經審查的第三方 Hugging Face 模型,且在程式碼中將 trust_remote_code 設定為 True 的開發人員與企業。
  • 防禦建議: 在程式碼中停用不必要的遠端程式碼載入功能,並針對 GPU 運算叢集實施嚴格的出站流量限制,阻斷異常的挖礦與 C2(命令與控制)連線。
  • 來源: BleepingComputer(https://www.bleepingcomputer.com/news/security/hugging-face-malware-campaign-returns-to-hijack-gpus-for-crypto-mining/)

3. vLLM 部署框架存在 RCE 漏洞,載入惡意模型恐遭執行任意程式碼

  • 發生什麼: 熱門 AI 模型部署工具 vLLM 被揭露存在一項遠端程式碼執行(RCE)漏洞,編號為 CVE-2024-22807。該漏洞源於 vLLM 在載入 auto_map 模組時,未能正確驗證遠端程式碼的設定,導致惡意模型在伺服器啟動並載入時,能直接執行任意系統指令。
  • 影響範圍: 使用 vLLM 0.10.1 至 0.14.0 之前版本,且會載入不受信任之外部模型的企業部署環境。
  • 防禦建議: 受影響的企業應儘速將 vLLM 升級至 0.14.0 或更新版本,以修補此安全漏洞。
  • 來源: Protect AI(https://protectai.com/blog/vllm-remote-code-execution-vulnerability-cve-2024-22807)

4. 開源 AI 助理平台 MaxKB 爆發間接提示詞注入漏洞,可遭 root 權限執行系統指令

  • 發生什麼: 開源 AI 助理與代理人建置平台 MaxKB 被揭露存在間接提示詞注入(Indirect Prompt Injection)漏洞,編號為 CVE-2024-77521。由於系統預設允許 AI 助理在無需人類確認的情況下呼叫並執行 Shell 工具,攻擊者可透過在外部文件中植入惡意指令,引導 AI 助理以 root 權限在容器內執行任意系統指令。
  • 影響範圍: 部署 MaxKB 2.10.5-lts 之前版本,且開啟 AI 助理自動執行工具功能的使用者。
  • 防禦建議: 儘速升級至 MaxKB 2.10.5-lts 版本,並在系統設定中為所有敏感工具呼叫加入人工審核機制(Human-in-the-loop)。
  • 來源: 資安研究團隊 Truvo(https://truvocyber.com/blog/maxkb-indirect-prompt-injection-cve-2024-77521)

5. 駭客利用 CyberStrikeAI 與 ARTEX AI 代理人框架,對日韓機構發動自動化攻擊

  • 發生什麼: 資安研究人員發現多起針對日本與南韓機構的自動化網路攻擊,威脅者利用開源滲透測試工具 CyberStrikeAI 部署了 44 個 AI 代理人,自動化執行從偵察、漏洞利用到資料外洩的完整攻擊生命週期。此外,據研究指出,有特定背景的威脅組織使用 ARTEX AI 代理人框架,在短短 3 小時內自動化入侵了超過 2,250 個 Microsoft 365 租戶。
  • 影響範圍: 亞太地區的政府機構與企業,特別是缺乏快速偵察與阻斷自動化攻擊能力的 IT 環境。
  • 防禦建議: 防禦方必須提升偵測與聯防的速度,導入自動化防禦機制,以應對這種「機器速度(Machine-speed)」的 AI 自動化威脅。
  • 來源: The Hacker News(https://thehackernews.com/2024/10/cyberstrikeai-uses-44-ai-agents-to.html)

6. Microsoft Teams 推出 AI 即時防釣魚偵測,主動攔截社交工程攻擊

  • 發生什麼: 微軟正式為 Microsoft Teams 推出由 AI 驅動的即時防釣魚偵測功能。該系統透過即時分析對話模式、訊息上下文與行為訊號,識別 Teams 聊天中的社交工程與釣魚攻擊,並在敏感憑證遭竊取前主動攔截可疑訊息。
  • 影響範圍: 擁有 Microsoft 365 Enterprise E5 或 Microsoft Defender for Office 365 Plan 2 授權的企業客戶。
  • 防禦建議: 企業 IT 管理員應確認組織授權,並在 Teams 安全設定中啟用此 AI 即時防護功能。
  • 來源: Emergent(https://emergent.sh/microsoft-teams-ai-phishing-detection-now-live/)

7. CrowdStrike 擴展提示詞注入分類法至 222 種技術,全面防禦 AI 代理人規劃階段攻擊

  • 發生什麼: 知名資安大廠 CrowdStrike 發表了新版「提示詞注入分類法(Prompt Injection Taxonomy)」,將相關攻擊技術擴展至 222 種。本次更新特別針對自主 AI 代理人(Autonomous Agents)的「規劃(Planning)」與「推理(Reasoning)」階段,防範攻擊者干預代理人的決策邏輯,並已整合至其端點遙測防禦方案中。
  • 影響範圍: 正在開發或部署自主 AI 代理人,且需要防範惡意指令操縱決策決策鏈的企業。
  • 防禦建議: 研發團隊在設計 AI 代理人的工作流時,應參考此分類法對代理人的推理決策路徑進行安全審查與邊界限制。
  • 來源: CrowdStrike(https://www.crowdstrike.com/blog/new-prompt-injection-techniques-cover-agent-planning-attacks/)

結尾段落

今天最值得大家警惕的,就是 AI 開發平台與開源模型框架的供應鏈安全。沐妍建議資安與開發主管今天進辦公室的第一件事,就是清查內部部署的 vLLM 與 Hugging Face 專案中,是否開啟了 trust_remote_code 設定,並立即盤點外發平台的 API 憑證。我是沐妍,我們明天見。


作者

Mark Ku

10 年以上的軟體工程師,做過北美電商與 AI SaaS 訂閱收費系統。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可。

熱門文章

View all
Mark Ku
··633

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··464

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··249

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··205

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··202

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··198

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調