--- title: "開源AI微調工具 - LLAMA Factory 環境建置" description: "逐步說明如何安裝 Python、CUDA、PyTorch 與 LLaMA Factory，在本地 NVIDIA GPU 環境中建置 AI 模型微調所需的完整開發環境。" canonical_url: "https://blog.markkulab.net/post/set-up-llama-factory-enviorment" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2024-09-07 01:01:35 +0800" category: "AI" tags: ["llama factory", "ai", "fine-tune", "cuda", "pytorch", "gpu"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 開源AI微調工具 - LLAMA Factory　環境建置 ## 前言 LLAMA Facotry 都是很熱門的自己微調模型的框架，因為想打造自己的客服機器人，因此參考了資料，試著嘗試想拿一些開源AI模型來調整看看。 ## 潛在的 AI 需求 * AI 能夠回覆常見客服 FAQ。 * AI 能夠推薦套裝電腦的。 * AI 能夠依據客戶預算，自己搭配電腦零組件。 ## [事先準備](https://github.com/hiyouga/LLaMA-Factory) ### 一張 Nvidia 4070 ti super 顯示卡 ![Video card](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/video-card.jpg) ### 硬體需求 | Method | Bits | 7B | 13B | 30B | 70B | 110B | 8x7B | 8x22B | |---------------------|------|------|------|------|-------|-------|-------|--------| | Full AMP | 7 | 120GB| 240GB| 600GB| 1200GB| 2000GB| 900GB | 2400GB | | Full | 16 | 60GB | 120GB| 300GB| 600GB | 900GB | 400GB | 1200GB | | Freeze | 16 | 20GB | 40GB | 80GB | 200GB | 360GB | 160GB | 400GB | | LoRA/GaLore/BAdam | 16 | 16GB | 32GB | 64GB | 160GB | 240GB | 120GB | 320GB | | QLoRA | 8 | 10GB | 20GB | 40GB | 80GB | 140GB | 60GB | 160GB | | QLoRA | 4 | 6GB | 12GB | 24GB | 48GB | 72GB | 30GB | 96GB | | QLoRA | 2 | 4GB | 8GB | 16GB | 24GB | 48GB | 18GB | 48GB | ## 需要安裝的東西 ### 首先，要先[下載安裝 Python](https://www.python.org/downloads/)，這邊裝相對穩定的版本 3.12 ### 接著[下載安裝 CUDA](https://developer.nvidia.com/cuda-toolkit)，這邊需配合顯示卡版本 (驅動程式最好一起裝) ![CUDA](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/cuda-toolkit-download.png) P.S. 如果在裝Drive 過程中，裝不起來，可以先將 Nsight VSE及 Visual studio Integration 先勾選掉，因為可能會因為你裝兩個版本的 Visual studio curd 會裝不起來。 ![install cuda](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/install-cuda.png) ### 查詢驅動版本及檢查可以裝的CUDA 版本 ``` nvidia-smi ``` ![test cuda version](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/test-cuda-version.png) ### 查詢安裝的驅動及CUDA 版本 ``` nvcc -V ``` ### 再安裝 [PyTorch](https://pytorch.org/) ``` pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 ``` ### 測試 Python 是不是能和 GPU 溝通 (test-gpu-test.py) ``` import torch print(torch.cuda.is_available()) # 是否可以用gpu False不能，True可以 print(torch.cuda.device_count()) # gpu數量， 0就是沒有，1就是檢測到了 ``` ![test gpu result ](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/test-gpu-result.png) ## 安裝LLAMA Factory ### 首先，拉取程式碼 ``` git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git ``` ### 進入程式碼目錄 ``` cd LLaMA-Factory ``` ### 安裝依賴 ``` pip install -e ".[torch,metrics]" ``` ### 檢查是不是安裝成功 ``` llamafactory-cli version ``` ### 啟動 ``` llamafactory-cli webui ``` ### 選擇資料集後，就能開始訓練模型 ![llamafactory cli webui](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/llamafactory-cli-webui.png) ![llamafactory cli webui console](https://blog.markkulab.net/content/markku/posts/set-up-llama-factory-enviorment/images/llamafactory-cli-webui-console.png) ### P.S. 補充 - 如果遇到 CUDA environment was not detected. 錯誤的話，應該是前面幾個步驟有漏裝到。 ### 參考資料 * [參考資料1](https://medium.com/@anannannan0102/pytorch-%E6%83%B3%E7%94%A8gpu%E8%B7%91ml%E7%92%B0%E5%A2%83%E5%8D%BB%E8%A3%9D%E4%B8%8D%E5%A5%BD-%E7%9C%8B%E5%AE%8C%E9%80%99%E7%AF%87%E5%B8%B6%E4%BD%A0%E9%81%BF%E9%96%8B%E5%90%84%E7%A8%AE%E9%9B%B7-3bf259fc7396) * [參考資料2](https://blog.csdn.net/lx15983596831/article/details/140466261) --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/post/set-up-llama-factory-enviorment) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — Software Solution Provider - 10+ 年資深軟體工程師，現為 AI 應用 Builder - 專注大型平台架構設計，從北美電商到AI SaaS訂閱收費系統 - 結合 AI Agent 與自動化，打造高效可演進的產品技術基礎 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸與比對同步、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、Kafka 訊息瀏覽與監控告警；繁中 / 英文雙語介面，內建 AI 助手（自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附叢集管理 REST API，一行 Docker Compose 啟動。免費開源（MIT）。 - [特教專案](https://blog.markkulab.net/education): 為特殊教育學生製作的學習教材 ### 每日 Podcast - [科技新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。