--- title: "開源AI微調工具 - LLAMA Factory 模型微調" description: "記錄使用 LLaMA Factory 以本地資料集對開源 AI 模型進行微調的實作過程，並分析一般消費級 GPU 在訓練精準度上的限制。" canonical_url: "https://blog.markkulab.net/post/refine-ai-by-llama" author: "Mark Ku" author_url: "https://blog.markkulab.net/author/mark-ku" site: "Mark Ku's Blog" date_published: "2024-09-26 01:01:35 +0800" category: "AI" tags: ["llama factory", "fine-tune", "ai", "machine learning", "gpu", "huggingface"] language: "zh-TW" license: "CC BY 4.0" license_url: "https://creativecommons.org/licenses/by/4.0/" attribution: "轉載或引用請註明作者並附上原文連結" --- # 開源AI微調工具 - LLAMA Factory　模型微調 ## 接續先前 LLama factory 的微調 ## 首先，我打算用，並用本地的資料集 (Data Set)進行訓練 ### 定義本地資料夾 faqs 訓練檔 acer_faqs.json ``` [ { "instruction": "Explain how much a good gaming PC costs.", "input": "How much is a good gaming PC?", "output": "There are many ways to define a good gaming PC, as different gamers have different needs. At Acer, you can purchase a solid, entry-level gaming PC for as little as $849. If you are looking for a high-performance PC that can handle the highest resolutions at high speeds, a good gaming PC would be around $4,000. On average, good gaming PCs range between $1,000 and $4,000." }, { "instruction": "List some good gaming PC options.", "input": "What are good gaming PCs?", "output": "Many manufacturers and builders offer good gaming PCs with quality components. Acer has a large inventory of great gaming PCs, including both Intel and AMD desktops. The latest 12th generation Intel desktops and Ryzen 9 desktops each provide some of the most seamless gaming experiences." }, { "instruction": "Define what a gaming PC is.", "input": "What is a gaming PC?", "output": "Gaming PCs are specially designed personal computers made for playing video games with high quality. They are more powerful and have more advanced components than typical computers to provide better graphics and working memory to handle the load of running games." }, { "instruction": "Where can someone buy a gaming PC?", "input": "Where to buy a gaming PC?", "output": "When considering buying a gaming PC, you have many options between in-store and online retailers. Acer offers great deals and discounts on gaming PCs that use top-tier components." } ] ``` ### 接著，將要訓練的資料夾，放在LLaMA-Factory\data\ ![data set folder](https://blog.markkulab.net/content/markku/posts/refine-ai-by-llama/images/data-set-folder.png) ### 修改在 dataset_info.json，加上剛剛定義的檔案，此時在資料集的下拉選單就會出現 acer_faqs 資料集。 ``` { .... "acer_faqs": { "file_name": "acer_faqs.json" } ... } ``` ### 當然，你也可以取得開源的資料集( dataSet )，訓練你的AI。 [Huggingface's dataset](https://huggingface.co/datasets?sort=trending&search=taiwan) 同時你也可以拿開源的Dataset 訓練你的AI 模型，透過修改dataset_info.json。 ## 開始訓練 ![用 TUF RTX 3080 10g 開始訓練](https://blog.markkulab.net/content/markku/posts/refine-ai-by-llama/images/start-training.png) ### 接著，將訓練好的AI 模型，進行測試 ![image](https://blog.markkulab.net/content/markku/posts/refine-ai-by-llama/images/verify-fine-tune.png) 我大概試了幾個資料集，也用預設的wiki_faq 資料集訓練， 看著自己訓練半天的AI 會亂回答，覺得蠻好笑的。 ## 從 Google 上查了一下，也蠻多人發生亂回答的現象，估計一般PC 的顯卡的內存，只能訓練這種閹割版的開源模型，可能要用完整版的模型，用AI晶片訓練，才可能會更精準。 ![hardware requirement](https://blog.markkulab.net/content/markku/posts/refine-ai-by-llama/images/hardware-requirement.png) ## 最後 看著自己訓練半天的AI，只會亂回答，看起來如果要達成 AI Bot需求，目前用別人訓練好的模型及AI Agent 技術 會是比較容易達到的。 如果自己訓練AI的資料量要夠大，針對大型開源模型要微調，對顯示晶片要求很高，也有很多複雜的參數要學，我想訓練AI的技術，並還沒有很容易操作及下放到一般公司可以輕易使用，真不知道檯面上的大型AI 模型是花多少錢和心力推砌出來的。 因為我是AI訓練的的小白，如果我有什麼誤解，歡迎交流或可以私訊告訴我。 --- ## 關於本文與作者 本文出自 [Mark Ku's Blog](https://blog.markkulab.net/post/refine-ai-by-llama) 授權條款： [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) — 轉載或引用請註明作者並附上原文連結 ### 關於作者 **[Mark Ku](https://blog.markkulab.net/author/mark-ku)** — Software Solution Provider - 10+ 年資深軟體工程師，現為 AI 應用 Builder - 專注大型平台架構設計，從北美電商到AI SaaS訂閱收費系統 - 結合 AI Agent 與自動化，打造高效可演進的產品技術基礎 ### 作者開發的免費工具 以下工具皆可免費使用： - [免費 PDF 簽名工具](https://blog.markkulab.net/tools/pdf-sign): 線上 PDF 簽名工具，瀏覽器內完成手繪、打字、上傳簽名，可拖曳放置、縮放、下載。所有處理都在你的裝置完成，檔案不會上傳。 - [VS Code Refactory](https://blog.markkulab.net/tools/refactory): Refactory 是一款 VS Code 重構擴充套件：34 個重構動作、37 條 code smell 檢查、Code Health 儀表板、18 種語言、534 支測試。懂你的專案慣例：介面放哪、DI 註冊寫在哪、'use client' 該不該加；還會用 git 修改頻率 × 複雜度排出「該先修哪個檔案」，並一鍵把壞味道交給你自己電腦上的 Claude Code 修。免費使用，原始碼不離開你的機器。 - [DB-Kit 資料庫管理工具](https://blog.markkulab.net/tools/db-kit): DB-Kit 是一個用 Tauri + Rust + React 打造的輕量跨平台資料庫管理工具，用單一一致的介面同時管理 MySQL、MariaDB、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis、Kafka、Elasticsearch 與 RabbitMQ 十一種資料來源：連線密碼以 OS keychain 加密、SSH Tunnel、完整 CRUD、視覺化查詢建構器、多結果集同時顯示、跨連線資料傳輸與比對同步、Excel / CSV 匯入匯出、執行計畫視覺化、ER 圖、排程備份、SQL 壓力測試（p50～p99 延遲百分位）、15 條規則的 SQL 審查、Kafka 訊息瀏覽與監控告警；繁中 / 英文雙語介面，內建 AI 助手（自然語言生成 SQL、AI 審查與調校建議）與命令列工具 dbk。免費開源（MIT），提供 Windows / macOS / Linux 安裝檔。 - [VS Code Super Mermaid](https://blog.markkulab.net/tools/super-mermaid): Super Mermaid 是一款 VS Code 擴充套件：開箱即用的漂亮 Mermaid 圖表，自動上色、即時預覽、滑鼠平移縮放、PNG / SVG 高解析匯出，內建 21 種範本與多種主題。免費開源（MIT）。 - [React Super Mermaid](https://blog.markkulab.net/tools/react-super-mermaid): react-super-mermaid 是一個開源 React 元件庫：一行 即可渲染漂亮的 Mermaid 圖表，內建 colorful / sketch 主題、平移縮放、圖內搜尋、SVG / PNG 高解析匯出。輕量、SSR 安全、完整 TypeScript 型別。免費開源（MIT）。 - [Jira / Confluence Super Mermaid](https://blog.markkulab.net/tools/jira-super-mermaid): Atlassian Forge app：在 Jira issue 與 Confluence 內文直接寫 Mermaid 語法，畫流程圖、時序圖、狀態機與甘特圖。11 種圖表、SVG / PNG 匯出、明暗主題、完整中日韓文字支援。取得 Runs on Atlassian 資格：圖表存在你自己的站台，app 不呼叫任何第三方服務。免費，即將上架 Atlassian Marketplace。 - [Mermaid 線上預覽](https://blog.markkulab.net/tools/mermaid-preview): 在瀏覽器裡寫 Mermaid、即時看圖，整張圖表壓進網址就能分享。免註冊、不上傳伺服器，相容 mermaid.live 的分享連結。 - [React Intl Phone Number](https://blog.markkulab.net/tools/react-intl-phone-number): react-intl-phone-number 是一個開源 React 元件：framework-agnostic、不依賴 antd，提供 E.164 進出、可搜尋國旗 / 國碼下拉、可配置驗證等級（strict / mobile-strict / loose）、可主題化 CSS 與 i18n，電話邏輯由 google-libphonenumber 驅動。輕量、完整 TypeScript 型別。免費開源（MIT）。 - [Uptime Kuma Cluster](https://blog.markkulab.net/tools/uptime-kuma-cluster): 把單機版 Uptime Kuma 改造成高可用叢集：OpenResty + Lua 智慧負載平衡、MariaDB 共享狀態、健康檢查與自動 Failover，附叢集管理 REST API，一行 Docker Compose 啟動。免費開源（MIT）。 - [特教專案](https://blog.markkulab.net/education): 為特殊教育學生製作的學習教材 ### 每日 Podcast - [科技新鮮事](https://blog.markkulab.net/category/tech-news): 每日精選 AI 與科技趨勢，透過語音摘要快速掌握最新技術動態，涵蓋 AI 應用、軟體架構、DevOps 與工程實戰。 — RSS: https://blog.markkulab.net/feed.xml - [AI股市蝦聊](https://blog.markkulab.net/category/ai-stock-chat): 每個交易日用 AI 分析台股盤勢，以雙人對話聊當天的盤中觀察與隔日預測。 — RSS: https://blog.markkulab.net/ai-stock-chat/feed.xml ### 電子報 [訂閱電子報](https://blog.markkulab.net/subscribe) — 第一時間收到新文章通知，無垃圾信、隨時可取消訂閱。