前言

LLAMA Facotry 都是很熱門的自己微調模型的框架，因為想打造自己的客服機器人，因此參考了資料，試著嘗試想拿一些開源AI模型來調整看看。

潛在的 AI 需求

• AI 能夠回覆常見客服 FAQ。
• AI 能夠推薦套裝電腦的。
• AI 能夠依據客戶預算，自己搭配電腦零組件。

事先準備

一張 Nvidia 4070 ti super 顯示卡

硬體需求

需要安裝的東西

首先，要先下載安裝 Python，這邊裝相對穩定的版本 3.12

接著下載安裝 CUDA，這邊需配合顯示卡版本 (驅動程式最好一起裝)

P.S. 如果在裝Drive 過程中，裝不起來，可以先將 Nsight VSE及 Visual studio Integration 先勾選掉，因為可能會因為你裝兩個版本的 Visual studio curd 會裝不起來。

查詢驅動版本及檢查可以裝的CUDA 版本

nvidia-smi 

查詢安裝的驅動及CUDA 版本

nvcc -V

再安裝 PyTorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

測試 Python 是不是能和 GPU 溝通 (test-gpu-test.py)

import torch
print(torch.cuda.is_available())  # 是否可以用gpu False不能，True可以
print(torch.cuda.device_count())  # gpu數量， 0就是沒有，1就是檢測到了

安裝LLAMA Factory

首先，拉取程式碼

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

進入程式碼目錄

cd LLaMA-Factory

安裝依賴

pip install -e ".[torch,metrics]"

檢查是不是安裝成功

llamafactory-cli version

啟動

llamafactory-cli webui

選擇資料集後，就能開始訓練模型

P.S. 補充 - 如果遇到 CUDA environment was not detected. 錯誤的話，應該是前面幾個步驟有漏裝到。

參考資料

• 參考資料1
• 參考資料2