LLAMA Facotry 都是很熱門的自己微調模型的框架,因為想打造自己的客服機器人,因此參考了資料,試著嘗試想拿一些開源AI模型來調整看看。
P.S. 如果在裝Drive 過程中,裝不起來,可以先將 Nsight VSE及 Visual studio Integration 先勾選掉,因為可能會因為你裝兩個版本的 Visual studio curd 會裝不起來。
nvidia-smi
nvcc -V
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
import torch print(torch.cuda.is_available()) # 是否可以用gpu False不能,True可以 print(torch.cuda.device_count()) # gpu數量, 0就是沒有,1就是檢測到了
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
llamafactory-cli version
llamafactory-cli webui