LLaMA-Factory 在 Windows 上怎么安装 GPU 版 PyTorch 和 bitsandbytes【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory在 Windows 上使用 LLaMA-Factory 跑 GPU 训练时官方源码安装流程之外还有两个 Windows 特有的步骤需要额外手动安装 GPU 版本的 PyTorch以及如果要跑量化 LoRAQLoRA还需要安装 bitsandbytes。本文按 README_zh.md 中「Windows 用户指南」一节的说法给出这两步的安装命令、验证方式和版本注意事项。前提Windows x86-64 系统带 NVIDIA GPUPython 按「软硬件依赖」表要求至少 3.11推荐 3.11torch 至少 2.0.0推荐 2.6.0CUDA 至少 11.6推荐 12.2bitsandbytes 至少 0.39.0推荐 0.43.1。准备先安装 LlamaFactory 本体Windows 的两个附加步骤是在完成基础安装之后做的先把仓库克隆下来并装好git clone --depth 1 https://gitcode.com/GitHub_Trending/ll/LlamaFactory.git cd LlamaFactory pip install -e . pip install -r requirements/metrics.txt可选的额外依赖项还有deepspeed可用pip install -e . pip install -r requirements/metrics.txt -r requirements/deepspeed.txt安装。手动安装 GPU 版 PyTorch文档明确说明Windows 平台需要额外手动安装 GPU 版本的 PyTorch 依赖包可参考 PyTorch 官方的 locally 页面选择与你环境匹配的安装命令。文档给出的主路径命令是pip uninstall torch torchvision torchaudio pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126第一条命令会卸载环境中已有的 torch、torchvision、torchaudio再按 cu126 索引源重新安装这是 Windows 用户指南中的原始命令照抄即可。如果本机 CUDA 驱动环境与 cu126 索引不对应按文档提示参考 PyTorch 官网选择对应安装命令。验证 PyTorch 是否可用 GPUpython -c import torch; print(torch.cuda.is_available())如果看到True则说明安装成功。另外文档指出一个 Windows 上的已知报错如果训练时遇到类似Cant pickle local object的报错请在训练参数中设置dataloader_num_workers: 0。安装 bitsandbytes 以开启 QLoRA如果要在 Windows 平台上开启量化 LoRAQLoRA需要安装 bitsandbytes。对大多数用户文档建议优先使用官方发布的最新版本pip install bitsandbytes使用 uv 管理虚拟环境的情况可选分支如果使用 uv 管理虚拟环境文档建议在安装好 GPU 版本 PyTorch 之后再执行uv pip install bitsandbytes --no-deps注意顺序先完成上一步的 GPU 版 PyTorch 安装再装 bitsandbytes。注意 CUDA Toolkit 版本安装 bitsandbytes 时文档特别提醒要注意 CUDA Toolkit 版本bitsandbytes 的官方发布包是按不同 CUDA 版本分别构建的Windows x86-64 目前提供了面向 CUDA 11.8–12.6 和 CUDA 12.8–12.9 的不同构建其中支持 RTX 50 系列如 RTX 5060 Tism_120的构建对应 CUDA 12.8–12.9。若当前环境的 CUDA 版本较旧或者需要兼容较老的 Windows / PyTorch 组合文档给出的是第三方预编译版本pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl该命令直接从 GitHub Release 的 whl 文件安装安装前请确认自己属于「CUDA 版本较旧或需兼容较老 Windows / PyTorch 组合」的情况否则优先走上面的官方pip install bitsandbytes。安装完成后的验证与下一步验证方式文档只明确到 PyTorch 这一层torch.cuda.is_available()输出True。bitsandbytes 本身文档未提供单独的测试命令它的用途是作为 Windows 上开启 QLoRA 的必要依赖——装好后即可在训练配置中启用 QLoRA。装好两个依赖后可以按快速开始跑通一次训练命令路径与验证参照 README_zh.mdllamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlQLoRA 相关的训练配置示例位于 examples/train_qlora/ 目录可结合 examples/README_zh.md 查看参数。llamafactory-cli help可显示帮助信息。限制说明本文命令与注意事项均取自项目文档的 Windows 用户指南面向 Windows x86-64 NVIDIA GPU昇腾 NPU 的 bitsandbytes 安装是另一套流程手动编译 transformers main 分支 double_quantization: false不在本文范围。如果后续还想在 Windows 上开启 FlashAttention-2文档要求使用 flash-attention-windows-wheel 项目中的脚本自行编译与安装这是独立于 PyTorch 和 bitsandbytes 的可选步骤。【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考