人工智能深度学习机器学习预训练分布式训练微调【免费下载链接】pytorch-lightningPretrain, finetune ANY AI model of ANY size on 1 or 10,000 GPUs with zero code changes.项目地址https://gitcode.com/gh_mirrors/py/pytorch-lightning点击查看免费下载本篇指南系统讲解 PyTorch Lightning当前仓库 README.md 所述 The deep learning framework to pretrain and finetune AI models的安装路径从最常用的 pip 与 conda 安装到源码构建 nightly / stable 分支、自定义 PyTorch 版本再到面向生产部署的lightning[apps]优化包。读完你将掌握不同场景下应选择的安装命令、仓库中 extras 可选依赖的真实构成以及如何依据 版本兼容矩阵 匹配 Python、PyTorch 与 torchmetrics 的版本。安装前须知PyTorch Lightning 的官方安装文档docs/source-pytorch/starter/installation.rst明确建议务必在虚拟环境virtual env或 conda 环境中安装避免污染系统级 Python也便于不同项目锁定不同依赖版本。从仓库结构看当前项目采用单一仓库多包结构lightning是一个聚合包其下包含lightning.pytorchPyTorch Lightning 训练框架与lightning.fabric低层分布式原语库源码位于 src/lightning/。安装lightning一个包即可获得全部能力这也是官方推荐的方式。使用 pip 安装在虚拟环境或 conda 环境中直接通过 pip 安装python -m pip install lightning该命令会从 PyPI 拉取lightning主包及其运行依赖。根据 src/lightning/setup.py 中的install_requires定义lightning的安装依赖除了从 requirements/pytorch/base.txt 聚合的基础依赖如torch、tqdm、PyYAML、fsspec、torchmetrics、packaging、typing-extensions、lightning-utilities等之外还会显式依赖pytorch-lightning包以保持兼容性。值得注意的是requirements/pytorch/base.txt 中标注的版本上界如torch 2.6.0, 2.14.0主要用于 CI 稳定性控制在正式安装包时这些上界会被放宽文件中注释原文the upper bound for the package version is only set for CI stability, and it is dropped while installing this package。若你需要严格约束某个依赖的版本范围可在该文件对应行添加strict行内注释来保留限制。安装可选依赖extras如果你需要完整功能日志、调参、策略扩展等可以使用 extras 语法。从 src/lightning/setup.py 的_prepare_extras()实现可知仓库会扫描 requirements/ 下各子目录的*.txt文件并自动生成 extras 组包括pip install lightning[pytorch-extra] # 完整功能扩展依赖 pip install lightning[pytorch-strategies] # 分布式策略如 deepspeed pip install lightning[pytorch-examples] # 运行 examples 所需依赖 pip install lightning[pytorch-all] # 上述三类合并 pip install lightning[pytorch-dev] # 全部 测试依赖同时_prepare_extras()还会把每个子包的 extras 合并为无前缀的公共组名因此下面这些写法同样有效pip install lightning[extra] pip install lightning[strategies] pip install lightning[examples] pip install lightning[all] pip install lightning[dev]具体内容对应关系可对照 requirements/pytorch/extra.txtmatplotlib、omegaconf、hydra-core、jsonargparse、rich、tensorboardX、bitsandbytes 等、requirements/pytorch/strategies.txtdeepspeed排除 Windows 与 Darwin 平台与 requirements/pytorch/examples.txtrequests、torchvision、ipython、torchmetrics 等。fabric侧对应 requirements/fabric/ 下的fabric-extra、fabric-strategies、fabric-examples等组。使用 Conda 安装如果没有安装 conda请先参考 Conda 官方安装指南完成 conda 的安装Lightning 在 conda-forge 频道发布安装命令为conda install lightning -c conda-forge更规范的做法是先创建并激活专属环境再安装conda activate my_env conda install lightning -c conda-forge关于 Apple Silicon 上的 grpcio 问题官方文档提示如果你在拉取 GRPC 包时遇到困难例如在 Apple M1 芯片的 macOS 上可以参考社区关于如何在 Apple M1 笔记本上安装 grpcio 的讨论来解决依赖冲突。从源码构建Build from Source当需要最新功能或修复时可以从源码安装。官方文档明确区分了两种源码安装场景1. 安装 nightly 版本master 分支pip install https://github.com/Lightning-AI/lightning/archive/refs/heads/master.zip -U该命令直接以 zip 形式安装仓库master分支的代码。注意master 分支包含所有尚未正式发布的 bug 修复与新特性属于 bleeding edge最前沿官方文档提醒use it at your own discretion请自行斟酌使用不适合生产环境。2. 安装未来 patch releaserelease/stable 分支pip install https://github.com/Lightning-AI/lightning/archive/refs/heads/release/stable.zip -Urelease/stable分支只包含最近一个 major 版本系列的 bug 修复patch release不含破坏性 API 变更稳定性远高于 master适合想提前获得修复的用户。从本地克隆的源码安装如果你已经克隆了仓库setup.py 的文档字符串说明了本地源码安装的完整场景。它支持三种粒度pip install . # 安装聚合的 lightning 包默认 pip install -e . # 开发模式不复制文件直接链接到源码便于就地编辑调试若只想安装单个子包需要先设置环境变量再执行 pip# 只安装 pytorch_lightning export PACKAGE_NAMEpytorch pip install . # 只安装 lightning_fabric export PACKAGE_NAMEfabric pip install .其中PACKAGE_NAME的可选值与包名的映射关系定义在 setup.py 的_PACKAGE_MAPPINGlightning/pytorch/fabric三选一。此外还可以用python setup.py sdist/python setup.py bdist_wheel构建 sdist 或 wheel 分发包。自定义 PyTorch 版本lightning默认通过 PyPI 拉取满足依赖约束的 PyTorch。如果你需要特定版本的 PyTorch例如 CUDA 版本对应的 wheel官方文档建议访问 PyTorch 官方安装页面按其指引先安装你需要的 PyTorch 版本再参考 Lightning 的兼容性矩阵docs/source-pytorch/versioning.rst 中的 Compatibility matrix 小节确认该 PyTorch 版本在 Lightning 的 CI 测试覆盖范围内。从当前仓库的兼容性矩阵可以看出PyTorch Lightning 遵循 NEP 29 弃用策略自 PyTorch 2.0 起力求在每个 major 版本内无破坏性变更地官方支持最新的 5 个 PyTorch minor 版本。以当前仓库对应的 2.7 版本为例其 CI 覆盖为torch ≥2.6最新测试至 2.13、torchmetrics ≥0.7.0、Python ≥3.10最新测试至 3.132.5 及更早版本则支持更宽松的 Python 范围详见矩阵表格表中 ≥ X.Y 为最低支持版本▼ X.Y 为 CI 最后测试版本仅供参考而非硬性上限。超出矩阵范围的版本组合可能非官方地正常工作但未经 CI 验证升级 PyTorch 前请先对照该矩阵。面向生产部署的优化包lightning[apps]如果要将基于 Lightning 构建的工作流部署到生产环境、且希望依赖更少官方文档推荐使用优化的lightning[apps]包pip install lightning-app该包针对 ML 工作流部署场景裁剪了依赖体积适合仅需要把训练好的 Lightning 模型/工作流投入生产、而不需要完整开发环境的用户。安装后的验证建议安装完成后可以在 Python 交互环境中快速验证安装是否成功import lightning as L print(L.__version__) # 打印 lightning 包版本 from lightning.pytorch import Trainer from lightning.fabric import Fabric若需要跑通完整的最小训练示例可参考 README.md 中的 Quick start 自编码器示例pip install torchvision后运行python main.py或浏览仓库 examples/pytorch/ 与 examples/fabric/ 下的真实示例。总结如何选择安装方式场景推荐命令常规使用推荐python -m pip install lightning需要完整功能与扩展pip install lightning[extra]或pip install lightning[all]conda 用户conda install lightning -c conda-forge体验最新特性不推荐生产pip install https://github.com/Lightning-AI/lightning/archive/refs/heads/master.zip -U提前获取 patch 修复pip install https://github.com/Lightning-AI/lightning/archive/refs/heads/release/stable.zip -U本地源码开发调试克隆仓库后pip install -e .或PACKAGE_NAMEpytorch pip install .生产部署最小化依赖pip install lightning-app无论选择哪种方式都建议先在隔离的虚拟环境或 conda 环境中安装并对照 版本兼容矩阵 确认 Python、PyTorch 与 torchmetrics 的版本组合以获得经过 CI 验证的稳定体验。赞分享人工智能深度学习机器学习预训练分布式训练微调【免费下载链接】pytorch-lightningPretrain, finetune ANY AI model of ANY size on 1 or 10,000 GPUs with zero code changes.项目地址https://gitcode.com/gh_mirrors/py/pytorch-lightning点击查看免费下载相关推荐pandas 安装完全指南conda-forge、pip、源码构建与依赖体系详解pandas 安装完全指南conda forge、pip、源码构建与依赖体系详解 本指南以 pandas 官方安装文档 doc/source/getting_数据分析数据科学数据处理Lightning Fabric 安装指南从 pip/Conda 到源码构建与验证Lightning Fabric 安装指南从 pip/Conda 到源码构建与验证 本指南以 Lightning 官方安装文档为主体完整覆盖 pip 与 c人工智能深度学习机器学习预训练分布式训练微调scikit-learn 安装指南pip / conda / 发行版 / 源码构建的完整实操与依赖版本详解scikit learn 安装指南pip / conda / 发行版 / 源码构建的完整实操与依赖版本详解 本篇技术指南基于 scikit learn 官方安人工智能机器学习数据科学创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考