FairSeq 完整指南从数据预处理到多卡训练3 步跑通你的第一个 Seq2Seq 模型【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseqFairSeq 是 Facebook AI Research 用 Python 写的序列建模工具包官方定位就是让研究者能训练自己的机器翻译、文本摘要、语言模型和其他文本生成任务。它在 PyTorch 上深度集成了 Transformer自注意力 位置编码并把数据预处理、训练、验证、推理这条链路做成了现成的命令行工具你不需要从零搭训练循环。下面按「装好 → 训起来 → 推得快 → 放得大 → 改得动」的顺序讲一遍它实际怎么用。为什么序列任务项目会选 FairSeq结论先说如果你要做的任务是「序列进、序列出」——翻译、摘要、续写、生成——FairSeq 把这类任务的重复工夫都干完了。Transformer 参考实现在 fairseq/models/transformer/ 下编码器、解码器、自注意力模块都是独立文件LSTM、卷积序列模型ConvSeq、非自回归翻译Insertion Transformer、Levenshtein Transformer等论文实现也都有对应代码。更实用的是 examples/ 目录从 wav2vec 语音预训练到多语言翻译MBart、m2m_100每个方向都配了训练脚本和数据准备流程照着改比看论文复现省事得多。三步装好 FairSeq依赖很少Python ≥ 3.8、PyTorch ≥ 1.10训练新模型还需要 NVIDIA GPU 和 NCCL。安装只需三步git clone https://gitcode.com/gh_mirrors/fa/fairseq cd fairseq pip install --editable ./装完后会注册一组fairseq-*命令行入口fairseq-preprocess、fairseq-train、fairseq-generate、fairseq-interactive等源码都在 fairseq_cli/ 里想改哪个流程直接看对应文件。配置怎么写Hydra 的三个来源在跑训练之前值得先搞懂一件事FairSeq 的实验配置基于 Hydra同一个参数可以从三处给值——Python 代码里构造的 dict、命令行参数、YAML 配置文件后写的覆盖先写的。好处是快速实验时用命令行改几个数正式复现时把参数固化进配置文件互不冲突。具体的组合规则见 docs/hydra_integration.md模型和任务的默认参数则集中在 fairseq/config/ 下。训练你的第一个翻译模型典型流程是两步命令先用fairseq-preprocess把原始语料切成 BPE 词表并二值化成 bin 文件再用fairseq-hydra-train启动训练指定任务如translation、模型如transformer和 checkpoint 保存路径。训练过程中有两条常见的加速路径值得打开混合精度--fp16权重一半用半精度存储显存占用下降、在 NVIDIA Tensor Core 上算得更快代价基本可以忽略大 mini-batch用梯度累积在单卡上模拟大 batch不用额外买卡。细节和完整参数列表在 docs/getting_started.rst 里有逐条说明。推理怎么做beam search 只是其中一种策略训练完只是走完一半生成质量取决于解码策略。FairSeq 把搜索过程抽象成Search接口fairseq/search.py 里内置了 BeamSearch、DiverseBeamSearch、Sampling、LengthConstrainedBeamSearch 几种还有动态 beam 的约束解码保证输出里必须/不能出现某些词在fairseq/token_generation_constraints.py里。序列生成的主逻辑在 fairseq/sequence_generator.pybeam 宽度、长度惩罚、温度采样这些旋钮都作为构造参数暴露出来。不想自己训练的话官方预训练模型可以直接通过 torch.hub 加载两行代码出翻译en2de torch.hub.load(pytorch/fairseq, transformer.wmt19.en-de.single_model) en2de.translate(Hello world, beam5) # Hallo Welt单卡放不下时多机多卡与超大参数模型当模型或数据大到单卡装不下FairSeq 提供两层方案。第一层是常规的数据并行每张卡一份完整模型副本梯度同步适合多数 Transformer 规模的任务。第二层是 FSDPFully Sharded Data Parallel实现在 fairseq/distributed/ 里——把参数和优化器状态都切片分到各卡上某一层算到谁头上谁才负责持有它还可以把参数卸载到 CPU 内存。这套组合支撑起了 examples/megatron_11b 里 110 亿参数模型的训练流程具体用法见 examples/fully_sharded_data_parallel/README.md。如何扩展注册你自己的模型和组件FairSeq 的扩展机制是「注册表」框架启动时扫描各模块里带注册装饰器的类按名字查找并实例化。自定义时你只需要继承基类、打上装饰器然后在命令行里用--model、--criterion、--task、--optimizer、--lr-scheduler指向它即可五类扩展入口分别是register_model、register_criterion、register_task、register_optimizer、register_lr_scheduler模型架构配置还有register_model_architecture。注册机制本身在 fairseq/registry.py几十行代码就能读懂二次开发的门槛不高。如果刚接触建议按本文顺序走一遍装好、预处理、fairseq-hydra-train跑个小模型再用fairseq-generate验证输出熟悉之后再碰分布式和 FSDP。更完整的参数文档和教程可以在 docs/ 目录里找到。【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考