深度学习NLP大模型分布式训练预训练【免费下载链接】gpt-neoxAn implementation of model parallel autoregressive transformers on GPUs, based on the Megatron and DeepSpeed libraries项目地址https://gitcode.com/gh_mirrors/gp/gpt-neox点击查看免费下载GPT-NeoX 仓库在 post-training 目录下提供了完整的大模型后训练Post-Training示例覆盖 SFT监督微调、DPO直接偏好优化、RM奖励模型、KTO 与在线 REINFORCE 等主流对齐方案数据源为 HuggingFaceH4 的 ultrafeedback_binarized 偏好数据集。读完本文你将掌握从 HF 权重转换、偏好数据生成与 Chat 模板预处理到各类训练配置参数解析、源码级训练原理以及最终将 NeoX 检查点转换回 HuggingFace 格式的完整闭环。一、后训练概览这个仓库能做什么GPT-NeoX 是基于 Megatron 与 DeepSpeed 的模型并行自回归 Transformer 实现见项目根 README。post-training目录在模型预训练能力之外补齐了「对齐」这一环以偏好数据chosen / rejected 成对响应为核心支持四类经典后训练范式SFTSupervised Fine-Tuning直接用偏好数据中的 chosen 响应做监督学习DPODirect Preference Optimization无需显式奖励模型用成对偏好数据直接优化策略RMReward Model训练一个奖励模型为后续 RLHF 阶段提供打分信号KTOKahneman-Tversky Optimization基于「理想 / 非理想」二分类信号的无需成对数据的对齐方法REINFORCE 在线训练配合定制 vLLM 服务端在训练过程中动态采样直接优化外部奖励见 在线训练指南。仓库同时提供了配套的 数据生成脚本、Chat 模板数据预处理器、四份可直接运行的 训练配置 以及 HF 双向权重转换脚本。二、准备工作将 HF 权重转换为 GPT-NeoX 格式所有后训练任务都从一份 GPT-NeoX 格式的基座权重开始。README 给出的标准做法是先用转换脚本把 HuggingFace 的 Llama-3 权重转成 NeoX 格式python tools/ckpts/convert_hf_llama_to_neox.py --tp 4 --model meta-llama/Meta-Llama-3-8B-Instruct --model_path checkpoints/neox_converted/llama3-8b-instruct参数说明--modelHuggingFace 模型名如meta-llama/Meta-Llama-3-8B-Instruct脚本会从 HF Hub 拉取权重--model_path转换后 NeoX 权重的输出目录--tp 4按 4 路张量并行Tensor Parallelism切分权重。后续所有训练配置中model_parallel_size均为 4二者必须一致。转换完成后目录下会包含模型权重、配置文件及tokenizer/子目录内含tokenizer.json。该 tokenizer 路径在后续数据预处理与训练配置中会被反复引用--tokenizer-path与vocab-file。三、数据生成从 UltraFeedback 构建三套数据集运行 post-training/llama_data.py 即可一键完成数据准备python post-training/llama_data.py该脚本内部逻辑对应 llama_data.py通过datasets.load_dataset(HuggingFaceH4/ultrafeedback_binarized)加载原始偏好数据重组为train取自train_prefs与test取自test_prefs两个 split分别写出三套 jsonl 文件输出文件来源字段用途data/pairwise/llama3_dpo_{train,test}_filtered.jsonlchosen/rejectedDPO 与 RM 的成对偏好数据data/sft/llama3_sft_{train,test}_filtered.jsonlchosen写入messages字段SFT 监督数据data/kto/llama3_kto_{train,test}_filtered.jsonlchosen/rejected写入messages字段并附加rewardKTO 的理想/非理想数据注意 KTO 的写法同一条样本的 chosen 响应写入reward 1rejected 响应写入reward -1构成「理想 / 非理想」二分类信号与--reward-key reward预处理参数对应。脚本会在本地创建data/pairwise、data/sft、data/kto三个目录os.makedirs(..., exist_okTrue)。四、Chat 模板数据预处理统一入口与参数全解所有任务的数据预处理都复用同一个脚本 tools/datasets/preprocess_data_with_chat_template.py。该脚本「利用 Chat 模板生成数据输出格式与preprocess_data_with_mask.py一致」但以 Chat 模板tokenizer.apply_chat_template为核心产出 mmap 索引格式.bin/.idx对供训练时data_impl: mmap直接读取。其关键命令行参数源码定义见 preprocess_data_with_chat_template.py--input输入 jsonl 文件路径必填--output-prefix输出文件前缀脚本会追加_{key}_document/_{key}_label_document等后缀--tokenizer-pathHF Tokenizer 路径必填此处即checkpoints/neox_converted/llama3-8b-instruct/tokenizer--jsonl-keys要从 jsonl 中提取的字段名列表默认conversation后训练场景为messages、chosen或rejected--only-last仅保留对话最后一轮chat 中非最后一轮的消息被屏蔽供微调任务使用--for-rm屏蔽除最后 token 之外的所有内容专用于奖励模型训练只让模型预测最后一个 token 的得分--reward-key可选指定输入数据中的奖励字段名KTO 使用--binary-reward将奖励数据当作布尔值处理KTO 可选--generation-role模型生成的角色名默认assistant。4.1 DPO 数据DPO 需要成对的 chosen / rejected 序列且两者需以相同长度对齐allow_chopped: false时要求严格配对。README 给出的命令对 train / test / val 三组分别处理 rejected 与 chosenpython tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --only-last python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_test_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --only-last python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --only-last python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --only-last python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_test_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --only-last python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_dpo_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --only-last产生的_chosen_document、_rejected_document及对应的_label_document序列正好对应 DPO 配置中pos_*chosen与neg_*rejected系列数据路径。4.2 RM 数据奖励模型只需预测序列末尾的得分 token因此预处理时使用--for-rm屏蔽除最后 token 外的全部内容python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_rm_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --for-rm python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_test_filtered.jsonl --output-prefix data/pairwise/llama3_rm_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --for-rm python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_rm_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys rejected --for-rm python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_rm_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --for-rm python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_test_filtered.jsonl --output-prefix data/pairwise/llama3_rm_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --for-rm python tools/datasets/preprocess_data_with_chat_template.py --input data/pairwise/llama3_dpo_train_filtered.jsonl --output-prefix data/pairwise/llama3_rm_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys chosen --for-rm4.3 SFT 数据SFT 使用messages字段并配合--only-last屏蔽对话除最后一轮外的内容只监督模型生成最后的 assistant 回复python tools/datasets/preprocess_data_with_chat_template.py --input data/sft/llama3_sft_train_filtered.jsonl --output-prefix data/sft/llama3_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages python tools/datasets/preprocess_data_with_chat_template.py --input data/sft/llama3_sft_test_filtered.jsonl --output-prefix data/sft/llama3_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages python tools/datasets/preprocess_data_with_chat_template.py --input data/sft/llama3_sft_train_filtered.jsonl --output-prefix data/sft/llama3_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages4.4 KTO 数据KTO 在 SFT 数据基础上额外通过--reward-key reward指定奖励字段即llama_data.py写出的reward列python tools/datasets/preprocess_data_with_chat_template.py --input data/kto/llama3_sft_train_filtered.jsonl --output-prefix data/kto/llama3_train --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages --reward-key reward python tools/datasets/preprocess_data_with_chat_template.py --input data/kto/llama3_sft_test_filtered.jsonl --output-prefix data/kto/llama3_test --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages --reward-key reward python tools/datasets/preprocess_data_with_chat_template.py --input data/kto/llama3_sft_train_filtered.jsonl --output-prefix data/kto/llama3_val --tokenizer-path checkpoints/neox_converted/llama3-8b-instruct/tokenizer --jsonl-keys messages --reward-key reward预处理脚本会为 reward key 额外生成_{key}_reward_document文件源码见 preprocess_data_with_chat_template.py对应 KTO 配置中的train_reward_data_paths等路径。五、训练配置详解以 Llama-3-8B 系列为例仓库在 post-training/configs 下为每种范式提供了开箱即用的配置。以 llama3-8b-dpo.yml 为例逐段拆解5.1 并行与模型结构四份配置共用{ pipe_parallel_size: 0, model_parallel_size: 4, make_vocab_size_divisible_by: 1, num_layers: 32, hidden_size: 4096, num_attention_heads: 32, num_kv_heads: 8, seq_length: 1024, max_position_embeddings: 1024, pos_emb: rotary, rotary_pct: 1, rotary_emb_base: 500000, rope_fusion: true, no_weight_tying: true, gpt_j_residual: false, output_layer_parallelism: column, norm: rmsnorm, rms_norm_epsilon: 1.0e-5, attention_config: [[[flash], 32]], scaled_upper_triang_masked_softmax_fusion: true, bias_gelu_fusion: false, use_bias_in_norms: false, use_bias_in_attn_linear: false, use_bias_in_mlp: false, use_flashattn_swiglu: true, activation: swiglu, intermediate_size: 14336, mlp_multiple_of: 14336 }关键点解读pipe_parallel_size: 0流水线并行关闭。这不是随意设置——源码中明确断言kto / dpo / rm三种训练范式当前不支持流水线并行见 megatron/training.pynum_kv_heads: 8启用 GQAGrouped-Query Attention与 Llama-3-8B 一致seq_length: 1024配置注释说明「llama3 支持更长这里仅用于测试」实际使用 UltraFeedback 数据时可按需调大attention_config: [[[flash], 32]]32 层全部使用 FlashAttentionuse_flashattn_swiglu: trueactivation: swiglu启用 FlashAttention 与 SwiGLU 融合对应 Llama-3 的激活函数与 MLP 结构intermediate_size: 14336。5.2 优化器与混合精度共用optimizer: { type: Adam, params: { lr: 0.00001, betas: [0.9, 0.95], eps: 1.0e-8 } }, min_lr: 0.000001, zero_optimization: { stage: 1, allgather_partitions: true, allgather_bucket_size: 1260000000, overlap_comm: true, reduce_scatter: true, reduce_bucket_size: 1260000000, contiguous_gradients: true, cpu_offload: false }, precision: bfloat16, fp32_allreduce: true, bf16: { enabled: true }, data_types: { grad_accum_dtype: fp32 }SFT 与 KTO 配置学习率为1e-5DPO 与 RM 配置学习率更低5e-7因为偏好优化阶段只需对已对齐模型做小幅调整使用 Adam 优化器、bfloat16 混合精度梯度累积使用 fp32 精度ZeRO stage 1 分片优化器状态附带的 benchmarking/llama-13b-dpo.yml 展示了 13B 规模的 DPO 基准配置40 层、hidden 5120、model_parallel_size: 2可用于评估更大模型的吞吐表现。5.3 范式专属训练参数核心差异DPOllama3-8b-dpo.ymltrain_impl: dpo, dataset_impl: pairwise, dpo_fp32: true, dpo_beta: 0.01, allow_chopped: false, pos_train_data_paths: [data/pairwise/llama3_dpo_train_chosen_document], pos_train_label_data_paths: [data/pairwise/llama3_dpo_train_chosen_label_document], neg_train_data_paths: [data/pairwise/llama3_dpo_train_rejected_document], neg_train_label_data_paths: [data/pairwise/llama3_dpo_train_rejected_label_document]train_impl: dpo是训练范式开关dataset_impl: pairwise指定成对数据集dpo_beta控制 KL 约束强度0.01 为常见默认值dpo_fp32: true表示以 fp32 精度计算 log-proballow_chopped: false要求 chosen / rejected 样本严格等长配对否则报错pos_*与neg_*系列路径分别对应预处理产出的 chosen / rejected.bin数据。RMllama3-8b-rm.ymltrain_impl: rm、dataset_impl: pairwise数据路径换成data/pairwise/llama3_rm_*其余结构与 DPO 配置基本一致。KTOllama3-8b-kto.ymltrain_impl: kto, kto_fp32: true, kto_beta: 0.1, allow_chopped: false, train_data_paths: [data/kto/llama3_train_messages_document], train_label_data_paths: [data/kto/llama3_train_messages_label_document], train_reward_data_paths: [data/kto/llama3_train_messages_reward_document]KTO 不使用成对数据而是单条数据 奖励标签通过train_reward_data_paths引入奖励信号。REINFORCEllama3-8b-reinforce.ymltrain_impl: reinforce, dataset_impl: online, reinforce_leave_one_out: true, fp32_reinforce: true, kl_impl: abs, online_dataserver_ports: [10000, 10001], serve_model_weights: truedataset_impl: online数据来自在线采样而非静态文件serve_model_weights: true将 NeoX 权重共享给外部推理服务synth-vllm的 GPU 显存位置实现训练/推理同权重online_dataserver_ports在线数据服务端口列表kl_impl: absKL 惩罚采用绝对值形式源码支持full/abs/mse/kl四种见 megatron/training.py。5.4 通用训练与调度设置四份配置共用的调度参数train_iters: 477, lr_decay_iters: 477, lr_decay_style: cosine, warmup: 0.1, gradient_clipping: 1.0, weight_decay: 0.1, train_micro_batch_size_per_gpu: 32, gradient_accumulation_steps: 2, data_impl: mmap, pack_impl: unpacked, num_workers: 1, checkpoint_activations: true, checkpoint_num_layers: 1, partition_activations: true, synchronize_each_layer: true, checkpoint_factor: 1000, eval_interval: 100, eval_iters: 10, log_interval: 1, steps_per_print: 1, wall_clock_breakdown: true以及权重加载与监控save: checkpoints/dpo/llama3/llama3-8b-instruct, load: checkpoints/neox_converted/llama3-8b-instruct, vocab-file: checkpoints/neox_converted/llama3-8b-instruct/tokenizer/tokenizer.json, use_wandb: true, wandb_group: llama3-8b-instruct, wandb_project: ultrafeedback-dpo, finetune: true, tokenizer_type: HFTokenizerload指向第一步转换得到的 NeoX 权重目录save为本次训练输出目录finetune: true以微调方式从检查点加载配置注释提示从中间检查点恢复训练时应改为false并将load指向save目录tokenizer_type: HFTokenizer使用 HF 分词器与vocab-file中的tokenizer.json配套。启动训练时使用仓库根目录的 train.py或deepy.py并传入对应配置即可例如python train.py post-training/configs/llama3-8b-dpo.yml六、源码级原理这些训练范式在 GPT-NeoX 中如何实现6.1 统一的训练范式分派训练主循环 megatron/training.py 通过neox_args.train_impl字段统一分派数据加载与损失计算数据加载阶段normal / kto / reinforce走普通序列数据路径dpo / rm走成对数据路径见 megatron/training.py奖励数据处理KTO 使用reward字段、REINFORCE 使用reward与raw_reward字段、DPO/RM 按 chosen / rejected 配对广播见 megatron/training.py。6.2 DPO 与 RM 的成对数据支撑成对数据由 megatron/data/pairwise_dataset.py 中的PairwiseDataset承载。它同时持有pos_indexed_datasetchosen与neg_indexed_datasetrejected两套索引数据集并可选携带各自的label_dataset与ref_dataset其构造注释特别说明「无需单独的 neg 数据因为假设数据已经配对完毕」。allow_chopped参数控制是否允许裁剪不成对的样本。损失计算上DPO 与 RM 共用成对前向RM 模式下只对序列末尾 token 计算奖励得分这也是预处理必须用--for-rm的原因DPO 模式则分别计算 chosen / rejected 的对数似然再以dpo_beta加权做-F.logsigmoid(...)的成对排序损失并记录chosen_rewards、rejected_rewards、reward_acc、margins等监控指标见 megatron/training.py。DPO 还支持dpo_reference_free免参考模型模式。6.3 KTO 与 REINFORCE 的损失形态KTO参考 TRL 的kto_trainer.py实现用理想/非理想奖励信号计算损失支持kto_desirable_weight/kto_undesirable_weight非对称加权与reward_acc指标见 megatron/training.pyREINFORCE在reference_model存在时计算 KL 惩罚kl_impl支持full/abs/mse/kl损失为(-per_token_logp * rewards) (kl_div_beta * kl)并记录logp、reward、reward_std、kl等指标见 megatron/training.py。6.4 在线 REINFORCE 训练的外部依赖在线范式需要 SynthLabs 维护的synth-vllmvLLM 分支支持直接共享 GPT-NeoX 权重的 GPU 显存位置当前支持 Llama 与 Pythia 系列。在线训练指南 给出了 conda 环境下的参考构建步骤CUDA 12.1 工具链 pip install -e .并说明单机示例的运行方式# 建议在两个独立终端分别执行 python post-training/online_data_example_llama3.py bash post-training/online_example.sh其中 online_example.sh 与 online_data_example_llama3.py 是配套的单机示例训练进程通过共享权重让 synth-vllm 对提示词实时采样再用一个情感分类器给出奖励从而直接优化正向情感得分。该流程假设 GPT-NeoX 已安装在名为neox的 conda 环境中。七、转换回 HuggingFace 格式训练产出的 NeoX 检查点可通过 tools/ckpts/convert_neox_to_hf.py 转回 HF 格式以便用 transformers / vLLM 等生态工具做推理或评估# RM python tools/ckpts/convert_neox_to_hf.py --input_dir eleuther-neox/checkpoints/rm/llama3/llama3-8b-instruct/global_step100 --output_dir checkpoints/rm/llama3_hf --config_file checkpoints/rm/llama3/llama3-8b-instruct/global_step100/configs/llama3-8b-rm.yml --precision bf16 --vocab-is-hf-tokenizer --architecture llama --pad-token-id 128002 # SFT/DPO python tools/ckpts/convert_neox_to_hf.py --input_dir eleuther-neox/checkpoints/dpo/sft/llama3/llama3-8b-instruct/global_step100 --output_dir checkpoints/dpo/sft/llama3_hf --config_file checkpoints/dpo/sft/llama3/llama3-8b-instruct/global_step100/configs/llama3-8b-rm.yml --precision bf16 --vocab-is-hf-tokenizer --architecture llama参数要点--input_dirNeoX 检查点目录按global_stepN组织--output_dirHF 格式输出目录--config_file训练时使用的 NeoX 配置RM 转换需显式给出SFT/DPO 同理--precision bf16以 bf16 精度导出--vocab-is-hf-tokenizer词表使用 HF 分词器与tokenizer_type: HFTokenizer对应--architecture llama指定导出架构为 Llama--pad-token-id 128002RM 转换时显式指定 pad token idLlama-3 词表中 id 128002 为|end_of_text|确保奖励模型打分序列的填充 token 一致。八、完整工作流小结将上述步骤串联一次完整的 GPT-NeoX 后训练闭环为权重准备convert_hf_llama_to_neox.py将 HF Llama-3 转为 4 路张量并行的 NeoX 格式数据生成llama_data.py从ultrafeedback_binarized产出 DPO / SFT / KTO 三套 jsonl数据预处理preprocess_data_with_chat_template.py按范式分别产出 mmap 格式的 chosen / rejected / messages / reward 序列训练选择对应范式配置SFT / DPO / RM / KTO / REINFORCE运行 train.py导出convert_neox_to_hf.py将检查点转回 HF 格式用于推理与评估。对于偏好优化阶段配置中刻意选择了较低的seq_length与适中的 batch 参数如train_micro_batch_size_per_gpu: 32、gradient_accumulation_steps: 2并开启了激活检查点与 FlashAttention 以平衡显存与速度实际生产环境可依据 benchmarking 中的 13B 配置思路按硬件规模调整model_parallel_size、train_iters与lr_decay_iters。若需更细致的参数解析可参阅仓库根 配置文档 与 在线训练说明。赞分享深度学习NLP大模型分布式训练预训练【免费下载链接】gpt-neoxAn implementation of model parallel autoregressive transformers on GPUs, based on the Megatron and DeepSpeed libraries项目地址https://gitcode.com/gh_mirrors/gp/gpt-neox点击查看免费下载相关推荐LLaMA-Factory训练策略SFT/RM/PPO/DPO/KTO全流程对比LLaMA Factory训练策略SFT/RM/PPO/DPO/KTO全流程对比 LLaMA Factory作为易于使用的大型语言模型LLM微调框架支持人工智能大模型微调LoRA强化学习RLHF预训练模型评测PaddleNLP 中 Mistral 7B 全流程实战指南模型加载、SFT 微调、LoRA、DPO/KTO 对齐与 PRM 训练PaddleNLP 中 Mistral 7B 全流程实战指南模型加载、SFT 微调、LoRA、DPO/KTO 对齐与 PRM 训练 Mistral 7B 是当人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPQwen3-Coder微调指南SFT与DPO训练全流程Qwen3 Coder微调指南SFT与DPO训练全流程 本文详细介绍了Qwen3 Coder模型的完整微调流程包括数据格式要求与预处理方法、监督微调 SFT大模型代码模型微调模型评测强化学习上一篇go-git 与 Git 兼容性全解析从 Porcelain 命令到传输协议的能力边界OpenCloud 依赖视角下一篇OpenMedKit Android 端去标识化策略体系OM-031a 六套内置 Policy Profile 深度解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考