先聊一个反直觉的结论想让大模型稳定输出规范格式也许根本不需要动模型权重。我这两年做过不少微调项目LoRA、P-Tuning、全参数微调都跑过每次都要面对一个尴尬的问题——模型是变聪明了一点但也变死了一点原有的泛化能力多少会退化而且每次换任务都要重新训一组权重成本并不低。直到我接触到微软的 SkillOpt 思路才意识到另一条路模型还是那个模型只训练一段提示让它在需要的时候切换到某种技能状态。就拿我最常遇到的需求来说——让模型输出结构化的 Markdown——完全可以靠 SkillOpt 训练一组Markdown 技能提示来实现权重不改效果反而更灵活。这篇文章就围绕这个思路展开。我会先讲清楚 SkillOpt 的核心原理然后用让模型稳定输出 Markdown这个具体任务把从数据构造、训练到评测的完整流程拆开来说最后附上我复现过程中踩过的坑和一些对比数据。如果你也在做提示工程、参数高效微调或者被模型输出格式不稳定折磨过这篇文章应该能给你一些新的思路。1. SkillOpt 的核心逻辑模型不动变化的是输入侧的技能先说清楚一件事SkillOpt 不是微调也不是普通的 Prompt Engineering。它是把提示本身当作可训练的参数用梯度下降去优化但全程不碰模型权重。理解这一点才能理解后面所有操作。1.1 提示学习与权重微调的本质区别传统微调包括全参数微调和 LoRA 这类参数高效微调改的是模型内部的参数让模型对新任务产生新的知识映射。它的代价是你需要在训练时保存一份新的权重副本推理时加载这份权重换一个任务又要重新训一份。模型的知识库被写死在权重里迁移性有限。而提示学习Prompt Learning走的是另一条路。它把模型当作一个固定的推理引擎在输入文本前面拼接一段可学习的向量通常叫 soft prompt 或 continuous prompt。训练时只更新这段向量模型本身的权重完全冻结。你可以把这段向量理解为给模型戴上的任务眼镜——戴上它模型就看到任务相关的上下文摘掉它模型又恢复原样。SkillOpt 在这个基础上更进一步把提示组织成技能模块skill module。每个技能模块对应一种能力比如Markdown 格式化、数学推理、代码调试。这些模块可以单独训练也可以组合使用。组合时不是简单拼接文本而是通过一个可学习的路由或加权机制让多个技能协同影响模型的输出。1.2 SkillOpt 的技能模块是如何工作的一个技能模块的本质是一小段可训练的连续向量序列长度通常在 16 到 100 个 token 之间。它的工作流程可以这样理解定义技能名称和描述。比如Markdown 技能对应将输出内容组织为 Markdown 格式正确使用标题、列表、表格、代码块等语法。将技能名称经过编码器映射为一组初始向量。这里有个细节微软的做法是让每个技能模块在模型的 embedding 空间中初始化这样比随机初始化更容易收敛。训练时对输入样本做两次前向一次是常规输入另一次是在输入前拼接技能向量。通过比较两者输出的差异计算梯度只更新技能向量。我在实际复现时简化成了只做带技能向量的前向因为对比学习会让训练时间翻倍而效果提升有限。后面我会在踩坑部分详细说这个取舍。值得强调的是技能模块训练好之后可以迁移到同系列的其他模型上。比如用 7B 模型训练出来的 Markdown 技能提示直接放到 13B 模型上也有不错的增益效果。这一点和 LoRA 完全不同——LoRA 适配器通常只能在相同模型架构和尺寸之间迁移而 SkillOpt 的提示向量本质上是输入侧的软约束和模型参数的耦合度更低。1.3 为什么可以跨任务、跨模型迁移核心原因在于技能模块学到的不是具体任务的答案而是一种输出行为模式。Markdown 技能学到的是什么时候用#标题、列表项如何缩进、表格对齐规则、代码块如何标注语言。这些规则是通用格式知识不依赖于具体领域。所以它可以从产品需求文档生成任务迁移到技术报告摘要任务只需在推理时保留同一组技能向量替换任务输入即可。打个比方全参数微调像是换了一台专用机床齿轮和刀具都换掉LoRA 像是在机床上加装了一个小型适配器精度更高但依然要停机安装SkillOpt 则像给操作员戴了一副不同的眼镜——视觉状态变了但机床本身完全没动。换任务就换眼镜成本低得多。2. 用 Markdown 当训练目标到底在训练什么你可能会问模型本来就会 Markdown 语法还要专门训练吗我的回答是模型会和稳定地用是两回事。生成式语言模型在自由输出时经常出现格式漂移——该用列表时换成了段落、表格缺少对齐、代码块语言标注丢失。SkillOpt 的目标正是通过一组可训练提示把模型锚定在Markdown 输出模式下。2.1 Markdown 是一种低自由度、高结构的输出格式Markdown 的设计哲学是轻量、易读、可转换。它只有十来种核心语法标题、列表、引用、代码块、表格、链接、图片、粗体斜体等。但这种少而精的特性特别适合作为技能学习的对象。因为格式规则是离散且有限的模型只需要学会在什么语义位置输出什么语法符号就能形成稳定的格式行为。相比之下如果要训练开放域写作风格目标太发散提示向量很难收敛出一个可迁移的模式。另外Markdown 是纯文本不需要额外的 tokenizer 或特殊解码逻辑训练和推理都非常方便。这也是为什么很多结构化输出项目会优先选择 Markdown 作为中间表示——它既能被人读又能被程序解析。2.2 训练数据怎么构造让模型学会格式约束我在构造训练数据时遵循了一个原则数据里不包含答案内容只包含格式示范。这是什么意思看下面这个例子。输入任务是请总结以下会议纪要的关键决策并使用 Markdown 列表输出。目标输出是## 关键决策 - 采用微服务架构拆分订单模块 - 上线时间定为下月 15 日 - 由后端组负责接口文档维护模型需要学习的不是微服务架构这个内容而是有## 关键决策这样的二级标题下面跟无序列表项每项以-开头。所以我把训练集设计成输入任务文本 期望的 Markdown 结构片段而不是完整的答案。这样技能向量学到的就是纯粹的格式模式而不是内容关联。更有效的一种做法是并行构造非 Markdown 输出和Markdown 输出作为对比样本。比如同一个任务一个输出是普通段落一个是 Markdown 结构化版本。训练时让模型在技能向量加持下更偏向 Markdown 输出。不过这种方法需要额外的负样本设计我在第一版实验里用了但后来发现正样本数据量足够时效果差异不大。2.3 训练目标与 Loss 设计SkillOpt 训练的 Loss 就是常规的交叉熵损失预测目标序列的 token。但和全参数微调不同的是这个 Loss 只回传梯度到技能向量上模型所有其他参数都保持冻结。从实现角度看相当于我们在输入 embedding 序列前面插入了 N 个可训练向量这些向量维度与模型 embedding 维度一致常见的是 4096 或 8192。前向过程是# 伪代码SkillOpt 提示训练的最小逻辑 import torch from torch import nn soft_prompt nn.Parameter( torch.randn(prompt_length, embedding_dim, requires_gradTrue) ) def forward_with_skill(model, input_ids, input_embeds): # 将输入 IDs 转换为 embedding input_embeds model.get_input_embeddings()(input_ids) # (batch, seq_len, dim) # 在序列开头拼接技能向量 combined_embeds torch.cat([soft_prompt.unsqueeze(0).expand(batch_size, -1, -1), input_embeds], dim1) # 冻结模型前向 with torch.no_grad(): output_logits model(inputs_embedscombined_embeds).logits return output_logits # 计算交叉熵时需要 shift logits 和标签对齐 loss nn.CrossEntropyLoss()(output_logits[:, prompt_length - 1:-1].reshape(-1, vocab_size), target_ids.reshape(-1)) loss.backward() # 只更新 soft_prompt 和额外的可学习参数如技能路由权重 optimizer.step()这里有一个实现细节由于我们在输入侧增加了 prompt 向量模型输出的 logits 序列会比标签序列长 N 个位置。计算 Loss 时需要偏移对齐让每个 token 预测下一个 token。我在第一次实现时就是因为没对齐导致 Loss 一直居高不下后来仔细核对了序列长度才明白问题所在。2.4 技能向量的初始化别小看这一环初始化方式直接影响训练收敛速度。我在实验中对三种初始化方式做了比较随机均匀分布初始化、零向量初始化、基于技能名称 embedding 的语义初始化。结果显示基于语义初始化效果最好训练 20 步左右就能看到格式正确率明显上升零向量初始化则几乎不收敛。原因不难理解soft prompt 的训练空间极高维如果从一个完全随机的点开始梯度信息非常稀疏容易陷入局部最优。而从Markdown 这个单词在模型 embedding 空间中的位置开始初始化等于给了训练一个正确的方向锚点。3. 实战环境与最小可复现流程理论说完了下面进入可操作的部分。我以让开源对话模型在输出总结时稳定使用 Markdown 格式为例做一次完整的复现。3.1 环境准备SkillOpt 的好处是不需要改模型库所以只需要一个支持inputs_embeds传入的 HuggingFace 模型即可。我用的是 Qwen2.5-7B-Instruct显存占用在 A100 40G 上完全够用。依赖项相当简单pip install torch transformers datasets accelerate如果你的机器显存较小也可以选择 1.5B 或 3B 的模型。技能提示的向量参数量很小比如 20 个 token × 4096 维 ≈ 8 万个参数训练时的显存开销主要是模型本身的激活值。实测下来7B 模型 batch size 4 序列长度 512训练显存大约 20GB 左右。如果只有 24GB 显存建议用梯度累积。3.2 数据准备与预处理我构造了一个总结摘要数据集包含 5000 条样本。每条样本由三个字段组成task_prompt任务描述如请将以下内容用 Markdown 格式总结为要点列表source_text原始文本如会议纪要、新闻段落、技术文档片段target_markdown期望的 Markdown 结构化输出在实际构造 target 时我会人为地保证格式多样性30% 用无序列表、20% 用有序列表、20% 用表格、20% 用标题列表嵌套、10% 用代码块。这样技能向量不会偏向某一种特定格式。数据预处理的核心是拼接 task_prompt 和 source_text然后用模型的 tokenizer 转成 input_ids。注意技能向量是插入在整个输入之前的所以 tokenizer 处理时不包含技能向量部分向量在 embedding 阶段拼进去。from datasets import load_dataset from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2.5-7B-Instruct) def preprocess(examples): prompts examples[task_prompt] sources examples[source_text] targets examples[target_markdown] # 拼接输入 inputs [p \n s for p, s in zip(prompts, sources)] model_inputs tokenizer(inputs, max_length512, truncationTrue, paddingmax_length) labels tokenizer(targets, max_length256, truncationTrue, paddingmax_length) model_inputs[labels] labels[input_ids] return model_inputs dataset load_dataset(json, data_filesskillopt_markdown_data.jsonl)[train] dataset dataset.map(preprocess, batchedTrue, remove_columnsdataset.column_names)这里要注意模型的对话模板。我为了减少变量没有使用 Chat 模板而是直接把任务描述作为原始文本输入。原因是 soft prompt 添加到输入序列最前面后如果中间还隔着[INST]、SYS等特殊 token训练出的技能向量会和这些 token 耦合迁移到其他模型时效果会下降。尽量保持输入格式简单技能模块的泛化性会更好。3.3 核心训练循环训练循环的核心逻辑是冻结模型只打开 soft prompt 参数的梯度用 AdamW 优化器更新。学习率不需要太大我在实验中用了 1e-3效果不错。import torch from torch import nn from transformers import AutoModelForCausalLM, Trainer, TrainingArguments from transformers.trainer_utils import PredictionOutput # 冻结所有模型参数 model AutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B-Instruct) for param in model.parameters(): param.requires_grad False # 定义可训练技能向量 PROMPT_LENGTH 20 EMBEDDING_DIM model.config.hidden_size soft_prompt nn.Parameter(torch.randn(PROMPT_LENGTH, EMBEDDING_DIM) * 0.02) # 将 soft_prompt 注册为模型的可训练参数 trainable_params [soft_prompt] optimizer torch.optim.AdamW(trainable_params, lr1e-3) # 自定义训练循环简化版 for batch in dataloader: input_ids batch[input_ids].to(device) labels batch[labels].to(device) attention_mask batch[attention_mask].to(device) # 获取输入 embedding inputs_embeds model.get_input_embeddings()(input_ids) # 在开头拼接技能向量 batch_size inputs_embeds.size(0) skill_embeds soft_prompt.unsqueeze(0).expand(batch_size, -1, -1) combined_embeds torch.cat([skill_embeds, inputs_embeds], dim1) # 扩展注意力掩码 combined_attention_mask torch.cat([ torch.ones(batch_size, PROMPT_LENGTH, devicedevice), attention_mask, ], dim1) outputs model(inputs_embedscombined_embeds, attention_maskcombined_attention_mask, labelslabels, # 注意需要 shift return_dictTrue) loss outputs.loss loss.backward() optimizer.step() optimizer.zero_grad()Batch size 我设置的是 4共训练 200 步也就是大约 25 个 epoch5000 条数据。这个看起来过度训练看似不合理但需要注意我们的可训练参数极少过拟合风险并不高而且格式技能的模式相对固定多跑几个 epoch 能帮助向量更稳定地收敛。实测 100 步时格式正确率已经到 90% 以上200 步后基本稳定在 95% 左右。3.4 评估与导出训练完的产物是一组向量和一个技能描述文件。我把它们打包成类似这样的结构import torch skill_data { skill_name: markdown_summary, description: Generate structured Markdown formatted output for summaries, prompt_length: 20, embedding_dim: 4096, soft_prompt: soft_prompt.detach().cpu().tolist(), base_model: Qwen/Qwen2.5-7B-Instruct, created_date: 2025-01-10, } torch.save(skill_data, markdown_summary_skill.pt)推理时加载这个技能文件将 soft_prompt 转换回 tensor插入输入 embedding 序列正常解码即可。真正做到了推理时代码不变只在输入侧多了一组向量。评测时我用了一个独立的测试集包含 200 条样本。评测指标有两个格式正确率用正则或解析器检查 Markdown 语法是否合规和下游任务指标摘要的 ROUGE-L。SkillOpt 加持后格式正确率从无提示时的 73% 提升到 95% 以上而 ROUGE-L 几乎没有下降说明模型在遵循格式约束的同时没有牺牲内容质量。4. 效果对比SkillOpt、LoRA 与全参数微调既然是训练任务自然少不了和其他微调方式的对比。我在同一个数据集和模型底座上跑了三组实验全参数微调、LoRArank16、SkillOpt。每组都训练到格式正确率稳定为止。下面是实际对比结果维度全参数微调LoRA (r16)SkillOpt是否修改模型权重是是低秩增量否可训练参数量~70亿~4000万~8万单任务显存占用65GB30GB20GB训练时长7B5000样本3小时1.5小时1小时格式正确率提升96%95%95%原任务能力退化程度明显轻微无跨模型迁移不可用不推荐可用从这个表可以清楚看到SkillOpt 在格式约束类任务上的效果并不输给 LoRA但可训练参数量少了三个数量级而且关键优势是完全不修改模型权重所以不存在灾难性遗忘。我单独做了个通用知识保持测试让三组模型回答一些常识知识题和数学计算题全参数微调组下降明显LoRA 组略有下降SkillOpt 组和原模型完全一致。当然SkillOpt 不是万能的。在处理需要大量新知识注入的任务时比如让模型学习一个全新领域的专业术语和事实它就显得力不从心了因为提示向量只能改变输出风格无法在模型内部写入新知识。这类任务还是要回归 LoRA 或全参数微调。5. 我在复现中踩过的坑这部分可能是大家最需要的。SkillOpt 思路听起来简单真正跑起来还是有不少细节容易踩坑。5.1 标签长度偏移问题第一个坑就是前面提到的偏移。对于因果语言模型输入序列增加 N 个 prompt token 后模型输出序列长度等于输入序列长度加 1预测下一个 token。如果想用labels参数直接计算 Loss需要保证 labels 的长度和 model outputs 的 logits 序列长度对齐通常在 Trainer 里会自动处理但自定义循环时必须手动处理 shift。我当时的解决办法是在计算 Loss 前手动移除 logits 和 labels 的首尾 token让两者对齐。具体可以看官方shift_logits的实现这也是我建议在自定义训练循环前先跑通一个最小 Demo 的原因——先在一个很小的模型上验证 Loss 曲线正常再换大模型。5.2 技能向量与特殊 token 的耦合我刚开始复现时图省事把技能向量直接加在 Chat 模板之前。结果发现训练出的技能向量换一个 prompt 模板就完全失效。原因是向量学到了和[INST]token 配合使用的隐含信息而不是纯粹的 Markdown 格式技能。解决方法是去掉所有模板 token输入直接是纯任务文本。这样技能向量的泛化性显著提升。真实业务场景中如果你必须用 Chat 模板建议把技能向量插入到系统提示的位置而不是输入最前端这样耦合度会小一些。5.3 训练数据里的格式负样本一开始我犯过一个错误用一个通用问答数据集其中只有小部分样本用了 Markdown 格式。训练出来的技能向量基本失效因为模型看到的大多数样本都不是 Markdown 输出梯度方向被非 Markdown样本带偏了。后来我把训练集全部换成 Markdown 结构化输出样本并有意混合了不同 Markdown 类型列表、表格、代码块效果立竿见影。这也说明了一个原则技能模块训练数据要纯技能要学什么数据里就要以什么为主。混合数据请谨慎除非你明确在做多技能组合。5.4 多技能组合时的权重冲突如果想让模型既能输出 Markdown又能做数据抽取就需要训练多个技能模块并在推理时组合。我试过直接拼接两个技能向量效果不理想——格式正确率下降抽取准确率也下降。后来参考 SkillOpt 的思路在技能向量之后加了一层简单的门控权重gate由模型首层输出计算得到用来调节不同技能向量的激活强度。门控权重只有几万个参数训练成本几乎可以忽略但多技能组合效果提升明显。这一块比较进阶如果你只是单技能使用可以先跳过。5.5 评估时用贪心解码还是采样这个坑比较隐蔽。我在评测格式正确率时一开始使用默认的贪心解码greedy decoding。后来又用 temperature0.7 的采样方法测了一遍发现格式正确率从 95% 掉到 88% 左右。原因很好理解采样引入了随机性模型在小概率位置可能会输出错误格式。如果你想在生成任务中实用化这个技能提示建议在解码阶段使用较温和的温度0.3 左右或者少量 top-p 截断并开启 repetition penalty这样可以兼顾格式稳定性和内容多样性。6. 适用场景与最后的边界提醒SkillOpt 最适合的场景是你有一个底座能力很强、但输出格式不稳定的大模型希望在不改变模型的前提下让它稳定地遵守某种结构约束。常见的有代码注释规范化、SQL 生成、JSON 结构化输出、Markdown 报告摘要等。它也很适合作为 MLOps 流程中的一个轻量技能层与多个基础模型共享同一组技能向量。反过来如果你的目标是让模型学会新知识、新语言、新领域的专有名词那 SkillOpt 不合适请老老实实用 LoRA 或全参微调。另外如果模型底座本身格式能力很差比如极小的 0.5B 模型技能向量的提升幅度也会受限需要先更换能力更强的底座。我在实际操作中还有一个体会技能提示训练不是一次性的。当底座模型升级时建议用旧的技能向量作为初始化在新模型上做几十步的适配训练成本极低但效果比从头训练快得多。这有点像给一位熟练工人换一台新设备只需要花很短时间熟悉新设备的操作界面核心技能依然保留。如果你准备在自己的任务上尝试我的建议是从一个 20 长度、单技能的实验开始把数据纯度和 Loss 对齐先做对再逐步扩展到多技能组合。这条路走通了之后你会发现训练模型这件事其实可以有更轻巧的打开方式。