1. 为什么数据越少微调越容易翻车先讲一个我反复见过的现象手里只有几百条业务数据拿着某个开源基座模型去做微调跑完十个 epoch 一看训练 loss 掉得挺漂亮兴冲冲拿真实输入去测模型却开始说胡话——要么复读机一样重复同一句话要么把预训练阶段学到的通用能力忘得一干二净。这不是模型不行也不是数据质量不行而是小数据集微调本身就踩在一个特殊的平衡点上数据量越少优化过程对超参数越敏感模型越容易在记住答案和学会任务之间走偏。为什么小数据集更容易翻车核心原因有三个。第一参数更新方向不稳定。深度学习本质是靠梯度下降逼近目标函数数据少意味着每个 batch 的样本分布和真实分布偏差很大梯度信号噪声高。大模型参数动辄几十亿哪怕只训练一小部分参数几十条样本给出的梯度也可能把优化方向带偏。表现就是训练 loss 震荡剧烈一会儿降一会儿升最终收敛到一个局部坏点。第二预训练知识容易被冲掉。基座模型在预训练阶段见过海量通用语料已经形成了稳定的内部表示。你在小数据上做全参数微调相当于让一个知识渊博的人强行只学一本小册子里的说法学几轮之后他可能把以前的大部分知识都忘光了。这就是大家常说的灾难性遗忘。小数据场景下尤其严重因为新数据太单一无法对冲遗忘。第三评估结果不可信。数据少意味着验证集也少可能只有一两百条样本。模型在验证集上分数波动极大这次调参好 5 个点下次换个随机种子就差 3 个点你根本分不清是改进还是运气。很多人就是在这种噪声里反复折腾最后放弃了。说了这么多结论其实很简单小数据集微调不是不能做而是要把精力放在数据整理、参数约束、训练策略和评估方法四个方向把容易翻车变成可控地逼近理想效果。下面我按实际操作顺序把这四件事拆开讲每一步都是我跑过真实场景后沉淀下来的做法。2. 数据功课比调参更值得花时间清洗、扩充与配比小数据集微调数据质量是第一优先级。模型是喂什么学什么的几十条脏数据就能毁掉全部效果。我见过有人拿 500 条样本微调其中 60 条格式不统一、20 条答案明显标错最后模型输出风格乱七八糟怎么调参都救不回来。所以第一步一定要死磕数据。2.1 清洗先看格式再看内容格式问题最隐蔽。同一个任务训练数据里有的样本用问题xxx\n答案xxx有的用用户问xxx\n助手答xxx模型会学出一种一会儿这么开头一会儿那么开头的混乱风格。我的习惯是把全部样本转成完全一致的模板连标点符号都统一。内容层面重点看三类问题答案错误标注者写错了模型就只能学错。答案不一致同一类问题有的给详细解释有的只给一句话结论模型会取均值输出不伦不类。重复样本采集过程中同一句子反复出现无形中放大了这部分数据的权重导致模型对高频样本过度拟合。清洗小技巧把所有样本按输入文本排序手动扫一遍重复项再用脚本统计每条样本的 token 长度分布把明显超出预期长度的离群样本揪出来单独看——很多时候是格式串了或者答案粘了一大段无关内容。2.2 扩充回译、改写与模板合成小数据集扩充要克制不能为了凑量而制造噪音。我用下来最靠谱的三个方法回译把已有样本的答案部分翻译成另一种语言再翻译回来得到语义相近但表达不同的新样本。回译对生成类任务特别有效因为生成任务希望模型意思对、表达多样回译天然提供了表达多样性。同义改写直接让基座模型把现有样本改写一遍加上保持意思不变换一种说法的指令。注意要人工抽检因为模型改写时可能篡改细节——比如把价格 199 元改成价格 99 元这种样本混进去就是毒药。模板合成如果你的任务有结构化特征比如抽取字段、分类可以写一套模板自动组合生成新样本。比如意图分类任务把我要查余额扩展成帮我看看卡里还剩多少钱余额是多少只要模板设计得贴近真实用户说法产出的样本质量很高。扩充多少合适我的原则是目标样本量达到每个典型场景至少 30 条即可不要盲目翻倍。500 条高质量数据往往比 2000 条掺着各种改写噪音的数据效果更好。2.3 配比任务语料与通用语料的比例控制这是很多人忽略的一点。小数据集微调的初衷是让模型学会你的任务但如果所有训练数据都是任务数据模型从预训练阶段带来的通用能力会迅速退化。表现在实际使用中就是任务要的东西答上来了但稍微换个问法就懵甚至日常对话能力也变差了。我的做法是在训练集中混入 10%~20% 的通用指令数据比如让模型介绍一下你自己解释什么是机器学习这类通用问答。这些数据本身不需要太多但能有效减缓灾难性遗忘。这个比例是多次实验试出来的低于 10%防遗忘效果不明显高于 20%会挤占任务语料的学习空间任务效果下降。3. 模型端选型LoRA、QLoRA 与全参微调的取舍小数据集场景下我强烈建议大家优先选择参数高效微调方法不要一上来就全参微调。原因在上面已经说了全参微调在小数据下极容易灾难性遗忘而且显存占用高、训练速度慢、超参数更敏感。我跑过几次全参微调效果最好的情况也不如 LoRA 来得稳定。3.1 LoRA 的工作原理LoRA 的思路很巧妙不直接更新原始权重矩阵而是在每个 Transformer 层旁边插入一个低秩分解矩阵对。训练时冻结原始权重只优化这些低秩矩阵。因为需要学习的参数总量大幅减少模型可以在很小的数据集上完成定向调整。打个比方预训练模型就像一本百科全书全参微调是让你重新抄写整本书并修改内容LoRA 则是贴几张便签只在相关章节补上新说法书的主体内容原封不动。显然数据少的时候贴便签比抄整本书安全得多。实践中的关键超参数是r秩和alpha缩放系数。我的经验r控制在 8~32 之间。小数据集通常用 8~16 就足够r越大表达能力越强但越容易过拟合。alpha一般设为r的两倍比如r8, alpha16这是社区里验证过较稳的默认组合。3.2 LoRA、QLoRA、全参微调对比训练方式需要训练的参数量显存占用小数据适用性我的推荐场景全参微调全部参数极高差极易过拟合与遗忘数据量 10 万级以上再考虑LoRA不到 1% 的参数低好推荐首选千条级数据微调QLoRA不到 1% 的参数基座模型被量化到 4bit极低好且能跑更大模型显存紧张时选用QLoRA 和 LoRA 的区别在于是否对基座模型做 4bit 量化。QLoRA 能把 7B 模型的微调显存压到 10GB 以内普通消费级显卡就能跑。代价是训练速度略慢、精度有微小损失。我的建议是先跑 LoRA如果显存不够再切成 QLoRA。两者切换的成本很低代码几乎不用改。3.3 一个开箱即用的 LoRA 配置下面是用 transformers 生态的 peft 库实现 LoRA 的典型配置注意这只是核心片段不是完整训练脚本from peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM model AutoModelForCausalLM.from_pretrained(你的基座模型路径) lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 建议在输出里确认可训练参数量确实很小target_modules要匹配基座模型的模块命名不同模型的注意力层叫法不一样跑之前先打印模型结构确认一下。如果你不确定把target_modules设成[all_linear]会让所有线性层都接上 LoRA效果通常会更好一点但显存和耗时也会增加。4. 训练参数从学习率到 epoch 的实测组合同样一份数据超参数不同效果天差地别。小数据集下的超参数设计逻辑和普通深度学习很不一样数据越少越要小心翼翼地更新参数。4.1 学习率往小了调LoRA 微调通常用 1e-4 到 2e-4全参微调则要更低1e-5 甚至 5e-6。数据少的时候学习率太大会让模型几步之内就把预训练权重冲垮。我踩过最狠的一次学习率设成 5e-4跑了 500 步模型输出开始出现大量无意义重复后来降到 2e-4 才恢复正常。如果你的数据量只有三五百条建议直接从 1e-4 起步小步慢跑。不要为了追求训练 loss 下降速度而调大学习率小数据集场景下慢反而是稳。4.2 Epoch3~10 轮是常见窗口小数据集常见误区是数据少所以要反复多学几轮。实际上数据太少时模型学不了几轮就把标准答案背下来了再学下去就是在背题而不是在学规律。我一般这样判断训练过程中每保存一个 checkpoint就用验证集测一次效果找到验证分数最高点。通常 3~10 轮之间会出现这个峰值超过 10 轮后验证分数普遍开始下滑。所以别固定跑 20 轮边跑边看到点就停。4.3 Batch size关注每一步的样本质量小数据集下大 batch 会让每一步梯度的计算过于偏科——一个 batch 如果凑巧全是同类样本梯度方向就歪了。反过来batch size 太小梯度噪声又大。我的折中方案训练样本在 1000 条以下用 batch size 4~8训练样本在 1000~5000 条用 batch size 8~16配合梯度累积让实际更新步数对应的样本量保持在 32~64 条左右。用梯度累积模拟大 batch 时要记得同步调整学习率batch 翻一倍学习率可以适度上调。实际操作中我习惯保持 2e-4 不变通过调整累积步数来控制训练的平滑程度效果更可控。4.4 其他关键参数warmup_ratio建议 0.03~0.1。小数据集训练的步数少warmup 步数太少起不到平滑作用太大则浪费训练步数1~3 步即可。weight_decay0.01 是个稳妥起点。它对小数据集的过拟合有抑制作用但依赖也有限主要防的是权重发散。max_length别死板地按模型最大长度去截断。如果任务样本平均 300 token设 512 token 足够设太长会浪费显存设太短会截掉关键答案。保存策略每个 epoch 保存一个 checkpoint。小数据场景下训练很快一个 epoch 可能只有几十步多存几个 checkpoint 不亏。4.5 警惕loss 在降、效果在变差的假收敛这类问题在小数据下特别常见训练 loss 一路下降但验证集指标纹丝不动甚至生成质量在恶化。原因通常是模型在抄答案——它记住了训练样本里的输入输出对而不是学会泛化。判断方法很简单把训练集里的原样输入拿去生成效果往往出奇地好换一批新输入去生成立刻露馅。所以千万不要以训练集上的生成效果来评估微调成败。我会在每次训练结束后做一次样本对比测试随机抽 10 条训练集内样本和 10 条训练集外新样本一起测两边效果都过关才说明模型真学会了。5. 过拟合的识别与干预别让模型变成复读机小数据集微调最典型的失败形态就两个字过拟合。但大模型的过拟合和传统深度模型的过拟合长得不太一样识别方式要另有一套。5.1 大模型过拟合的三大表象第一输出模板化。不同输入进去回答的开头结尾越来越像甚至只换几个关键词其他内容一字不差。第二复读机现象。生成内容反复重复某个短语句子越写越长空洞无物。第三丧失多样性。同一语义的提问回答总是同一句话。训练 loss 不一定高但输出质量明显僵化。如果你发现模型出现以上任一表象第一反应该不是调生成参数temperature、top_p而是回看训练曲线和训练步数——大概率是训练轮次过多或者学习率太大导致权重更新过猛。5.2 早停策略盯着验证集而不是训练集我训练时会在每个 checkpoint 保存后立即在验证集上跑一次效果评估记录分数。分数连续 2~3 个 checkpoint 没有上涨甚至下降就停止训练回滚到最高分对应的 checkpoint。这里的验证集建议从训练数据中专门划分出来按 9:1 或 8:2 分割。小数据集下分割会进一步减少训练样本所以比例不要太高10%~20% 就够。如果总数据量连 300 条都不到那验证集就从训练集里借一点点同时做好多次运行的方差评估不要单看一次结果。5.3 数据范围正则限制更新空间前面说的 LoRA 其实就是一个天然的正则手段。但 LoRA 内部也有正则lora_dropout可以稍微调高到 0.1让训练过程中的确定性下降一点降低对训练样本的敏感度。另外如果过拟合很顽固可以检查数据集配比中的通用语料占比——把它从 10% 提到 20%往往能显著缓解复读机问题。通用指令数据相当于给模型保留了一个回归基准点让它不至于完全偏向任务分布。5.4 最后一道退路放弃微调改用提示词或检索增强有些任务的数据量实在少到没法做微调比如只有 50 条样本。这时候我会直接放弃微调改用两个替代方案一是提示词工程。把任务描述、示例和规则写进 prompt 里靠基座模型强大的上下文学习能力完成任务。50 条样本挑出 5~10 条最有代表性的写进 prompt通常效果不错。二是检索增强。把现有数据做成知识库回答时先检索相关片段拼进上下文再让模型生成答案。这种方式在小数据场景下往往比微调更稳因为知识完全来自检索结果模型不需要学会新知识只需要理解问题。这不是偷懒小数据微调的目标本来就是在数据不足时用最少代价获得最大效果。有些任务不需要微调硬调反而亏。6. 评估方法论小数据场景下怎么判断真的变好了微调做完了最重要的灵魂拷问是效果到底变好了没有小数据场景下评估的信噪比很低一不小心就被噪声带了节奏。我总结了一套相对可靠的评估流程。6.1 先定基线再谈效果训练之前先拿原始基座模型在测试集上跑一遍得到一组基线输出。然后用提示词强引导基座模型再跑一遍得到第二组基线。微调后的模型至少要优于这两组基线才有保留价值。这点太重要了——我见过有人微调半天最终效果还不如直接把任务写进 prompt 让原模型零样本来得准。6.2 多次运行取中位数小数据下随机种子对结果的影响很大。我通常会用 3 个不同随机种子各跑一遍完整训练每遍在测试集上打分最终上报中位数而不是最高分。用最高分汇报会自我欺骗等上线一测立刻露馅。6.3 指标要分层看任务指标和生成质量指标都要看。分类任务看准确率、F1生成任务除了解答正确率还要盯三个指标重复率生成内容中 n-gram 重复的比例过高基本就是过拟合。平均长度如果所有回答长度趋于一致模板化嫌疑大。语义多样性同一类问题回答的句式变化是否丰富。这些指标不需要复杂的评测框架写一段几十行的脚本就能算出来。简单有效。6.4 盲评拉上人来看指标只能反映客观数值生成质量的主观感受还得靠人。我习惯做一轮小规模盲评把微调前、微调后的输出随机打乱并隐藏来源让 3~5 个人按准确性、流畅度、是否喜欢打分然后统计偏好分布。数据量不需要很大三五十条样本基本能看出趋势。盲评有个好处它能发现模型指标上涨但实际难用的问题比如回答过于口语化、语气怪异这些是自动指标抓不住的。微调这个东西说到底是用工程手段逼近效果上限。小数据集微调更是如此它逼你在数据、参数、评估各个维度都更精细反而能逼出不少好习惯。我最后的习惯性动作是微调完成后拿 5 条训练集里的原样输入和 5 条全新的相似输入各测一遍对比输出风格。如果两边看起来像同一个模型在回答说明这次微调是真的学到了规律如果训练集内很惊艳、训练集外立刻拉胯那基本就是背题了赶紧回滚到上一个 checkpoint。这个土办法我用了很久比任何花哨的评估指标都直观。