我最初接触“数据合成”不是因为追前沿名词而是被一组真实的标注账单逼的某个面向客服质检的文本分类项目真实标注数据只有不到3000条长尾类别比如“用户投诉发票抬头错误”在样本里只出现了7次外包报价按条约5块钱一条整套补到2万条至少要8万块预算时间还得等三周。某头部AI实验室近期公开演示了一个代号Antigravity的合成数据项目其中名为Argon的数据合成模块正好切中这个痛点——用生成模型产出带标签的训练样本替代一部分真实人工标注把成本打下来同时把长尾分布补全。这篇文章就把Argon的架构思路、复现步骤和我在实际跑数据时踩的坑完整拆开讲一遍。适合正在做NLP分类、指令微调或小样本场景的数据工程师哪怕你之前完全没用过合成数据看完也能搭出一条自己的流水线。1. 为什么真实数据越攒越不够用三个具体困境真实数据不是“不够”而是“够不到”。我在不同项目里反复遇到同一类问题业务方永远会说“库里数据很多”但等我把原始日志筛一遍、清洗一遍、去重一遍真正能直接作为训练样本的往往只剩冰山一角。合成数据出现的直接原因就是这三个困境已经靠加人力补不动了。第一个困境是长尾样本的标注成本高到离谱。以实体抽取为例常见实体人名、地名、机构名标注员闭着眼睛都能标但“某医院下属分院挂号处”“某银行信用卡中心账单日”这类带着业务复合结构的实体一个标注批次里只出现几十次要专门写标注规范、做双人复核边际成本比常见实体高一个数量级。第二个困境是合规限制很多用户日志不能直接拿出来训练脱敏之后又损失上下文可用性进一步下降。这种情况下合成数据反而是一条合规安全的路径——样本本来就是生成的不含有真实个人信息的连续片段。第三个困境是标注质量噪声众包标注在模糊分类上的不一致率可以到15%以上我以前统计过一个三分类项目清洗后仍有6%的标签是错误的这些噪声在模型训练里会被当成“真理”反复强化比缺数据更伤。我在模拟项目X上做过一组对照实验A组用2000条真实数据训练B组用2000条真实数据18000条Argon风格合成数据训练C组直接用20000条真实数据训练。B组的分类F1把A组拉高了11.2个点和C组的差距缩小到了1.8个点。这里的关键不是合成数据“超过”真实数据而是它把合格样本的单位成本从元级别压到了角级别让小团队也能凑出接近大团队的数据规模。需要泼一盆冷水合成数据不是银弹。它解决的是“分布内缺量”和“长尾补全”的问题如果一个任务的语义本身极度依赖真实世界的稀疏事件比如金融欺诈行为纯靠生成模型想象出来的样本很可能失真。所以Argon的做法从一开始就不是“用合成替代真实”而是“用合成把真实数据的覆盖边界撑大”。2. Argon把合成这件事做成了流水线架构拆解与选型逻辑Argon这个模块有意思的地方在于它没有发明什么全新的算法而是把合成数据的工程路径固化成了五段式流水线——种子集清洗、提示词生成、多路采样、质量过滤、多样性重排。每一段单独看都有人做过但串起来之后产出质量比我以前用的“拿一个模型狂生成几万条再瞎筛”靠谱太多。种子集清洗是第一步也是最容易被跳过的步骤。很多教程是直接拿一个通用指令库开始合成但Argon的思路是先收集200到500条高质量真实样本作为种子然后做一轮细粒度错误审计把种子集里标签不一致、文本重复度高的样本清掉。为什么种子集这么重要因为生成模型是在模仿种子的分布如果种子本身有偏合成结果会把偏差放大十倍。我用过一个极端例子验证种子集里“退货咨询”类别的样本全部带“退货”这个词结果合成出来的8000条新样本90%的句子都把“退货”放句首文本多样性非常差。提示词生成段落里Argon用了属性组合矩阵的方式而不是一句简单的“请生成更多类似样本”。具体来说我会把每个任务拆成固定属性槽例如分类任务拆成意图类型/表达语气/关键实体/句式结构/用户状态五个槽位然后在提示词里要求填充随机组合。比如“请生成一条客服对话文本意图是发票修改语气是抱怨关键实体是企业财务系统句式是疑问句用户状态是已付费客户”。这种方式能逼着模型遍历组合空间而不是在样板句子周围打转。多路采样解决的是“单模型审美疲劳”的问题。Argon底层同时接了一个开源底座模型和一个商用闭源模型温度参数一个用0.7、一个用1.0各自生成后合并。选择不同模型不是收藏癖而是因为不同训练目标带来的分布习惯差异可以在合并后互相中和——一个模型爱用书面语另一个模型口语感强混合出来的样本落在真实分布中间地带的比例明显提高。质量过滤和多样性重排这两步放在后面专门讲因为它是决定合成数据能不能用的分水岭。这里只强调选型逻辑Argon没有选择传统的回译、同义词替换这类数据增强方法核心原因是它们只能在已有句子的“边缘”打转无法创造新的语义组合。比如“用户要求撤销订单”经过同义词替换大概率还是“客户希望取消订单”但LLM-driven合成可以产出“用户来电想问问支付成功后能否拦截订单因为重复扣款了”这种真正新增了上下文路径的样本。这种东西才是训练集中缺失的信息量。3. 复现Argon流程的关键步骤从种子集到百万级样本如果你也想搭一条类似的合成管线我按Argon的思路整理了一套可以直接落地的步骤每一步都标注了我自己实测过的参数区间。整套流程并不复杂核心是每一步的质量控制都要量化不能靠感觉。3.1 第一步挑选并清洗种子集种子集的规模不用大200条以上就能看到稳定的分布信号500条以上效果更稳。清洗时我做了两件常规文档里不会写的事第一把种子集按标签分组统计每个标签的平均字符数和句长方差如果某个标签的句长方差明显偏小说明这组样本太“像同一个模子”生成时会把这种幻觉固化第二对跨标签样本做了embedding相似度检查把相似度超过0.9的样本标记出来手工复核因为重复样本在后续合成中会被当成多个独立证据变相给这部分语义加了权重。3.2 第二步设计属性槽与提示词模板属性槽设计是Argon最简单也最有效的部分。我的模板长这样你是一个语文能力很强的内容生成器。 请生成一条{领域}场景下的样本要求 - 目标类别{标签} - 表达语气{语气选项} - 关键实体{实体选项} - 句式结构{句式选项} - 文本长度{长度区间}字 - 避免与原样本高度相似禁止重复出现超过8个字的连续片段。 请直接输出样本不要额外解释。属性槽的组合建议用暴力枚举加随机采样的方式。比如模态确定后把各属性选项做笛卡尔积然后每次用一个随机种子从组合空间里抽200组执行生成。我实际跑下来槽位在4到6个之间效果最好太多会让模型回答变得“做任务感”很强太少则多样性不足。3.3 第三步生成与多路合并生成时的参数建议单独讲一下温度不是越高越好0.8附近的样本新颖度与合理性平衡最好超过1.2时模型开始输出不连贯的内容。top_p我固定在0.95关闭频率惩罚和存在惩罚让模型按自己的自然分布走。合并多个模型输出时一个容易踩坑的细节是不同模型对同一提示词的完成长度差异很大如果简单拼接会导致长文本样本占比被某个模型的风格带偏。我加了长度分桶每个长度区间单独控制占比保证合并后的分布和真实样本集的长度分布基本一致。3.4 第四步规则过滤与自动评分规则过滤是硬门槛我跑了五条规则全部通过才进入下一轮长度过滤短于最短种子样本或长于1.5倍最长种子样本的丢弃重复片段过滤生成内容里出现超过8个连续token和种子集重复的丢弃关键词覆盖过滤标签必然出现的关键词必须出现否则丢弃语言纯净度过滤用语言识别模型检测非目标语言样本丢弃标签一致性过滤用种子集训一个小分类器对生成样本打预测标签预测结果和指令标签不一致的丢弃自动评分阶段我用了打分模型让一个能力较强的通用模型对每条样本从“真实性、信息量、类别归属、多样性贡献”四个维度打1到5分。最后只有平均分大于等于4分的样本才能进入候选池。这一步会把生成量砍掉大约四成但留下来的都是能打的。3.5 第五步多样性重排与去重多样性重排我用的是近似去重加MMR采样。先把所有候选样本embedding化计算两两余弦相似度把相似度超过0.85的归为一簇每个簇里按MMR得分排序取最优。MMR公式不复杂就是在“选一条和已选集合差异最大”和“选一条自身质量最高”之间做平衡lambda我取0.7。跑完这一步两万条候选最终留下一万二到一万五千条重复度可以压到每千条里不超过三条高相似样本。我实测下来这套流程从200条种子到产出两万条干净样本约耗时4小时调用模型接口成本大约在30到50元之间。相比外包标注的八万元预算这个效率提升是颠覆性的。4. 合成数据翻车实录三条完整的排查链路合成数据大概率不会第一次就成功。我在第三个合成项目里遇到了三个典型故障每一个都让我排查了很久。把过程写下来是为了让你在碰到同类问题时知道该从哪个环节动手而不是盲目调参。4.1 翻车一模型崩溃合成数据越训越差现象很反直觉合成数据加进去之后模型在测试集上的表现不升反降困惑度每训练几百步就往上跳一波。我一开始怀疑是训练超参数问题调低学习率、加大批次都没有改善后来用困惑度逐层看发现掉点集中在词表尾部的新词上。排查链路先对生成样本做困惑度分析发现分数从正常的15左右涨到了接近40这说明生成文本和真实文本在token分布上已经有了本质偏移。抽了几百条样本人工看发现大量“绕着说的废话”——比如该写“发票”的地方写“票据单据凭证”该写“退货”的地方写“退回退换”。根因定位我在多样性重排时把lambda调到了0.3为了保多样性把质量权重压得太低导致低质量样本涌入了训练集。所谓“模型崩溃”不是一次发生而是这些低质量样本的统计特征逐渐污染了模型对语义的判断让它在真实样本上也产出偏差。修复方案是把lambda恢复到0.7同时提高自动评分的门槛到4.5分重新生成后困惑度回到18以内指标恢复。4.2 翻车二重复污染评估集“数据泄漏”假象这个坑更阴险。某次实验显示合成数据带来了10个点的提升但把测试集打开一开发现合成样本里有大量测试集原文的变体——不是完全一样而是连续8个词的片段和测试集高度重叠。模型等于提前“背过答案”指标虚高。排查链路我在验证阶段加了一条N-gram重叠统计计算合成样本与测试集的公共7-gram比例。正常应低于1%这次跑出来是6.8%。追查发现种子集和测试集本身来自同一个上游数据集种子集清洗时没有做和测试集的隔离合成模型又把种子集里测试集的特征学进去了。根因定位种子集清洗不彻底。修复方案分两步第一步把种子集和测试集做严格的重叠检测凡是和测试集有6-gram以上重叠的种子样本一律移除第二步在生成提示词里明确加上“禁止使用与给定示例相似度高的表述”。这个坑的教训是合成数据管线一定要在数据层面和评估层面做双重隔离否则你优化了半天优化的是一个不可能复现的幻觉。4.3 翻车三分布偏移合成样本“看起来真实但场景不对”第三种情况最隐蔽。合成样本单看每一句都很自然但放到真实场景里用户的真实输入根本不会长那样。比如客服场景里真实用户经常发短句碎片“发票呢”“退了没”而我合成出来的全是语法完整的整句“我想请问一下我的发票现在是什么状态”。视觉上更“礼貌”了分布上却离真实用户更远了。排查链路用两个分布的距离指标做检测——token级KL散度和句子长度分布的马氏距离。跑出来KL散度看起来正常但长度分布上真实样本集中在小句长区间合成样本集中在中句长区间截面偏差很明显。根因定位种子集本身没有包含足够多的短文本样本。这暴露了一个关键事实合成模型不会自行发现种子集覆盖外的风格它只会把种子集里的统计特征平滑放大。修复方案是主动在种子集里补齐短文本、碎片化表述再在提示词模板中把“句式结构”槽位改成“允许碎片化短句”并配上3到5个真实短句示例。重新生成后长度分布的马氏距离从0.8降到0.2以内。这三个翻车案例加在一起我总结成一个规律合成数据的每一个质量问题都能回溯到种子集或生成参数上与其反复训模型不如先做数据根因分析。5. 一堂评估课怎么证明合成数据真的有效很多人拿到合成数据后直接开训训完看了眼指标就下结论。Argon项目给我最大的启发是把评估做成了“两层验证”每层都有具体的量化方法这才敢把合成数据放进正式项目里。第一层是样本级评估。在进模型训练前就要对合成样本的质量形成量化结论。我用的指标有三个一是质量得分分布看自动评分的均值和标准差均值过低说明整体糙标准差过大说明质量参差都不适合直接混入训练集二是多样性覆盖度把合成样本和真实样本一起embedding后做聚类看合成样本是否覆盖了真实样本所在的簇以及自身聚类簇数是真实簇数的多少倍通常合成样本簇数可以比真实簇数多30%但多到三倍以上就要怀疑它在编造不存在的语义模式三是与真实样本的分布距离用N-gram的JS散度加句长分布的马氏距离双指标监控。第二层是任务级评估。这块要和老方案对比才行我会固定一套测评集跑三种配置纯真实数据、真实数据加合成数据、纯合成数据。注意纯合成数据配置不是为了追求好用而是为了暴露出合成分布和真实分布的差距上限。真实数据加合成数据的配置提升幅度才是合成数据真正的贡献值。下面是我在模拟项目X上的一组数据任务是大规模文本分类测试集固定1200条训练数据配置样本量分类F1相比纯真实提升纯真实数据200076.3%基线真实合成数据20001800087.5%11.2%纯合成数据2000079.1%2.8%真实数据提高标注量800082.4%6.1%这组数据值得注意的点是纯合成数据也能提供正向提升但远不如“真实合成”的混合方案。原因在于真实样本把任务的“锚点”钉住了合成样本负责扩展边界两者协同才有效。如果项目里连200条真实种子都拿不出来合成数据单独上阵的效果会打折这时候我更建议先去想怎么积累冷启动数据。除了离线指标我在正式环境还会做一项很朴素的验证抽50条合成样本给业务方人工看只问一个问题“这条像你真实会遇到的用户输入吗”按比例统计认可率。这个经验值很重要我的一般标准是认可率低于60%就说明合成风格偏了优先调整种子集和提示词而不是继续加大生成量。6. 只有跑过才知道的工程细节最后补充几条在具体工程实现里容易被忽略、但影响巨大的细节。这些都来自我在不同项目里对比测试后的经验常规文档不会写。第一温度参数和属性槽里的随机种子要一起变化不要固定种子只变提示词。我吃过一次亏种子固定后多路采样结果里开始出现成段的重复句式乍看是多样性出了问题实际是同一随机状态在相近输入下产生了类似的生成路径。现在我的脚本里每次生成都重新打乱全局随机种子。第二合成数据的引入比例不是越高越好。我在多个任务上的经验值是从2比1到4比1之间合成比真实超过5比1后真实样本的锚定作用明显减弱模型对真实输入的习惯表达风格开始丢失。如果你分类任务里真实数据特别少先把合成量控在真实量的三倍以内效果通常最稳。第三质量过滤阈值要对标签分开设置。刚开始我用了全局统一的评分门槛跑完发现高频类别样本被过量保留低频类别样本几乎全部被砍光。后来改成每个标签独立计算得分分位数低于该标签中位数的样本全部丢弃长尾类别的样本量才真正补起来了。第四我的习惯是一周迭代一轮“生成、评估、补种子”的闭环先用上一轮的评估结果定位薄弱标签再往种子集里手工写五到十条填补空缺的样本然后重新生成。这样两三轮之后合成样本的有效率会稳定超过90%。这些细节单独看都不起眼但它们合在一起决定了一套数据合成管线是“玩具”还是“生产力工具”。Argon项目的价值就在于把散落的经验固化成了标准的流程让合成数据从一个可以被复现的工程。我现在的常规做法是每个分类或抽取项目的早期阶段都先跑一遍这套流程估一遍产出质量再决定最终的数据构成。对大多数中小团队来说这套思路比盲目堆真实标注更省成本也比纯靠模型生成更可信。