Soup脑腐检测brain-rot完整指南如何拒绝在低质废话数据上训练LLM【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/SoupSoup 是一款「一个 YAML 微调 LLM」的开源训练框架其内置的brain-rot脑腐检测器是一个拒绝在低质废话数据上训练的数据质量过滤器它会逐行扫描你的 JSONL 数据集用 0~1 的健康分识别「口水话、标题党、感叹号刷屏」这类 slop 数据并在废话占比超标时直接拒绝构建训练集。对于打算微调 LLM 的新手来说它是最容易上手的一道数据质量防线。为什么需要脑腐检测低质数据会「带坏」你的模型微调 LLM 时模型学到的东西几乎完全来自你喂给它的数据。如果数据集里充斥着️ 短句复读机哈哈哈哈哈、omg omg omg 标题党话术you wont believe...、top 10、click here 标点刷屏!!!、???连击模型就会学会这种「废话风格」输出质量一落千丈——这就是所谓的数据脑腐data brain-rot。Soup 的soup data brain-rot命令实现参考 src/soup_cli/commands/data.py就是为此而生的守门员。两条正交的「废话轴」评分机制怎么工作脑腐检测器核心实现见 src/soup_cli/utils/brain_rot.py从两个互相独立的维度给每行数据打分维度识别什么信号示例Triviality平庸度短文本、词汇重复、感叹号密度、低信息量词汇词多样性低、lol/omg等口水词、!!!连击Popularity signal热度信号标题党短语 emoji 密度you wont believe、top 10、满屏 emoji最终的健康分取1 - max(两个维度)最差的信号一票否决任何一项严重翻车都会把整行分数拉低。分数在 0~1 之间1.0表示健康有实质内容0.0表示纯废话。 这个设计来自论文 arXiv 2510.13928 的 slop 检测思路并沿用了 Soup 既有的 OK / MINOR / MAJOR 三级判定体系与 v0.26 的量化诊断、v0.56 的数据诊断保持同一套阈值语义。三级判定标准OK / MINOR / MAJOR 怎么看报告每一行数据会被分类器 classify_brain_rot 划入三个等级分数区间判定含义≥ 0.85✅OK健康数据放心用0.60 ~ 0.85⚠️MINOR有轻微口水味建议人工抽检 0.60❌MAJOR纯 slop训练前务必剔除数据集级别的报告会汇总总行数、平均分、三级行数分布、整体判定。平均分决定整体结论——平均分 ≥ 0.85 才算「这份数据可以训练」。一键使用soup data brain-rot 命令实操快速开始一条命令体检数据集soup data brain-rot data.jsonl命令行会输出一张漂亮的 Rich 表格见 src/soup_cli/commands/data.py评分行数、平均分、OK/MINOR/MAJOR 三级计数、整体判定。CI 守门模式--strict 直接拒绝训练soup data brain-rot data.jsonl --strict --max-major-fraction 0.10--strict当 MAJOR 行数占比超过--max-major-fraction默认 25%时以退出码 3 终止流水线直接失败这个能力由 refuse_if_rotten 提供可以挂进 Soup 的数据构建管道让转换步骤「拒绝产出以废话为主的 tokenized 数据集」官方文档 docs/data.md 中把它列为 v0.69.0「数据工程 Pro」五件套之一官方推荐写法正是--strict --max-major-fraction 0.10——即 MAJOR 行超过 10% 就拒绝。多语言支持中文圈数据也能检出脑腐检测支持en / es / fr / de / ru五种语言包src/soup_cli/utils/brain_rot_lang.py每种语言都有自己的口水词表和标题党短语表例如英语的lol / omg / tldr、西语的jaja / ojalá、法语的mdr / ptdr。soup data brain-rot data.jsonl --lang es # 西班牙语数据集 soup data brain-rot data.jsonl --lang auto # 自动检测语言--lang auto会借助可选的langdetect包自动识别语言检测不到时静默回退到英语包保证检测器在任何语料上都不崩溃。完整的多语言行为由 tests/test_brain_rot_multilingual.py 覆盖。安全边界大文件与路径都有防护这个命令在边界检查上很克制值得给生产环境使用体积上限文件超过 1 GiB 或行数超过 100 万行会直接报错退出src/soup_cli/commands/data.py路径安全数据文件必须位于当前工作目录下且不能是符号链接参数校验--max-major-fraction传 NaN、负数或布尔值会在打分之前就快速失败单行长度超长文本会截断到 65536 字符再评分防止内存被打爆新手建议把它放进你的数据流水线先体检后训练拿到任何公开数据集先跑一遍soup data brain-rot看一眼 MAJOR 占比严格阈值生产流水线用--strict --max-major-fraction 0.10把守门写进 CI组合使用Soup 同一版本还提供soup expect数据断言套件、soup build数据集构建 DAG等命令脑腐检测可以串在构建链路中间实现「数据不合格 → 流水线红灯」更多命令细节可参考官方文档 docs/commands.md 与 docs/data.md。总结一道防止「垃圾进垃圾出」的自动闸门Soup 的 brain-rot 检测器用极轻量的启发式无需任何模型推理回答了一个昂贵的问题这份数据值不值得拿去训练。两条正交废话轴 三级判定 strict 拒绝机制让「拒绝在低质废话数据上训练」从一句口号变成了可执行、可进 CI 的自动化闸门。数据质量是微调效果的地基先用过滤器把关再谈训练技巧是新手少走弯路的最短路径。【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/Soup创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
