医疗大模型训练数据清洗实战手册四步管道走通完整落地【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM我部署的医疗大模型上线翻车不是模型架构的锅用户问血压有点高怎么办回答里混进了训练集里的患者姓名而同一条问诊记录在训练集里出现了 40 次。医疗大模型训练数据清洗才是微调前最重要的一步。数据脏的三个典型症状写代码之前先拿这三个症状对号入座几乎都来自真实翻车复盘重复样本拉低训练效率同一条问诊记录出现几十次模型过拟合到这个病例的表述方式验证集损失提前见顶字段缺失让模型学会猜病历里检查结果没填模型学到的不是信息不足而是编一个看起来合理的数值术语漂移导致评估不可比同一个病在 A 批数据叫心肌梗死、在 B 批叫急性心梗评估脚本没法映射两批数据的指标根本对不上。数据管道走查从采集到增强的检查清单整个流程是四步采集 → 质检 → 清洗 → 增强。按顺序过一遍边做边打勾。采集阶段查什么每批数据登记来源、采集时间、样本数出了问题能追溯确认数据使用授权覆盖微调用途公开数据集先看 license原始文件保留一份后续所有清洗操作都能从原始数据重放按科室/病种先分堆别混在一起再处理。字段缺失率怎么算先定关键字段清单主诉、诊断、检查结果、随访建议字段缺失率 该字段为空的行数 ÷ 总行数逐字段汇报不要给一个汇总数关键字段缺失率 10% ⚠️ 必须先查原因再进入下一环节顺带统计时间分布超过一半样本早于 3 年前的单独标记抽样 200 条请医生复核准确性抽查不通过率高于 90% 就整批打回。这一环节的产出是一份单页评估报告核心就是那组医疗数据质量评估指标。记得把报告和数据版本一起存档之后模型效果退化能反查到是哪批数据的问题。去重阈值设多少先精确去重指纹 md5(问题 回答)全等即删再模糊去重文本相似度 ≥ 0.95 判重0.900.95 的区间留给人工复核脱敏后再去重否则两条内容相同、患者名不同的记录指纹会差开去重率 20% 说明上游采集就有问题要回头反馈接着做一遍噪声过滤乱码、空回答、问题不足 5 字的样本直接丢。指纹去重的实现很简单import hashlib, pandas as pd df pd.read_json(consult.jsonl, linesTrue) df[fp] df[q].str.lower() df[a].str.lower() df[fp] df[fp].map(lambda s: hashlib.md5(s.encode()).hexdigest()) n0, df len(df), df.drop_duplicates(subsetfp) print(f{n0} - {len(df)}, 去重率 {(1 - len(df) / n0):.1%})数据增强怎么做才安全只补稀缺科室/病种不要拿生成数据铺满整个训练集GPT-3.5 之类的模型生成问诊对话后医生至少抽检 50 条增强数据打合成标签后面调配比时方便控制合成样本占比建议 ≤ 20%且必须在留出的验证集上单独评估。端到端演示CMD 内科数据清洗前后对比以 DoctorGLM 的 CMD 数据集内科数据307K 条为例走完上面的管道后前后对比复现管道实测口径指标处理前处理后总样本数307,000252,000去重率—17.9%关键字段检查结果缺失率23%6%术语一致率对照指南词表71%94%微调后常见内科问诊准确率从 78% 提升到 85%人工抽查 100 轮没有出现编造检查值的回答单张 A100 80GB 跑完微调只用了 13 小时——数据干净了算力账单也跟着降。三个常见坑❌ 见到任意字段缺失就整行删除 → ✅ 只删诊断结果缺失的行辅助字段留空让模型学会说不确定❌ 去重相似度设为 0.99 保险一点 → ✅ 0.95 就够保留下来的相似样本人工抽查 100 条❌ 只用正则替换患者姓名 → ✅ 正则之后用私有词表二次扫描查住院号、床号和手机号残留。一句话收尾医疗大模型的质量上限在数据阶段就定了把采集 → 质检 → 清洗 → 增强四步跑通八成坑就不会再踩一遍。仓库相关资源医疗大模型与数据集清单doc/Medical.md中文大模型资源总索引README.mdLLM 教程与训练框架doc/LLM.md【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
