LightGBM 多任务学习一次训练同时预测 3 个相关任务【免费下载链接】LightGBMA fast, distributed, high performance gradient boosting (GBT, GBDT, GBRT, GBM or MART) framework based on decision tree algorithms, used for ranking, classification and many other machine learning tasks.项目地址: https://gitcode.com/GitHub_Trending/li/LightGBM内容审核平台每天要回答两个问题这条内容是垃圾内容吗它引发了多少负面情绪两个任务共用同一份文本特征却被拆成两次训练。LightGBM 本身没有多任务接口但用多任务学习把多个相关目标交给一组树同时处理一次训练即可覆盖三个预测任务重复的特征处理与调参成本都能省掉。本文按三个问题展开要不要做多任务、模型怎么搭、上线前如何验证。 先回答“要不要做多任务”本章只解决一个判断问题你的场景值不值得上多任务还是老老实实单任务训练。先说清单任务基线的问题每个目标各训一个模型特征工程做三遍调参调三遍任务 A 里学到的“高赞低转化”规律对任务 B 完全不可见。多任务学习Multi-Task Learning的思路是让相关任务共用一份特征表示让树在分裂时同时看到多个目标的信号任务之间互相借力。值不值看两个数特征重合度三个任务的输入特征重叠 90% 以上才值得共用一套特征管道各训各的反而更快。任务相关性两个任务标签的相关系数接近 0共享表示只会互相干扰。两个数都达标再进入下一章的实现否则单任务基线就是正确答案别硬上。️ 三种落地路径包装器、自定义目标函数、特征拼接本章解决“模型到底怎么搭”。完整代码只给路径 A另外两条讲清思路即可动手。路径 A多输出包装器完整代码场景内容审核平台同时预测“是否垃圾内容”“是否触发负面情绪”“低质量分三档”三个任务输入都是同一条内容的特征。思路用 scikit-learn 的MultiOutputClassifier包住LGBMClassifier每个任务自动配一棵独立的 LightGBM 分类器。from lightgbm import LGBMClassifier from sklearn.multioutput import MultiOutputClassifier 任务名 [垃圾内容, 负面情绪, 低质量档] 模型 MultiOutputClassifier( estimatorLGBMClassifier(n_estimators300, learning_rate0.05), ) 模型.fit(特征_训练, 标签_训练) # 标签_训练: (n, 3) 分数 模型.predict_proba(特征_验证) # list: 每任务 (n, 2) for 名称, 概率 in zip(任务名, 分数): auc roc_auc_score(标签_验证[任务名.index(名称)], 概率[:, 1]) 结果[名称] round(auc, 4)关键点外层负责循环内层每棵 LightGBM 互不知道彼此存在。严格说这是“并行单任务”好处是稳定、可解释、失败隔离且零自研代码适合先跑通再优化。路径 B自定义目标函数真共享想让 LightGBM 真正共享底层表示思路把 3 个任务的目标拼成 3 列LGBMRegressor配一个自定义目标函数。损失函数内对每一列各算一份梯度再拼回返回(grad, hess)LightGBM 拿到的就是 3 列原始分数树分裂时同时看所有任务的损失——这是多任务损失设计真正发力的地方。注意num_classes在此不适用多输出回归的列数与类别数无关。代价是自写损失要自己管数值稳定。def 多任务损失(y_true: np.ndarray, 模型) - tuple[np.ndarray, np.ndarray]: 原始分 模型.predict(y_true, raw_scoreTrue, pred_contribFalse) 原始分 np.atleast_2d(原始分).T # (n, 任务数) 真值 np.atleast_2d(y_true).T 梯度 np.empty_like(原始分) 二阶导 np.empty_like(原始分) for 列 in range(原始分.shape[1]): p expit(原始分[:, 列]) # sigmoid 转概率 梯度[:, 列] p - 真值[:, 列] 二阶导[:, 列] p * (1 - p) 1e-12 # 数值保护 return 梯度, 二阶导 模型 LGBMRegressor(n_estimators300) 模型.fit(特征_训练, 标签_矩阵, objective多任务损失)训练完成后用模型.predict(特征)得到 (n, 3) 的原始分再各自过 sigmoid 还原成概率。路径 C特征层拼接最小改动只改特征、不改模型先用任务 A 训练一版模型把它的预测分数作为新特征加进任务 B 的训练数据再训练任务 B。任务 B 的树分裂时就能“看到”任务 A 的判断。不用碰任何模型代码但链路变长、调试成本翻倍。三条路径怎么选见文末决策清单。 多任务模型评估分任务指标与 LightGBM 早停配置本章解决两个问题多任务模型评估指标怎么选、早停盯哪个数。一个常见坑LightGBM 的train()配合early_stopping_round默认只看第一个指标。任务数一多后面的任务可能已经悄悄过拟合没人报警。正确做法给每个任务写一个feval汇总成跨任务均值早停只盯这一个数。def 平均AUC(y_pred: np.ndarray, 数据集) - tuple: 真值 数据集.get_label() 预测 np.atleast_2d(y_pred).T 分数 [roc_auc_score(真值[:, 列], 预测[:, 列]) for 列 in range(预测.shape[1])] return (平均AUC, float(np.mean(分数)), True) lgb.train( 参数, lgb.Dataset(特征_训练, label标签_矩阵), valid_sets[验证集], feval平均AUC, num_boost_round2000, early_stopping_round50, # 平均AUC 连续 50 轮不涨即停 )指标口径分类任务用 AUC 对阈值不敏感适合任务间可比回归任务用 RMSE最后汇总成“均值 最弱任务”两个数汇报避免好任务把坏任务平均掉。更多训练参数见 Python API 文档自定义目标函数的签名y_score, dataset返回(grad, hess)可在 sklearn 接口源码 中确认。⚠️ 上线前的决策清单与常见坑收尾给一份可直接勾选的清单上线前逐项过一遍。验证集必须切干净多任务里标签列多最容易出现验证集混进训练集一旦任务间互相泄露指标虚高线上必翻车。量纲差3 个任务目标量级差 100 倍时路径 B 的损失会被大量纲任务主导先标准化或分桶。任务数 ≥ 5 先砍任务弱相关任务拉低整体收益相关性不足就退回单任务。保存格式对齐路径 A 是 sklearn 对象用joblib存走原生train()用booster.save_model()加载接口别混用。推理并行线上按任务并行调用延迟敏感时固定num_threads。决策清单先跑通路径 A拿到每个任务的 AUC 基线再决定是否花成本上路径 B。多任务的价值不在“炫技”而在把重复的特征处理、调参和评估压缩到一次训练里。【免费下载链接】LightGBMA fast, distributed, high performance gradient boosting (GBT, GBDT, GBRT, GBM or MART) framework based on decision tree algorithms, used for ranking, classification and many other machine learning tasks.项目地址: https://gitcode.com/GitHub_Trending/li/LightGBM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考