1. 多任务学习中的Loss平衡难题搞过多任务学习的同学应该都遇到过这种情况模型训练时任务A的指标蹭蹭往上涨任务B却死活不动甚至越来越差。这种跷跷板效应简直让人抓狂我当年做推荐系统时就被这个问题折磨得够呛。问题的核心在于三个层面首先是梯度方向打架。想象两个人在同一条船上划桨一个想往左一个想往右结果船就在原地打转。模型参数更新时不同任务的梯度方向如果相差超过90度就会出现这种内耗。其次是收敛速度不同步。就像马拉松比赛有的选手已经冲线了有的才跑到半程这时候强行终止比赛显然不公平。最后是Loss量级差异好比用千克和毫克同时称重模型自然会被大数值的Loss牵着鼻子走。提示梯度冲突最常发生在任务差异大的场景比如同时做图像分类和物体检测我做过一个电商推荐系统的案例要同时优化点击率和购买转化率。这两个目标的Loss量级相差近100倍初期模型完全被点击率任务主导。后来发现直接用初始Loss值对各任务做归一化就能让两个Loss回到同一数量级简单但有效。2. 经典解决方案的实战对比2.1 手动调参的玄学艺术最早期的做法就是手动调权重相信大家都干过这种事loss 0.3*loss_a 0.7*loss_b # 魔改系数直到天亮这种方法的问题在于需要大量试错调参成本高固定权重无法适应训练动态变化不同batch间可能存在波动实测发现当任务超过3个时手动调参的效率会指数级下降。有次我调了整整一周权重最后发现还不如均匀加权效果好...2.2 Uncertainty Weighting的数学之美[Kendall等人提出的不确定性加权]是个优雅的方案。它假设每个任务的噪声服从高斯分布通过最大化似然估计自动学习权重# 代码实现示例 log_var_a torch.log(var_a) # 可训练参数 loss 0.5*exp(-log_var_a)*loss_a log_var_a我在语义分割深度估计任务中应用这个方法发现两个特点初期会给简单任务更大权重随着训练进行权重会动态平衡 不过要注意当任务噪声假设不成立时比如对抗训练效果可能会打折扣。2.3 PCGrad的工程智慧这个方法的思路很直观——当梯度冲突时就做个投影。具体步骤计算任务A的梯度g_a计算任务B的梯度g_b如果g_a·g_b 0夹角大于90度将g_b投影到g_a的垂直平面上# 伪代码实现 def project_conflict_grad(g_a, g_b): cos_sim torch.dot(g_a, g_b)/(g_a.norm()*g_b.norm()) if cos_sim 0: g_b g_b - (g_a * cos_sim * g_b.norm()/g_a.norm()) return g_b实测在推荐系统的多目标排序中PCGrad能使模型更稳定收敛但训练速度会下降约15%。3. 动态平衡的前沿实践3.1 梯度归一化的新思路最近我在一个视觉问答项目尝试了GradNorm方法其核心是动态调整各任务权重使梯度范数相近同时考虑任务的学习速度具体实现时要注意选择共享层的某个参数作为参考计算各任务对该参数的梯度范数更新权重使梯度范数按预定比例分布这个方法在保持效果的同时训练效率比PCGrad高出20%。不过实现起来稍复杂需要小心梯度计算时的内存问题。3.2 帕累托最优的探索更高级的做法是引入多目标优化思想寻找帕累托最优解。比如MGDA方法将多任务学习转化为约束优化问题用Frank-Wolfe算法求解保证解在帕累托前沿上这个方法在医疗影像分析中表现惊艳但计算开销较大。我的经验是当任务数5时可以考虑用其改进版——将任务分组处理。4. 实战中的选择策略根据我的踩坑经验给出以下决策树任务数≤3优先尝试Uncertainty Weighting梯度冲突明显PCGrad或GradNorm计算资源充足考虑帕累托优化方法上线时间紧迫简单Loss归一化手动调参最近在视频内容理解项目中我们最终采用的方案是前期用Uncertainty Weighting快速收敛后期切换为PCGrad精细调优。这个组合策略使模型在6个任务上的平均指标提升了7.3%。具体实施时建议先用小批量数据跑通整个pipeline。有次我花了三天训练模型最后发现是梯度反传时维度没对齐这种低级错误在复杂loss结构中很容易出现。