机器学习练习这五个字很多人看到的第一反应是打开某个教程跟着敲一遍跑出个零点九几的准确率截个图然后关掉。我带过几个刚转方向的同学自己也从头刷过好几轮基础见过太多人练了大半年嘴上挂着五六个模型名字真让他解释某条样本为什么被判错、某个特征凭什么进模型、为什么换了个切分方式分数就掉了十个点就答不上来了。问题不在勤奋程度在于练习的形态从一开始就选错了——练的是调用接口的手速不是判断问题的能力。这篇内容想聊的是我自己那套机器学习练习的搭法练什么、按什么顺序练、每一块练到什么程度算过关、以及那些只有亲手跑过一遍才会撞上的坑。适合刚开始接触机器学习想找一条不那么弯的路的人也适合已经能跑通流程但总觉得心里没底、想补一补基本功的人。全程不依赖特定平台的课程体系你拿一台普通笔记本就能跟着做。1. 练习清单的骨架收集问题而不是收集算法1.1 四类任务构成的练习闭环我最早整理的练习清单是一张算法列表线性回归、逻辑回归、决策树、随机森林、梯度提升、聚类、降维一个一个往下打勾。这套东西练完的效果很差因为每个算法都是从数据已经洗干净、标签已经对齐、评估指标已经定好的起点开始真正难的部分全被前面的准备工作吸收掉了而准备工作恰恰是练习里最该练的部分。后来我把清单整个推翻改成按任务类型组织四类数据理解类、模型拟合类、评估诊断类、工程复现类。这四类不是并列的四块知识而是一个闭环的四段。数据理解类练的是看分布、看缺失、看异常、看标签噪声产出物是一份能说清楚这份数据能不能用的结论模型拟合类练的是从最简单的假设开始逼近产出物是若干个能对比的基线评估诊断类练的是把总分拆到具体样本上产出物是一份错误清单工程复现类练的是让自己或别人隔一周还能把同样的结果跑出来产出物是一份可执行的目录和记录。这么改的好处是每个练习都有明确的交作业标准。以前练完决策树我不知道自己算不算会了现在练完一轮我能拿出四份产出物缺哪份就说明哪段没练透。而且四类任务天然会互相咬合数据理解做扎实了模型拟合阶段的很多玄学调参就自动消失了评估诊断做扎实了工程复现阶段的记录才有内容可记。我建议每个练习都限定在同一份中等规模的结构化数据上样本量几万条、特征几十个、二分类任务这个尺寸刚好卡在一条命令跑得完和需要认真对待之间。数据太小学不到东西数据太大把时间全耗在等待上练习的节奏就断了。1.2 每个练习必须附一份翻车记录这是我个人认为价值最高的一条习惯每做完一个练习强制自己写一段三百字左右的记录只写三件事——我一开始以为是什么、实际跑出来是什么、差异的原因是什么。举一个我自己的例子。早期做一个客户流失预测的练习我看到正样本只占百分之八第一反应是严重不平衡必须上采样。于是我做了过采样训练集平衡了验证集分数涨到了零点九三我挺得意。后来按要求写翻车记录我以为那栏写的是不平衡会拖累模型实际那栏我老实写了验证集分数高但业务方想要的召回率没动原因那栏我卡了很久最后发现是我在做重采样的时候把验证集也混进去了一点虽然只是统计分布上的影响而且那个零点九三的准确率在正样本只占百分之八的数据上等价于全判负的零点九二。这段记录后来救了我很多次。现在每遇到不平衡数据我第一件事不是重采样而是先算一个全判多数类的基线分数把这个数写在纸上任何模型分数必须显著高于它才有讨论价值。这个习惯没有任何教程教过我纯粹是那次翻车翻出来的。翻车记录还有一个隐性作用它逼你把感觉翻译成证据。很多人说这个模型效果不好这句话没有信息量翻车记录要求你写出具体是哪一档分数、在哪个人群上掉的、掉了多少写的过程本身就是一次错误分析的演练。2. 数据侧练习把功夫花在切分和泄漏上2.1 亲手造一份脏数据比用干净数据集有用得多公开数据集的通病是太干净缺失值已经被合理填充类别已经编码好异常值已经被处理掉。在这种数据上练模型等于在塑胶跑道上练越野。我的做法是每个练习开始前先用一段脚本对干净数据做污染人为制造四类问题随机置空若干比例的数值列和类别列、在数值列里塞入极端值、把某些类别标签随机翻转一小部分、给时间列打乱顺序这条最狠后面会讲。污染脚本本身也是一次练习因为你需要决定污染比例。我的经验参数是这样数值列缺失百分之五到百分之十五、类别列缺失百分之三到百分之八、极端值控制在千分之五以内、标签翻转百分之一到百分之三。低于这个区间模型几乎不受影响练不出东西高于这个区间任务会退化成数据清洗练习模型部分就没意义了。清洗环节我要求自己每次至少写三份对照不做任何处理、简单填充加删除、带业务含义的填充。三份对照跑同一个模型看分数差多少、差在哪类样本上。这个对比能非常直观地告诉你预处理到底值多少钱比看十篇文章都管用。有一个细节容易被忽略填充缺失值时一定要额外生成一列缺失标记把这个值原本是空的这件事编码进去。很多场景下缺失本身就是信息比如某个字段没填可能意味着用户没走完某个流程。我做过一个练习光加缺失标记就让召回率涨了三个多点模型完全没换。2.2 随机切分的骗局与三种正确的切法随机切分是所有切分方式里最容易骗人的一种也是新手默认会用的一种。它的问题在于当样本之间存在同一实体或时间先后关系时随机切分会让训练集和验证集共享信息。我在练习里固定放三个切分场景每次都要跑一遍对照。第一个场景是按时间切用前百分之七十的样本训练后百分之三十验证。第二个场景是按实体切同一用户或同一设备的所有记录必须整体落到某一侧。第三个场景才是随机切。三个场景的分数放在一起看差距往往大得离谱。我印象最深的一次随机切分下分数零点八八按时间切分只有零点七一中间十七个点的落差全部来自模型记住了未来。这里补一点原理上的解释。模型学到的很多东西是时期的特征而不是规律。比如某段时间内所有样本的某个统计量都偏高模型会把这个统计量高直接等同于正样本在随机切分下这个捷径在训练集和验证集都成立分数自然好看一旦按时间切训练期的高统计量在验证期不存在了捷径立刻失效。这类问题在真实业务里是致命的因为线上永远是用过去预测未来。我的建议是除了纯粹的教学演示任何练习都不要只用随机切分。哪怕数据里没有明确的时间列也要问自己一句这些样本的采集有没有先后有就按顺序切。按实体切同理只要数据里存在一个实体多条记录的结构就必须整体切分否则同一个实体的记录会同时出现在两侧模型本质上是在做记忆而不是泛化。2.3 特征泄漏的三种典型形态与自查清单特征泄漏是练习里最容易自我感觉良好、实际上一上线下就崩的问题。我把它归成三种形态做练习时对着清单逐条排查。泄漏形态典型表现自查问题处理方式时间泄漏特征里含有预测时点之后才产生的信息这个字段在预测发生的那一刻真的已经存在吗按时间切分去掉未来字段目标泄漏某个特征由标签衍生而来或与标签同源这个字段是不是在事情已经发生之后才被记录的剔除或改造该字段分组泄漏同一实体的记录横跨训练集与验证集有没有一个 ID 能把这些记录串起来按实体分组切分表格里第二行那种最难发现因为它披着业务字段的外衣。我做过一个练习数据集里有个处理结果备注的字段看起来很普通结果模型在这个字段上的重要性排第一。仔细一想就明白了备注是人工事后填的填备注的人已经知道结果了等于把答案写在了特征里。这类字段的特征重要性异常高、单特征模型分数就很高是最好的报警信号。我给自己定了个硬规矩任何一个单特征就能把分数做到接近全模型水平的字段必须单独拎出来审一遍。正常业务里几乎不存在这种字段出现了八成是泄漏。这个自查动作花不了两分钟但能省掉后面几天的困惑。3. 模型侧练习从线性模型开始别一上来就上大模型3.1 逻辑回归基线为什么最难被超越新手最不爱练的就是逻辑回归觉得它太简单。我的看法正相反逻辑回归是整套练习里性价比最高的一块因为它是唯一一个你能把每个系数、每个预测值手算出来的模型。具体怎么练训练完之后把系数拿出来排序逐个问自己这个系数的符号符合常识吗。如果某个特征的系数是正的意味着这个特征越大越倾向于正类这个方向和你的业务直觉一致吗不一致的话是共线性导致的符号翻转还是这个特征本身编码方式有问题这个过程会让你真正理解模型在学什么而不是把它当一个黑箱。我还会做一个手算预测的练习从验证集里随便挑三条样本把它们的特征值、标准化后的值、系数、截距全列出来手动算出线性部分再过一遍 sigmoid 函数和模型输出的概率对一对。第一次做这个练习的时候我对不上差了零点零几查了半天发现是标准化参数用的是训练集的均值方差而我手算时用了全量数据的。这个细节看起来小但它是训练集和验证集必须用同一套预处理参数这条规则的具象化手算过一次就再也忘不掉。逻辑回归还有一个实战价值它给出的概率相对校准得比较好而很多树模型给出的概率是偏的。做阈值选择类练习的时候用逻辑回归的输出会顺利得多。我在练习里要求自己每个任务都保留一个逻辑回归结果作为底线分后面所有复杂模型都必须和它比涨不动就说明数据里的信号已经被线性部分吃干净了该回头做特征而不是换模型。3.2 手动实现一次梯度下降比调一百次参有用我在练习清单里放了两个从零实现的任务一元线性回归的梯度下降和一个两层的小网络反向传播。不用任何框架的自动求导纯手写。一元线性回归那个任务大概三十行代码。核心是一个循环算预测值、算损失、算梯度、更新参数。写完之后我会做三件事把损失曲线画出来看收敛形态、把学习率分别调大调小十倍看会发生什么、把特征做标准化前后各跑一次对比收敛速度。第三件事是最有教育意义的。不做标准化的时候如果两个特征的量纲差两个数量级损失曲面会变成一个细长的椭圆梯度下降会在窄方向上反复震荡收敛极慢甚至发散做完标准化曲面接近圆形几步就到位。这个现象在书上看到只是一句话亲手画出那条震荡的损失曲线之后你会永久性地记住标准化不是可选项。学习率的实验也值得认真做。我通常按十倍递增试五档太小的时候损失几乎不动太大的时候损失会突然变成一个很大的数或者直接变成非数值中间只有一个很窄的区间是好用的。这个窄区间的直观感受是你后面理解为什么自适应优化器会被发明出来的基础。3.3 树模型的练习顺序与调参的正确姿势树模型我建议按单棵树、随机森林、梯度提升这个顺序练每一档都做同一件事先看它比上一档强在哪再看它为了这点提升付出了什么代价。单棵树的练习重点是可视化。把树画出来限制深度到三层然后逐条路径读一遍问自己这条规则合理吗。深树不用画画出来也看不懂但浅树的分裂逻辑是人能读懂的读完你会对模型怎么切分特征空间有非常具体的印象。随机森林的练习重点是理解它的两个随机性样本有放回抽样、每次分裂只考虑特征子集。我会做一个对照实验把特征子集比例从很小的值一路调到全部特征看分数怎么变。比例太小的时候单棵树都很弱整体分数上不去比例接近全部的时候树之间高度相关集成的收益变小。中间存在一个明显的甜点区这个实验做一次你对多样性带来收益这句话就有体感了。梯度提升的练习重点是早停。太多人把树的数量当成一个需要猛调的超参数其实它应该由验证集损失曲线决定。我的做法是先把树的数量设成一个明显偏大的值一边训练一边记录验证集损失找到验证损失开始持续上升的那个点然后往回退一点。这个练习的价值在于让你亲眼看到训练损失一路下降、验证损失触底反弹的全过程过拟合从一个抽象概念变成一个具体的形状。调参这件事我的态度比较保守先把数据侧的问题解决掉再做粗粒度调参最后才考虑细粒度搜索。粗粒度指的是学习率、树的数量、最大深度这种影响量级较大的参数用手动设定的几组值跑对照就够细粒度搜索只有在数据量足够大、验证集足够稳的前提下才有意义否则你搜出来的最优参数只是在拟合验证集的噪声。我在练习里见过太多次同一份数据换一个随机种子重新切分之前搜出来的最优参数组合直接掉出前三。4. 评估诊断练习把分数拆到具体样本上4.1 切片分析总分好看不代表没有问题只盯着一个总体指标是练习阶段最容易养成的不良习惯。我的做法是强制自己做三刀切片按时间切、按人群切、按预测置信度切。按时间切是把验证集分成前后两段分别算分如果后段明显差于前段说明模型在漂移特征的有效性在衰减。按人群切是把样本按某个业务维度分组比如新老用户、不同渠道逐组算分经常会出现总体七十八分、某个小组只有五十分的情况——这个小组就是模型的盲区比总体分数有价值得多。按置信度切是把预测概率分成几档看每档的实际正样本比例和预测概率是否吻合这就是校准的基本检查。我做过一个练习总体准确率零点八二看着很体面。切片之后发现某个小的人群分组只有两百多条样本准确率零点五五基本等于瞎猜。再往下查这个组的样本特征缺失率特别高模型的输入基本是填充值当然猜不准。这个问题光看总分永远发现不了。切片之后一定要做一件事把错判的样本捞出来读。不是读统计是逐条读原始内容。我一般随机抽二十条假正例和二十条假负例一条一条看边看边记这条为什么错。做上四五轮你会发现错误是有模式的可能是某类表述没被特征捕捉到可能是标签本身就是错的。后者在练习数据里特别常见读到第十条就大概能判断这批数据的标注质量了。4.2 阈值选择把业务成本翻译成一个数字很多练习止步于输出概率然后就没了。实际上概率要变成决策中间隔着一个阈值而阈值的选择不是一个技术问题是一个成本问题。我的练习方式是给每个任务虚构一张成本表然后算出最优阈值再和默认的零点五对比。举个二分类的例子漏判一条的代价是十误判一条的代价是一正样本占比百分之十。这时候应该把阈值往低调很多因为漏判贵十倍宁可多误判一些也要把漏判压下去。阈值召回精确率漏判数误判数总成本0.50.620.8138014839480.350.790.6621040725070.200.910.4290125621560.100.960.274025962996表格里的数字是我按上面那组代价随手算的示意重点是趋势阈值一路降下来总成本先降后升中间有个最低点。这个练习做一遍你就再也不会把零点五当成理所当然的默认值了。而且你会意识到模型输出的概率准不准校准会直接影响这个最优阈值的位置校准差的模型算出来的最优阈值是虚的。做这个练习有个前提概率必须是从没有参与训练的数据上得到的。用训练集上的概率算阈值一定会偏乐观这是很常见的错误。4.3 三条曲线看懂训练过程判断过拟合我只看三条曲线训练损失、验证损失、验证集主指标。三条画在同一张图上横轴是训练轮数或树的数量。健康的状态是训练损失和验证损失一起下降中间有一段平行下降的区间然后验证损失开始变平训练损失还在降这时候就该停了。如果验证损失很早就开始上升说明模型容量太大或者数据太少。如果两条曲线都下降得很慢且离得很远训练损失很低、验证损失明显高一截说明模型在背训练集。我还会加一条辅助线验证集主指标随轮数的变化。有时候验证损失在涨但主指标还在微涨这时候要以主指标为准因为损失和最终决策指标不是一回事。这种两个信号不一致的情况在练习里出现得不少处理原则是以你真正要交付的那个指标为准其他的都是参考。这三条曲线我要求在每次练习中都必须画而且必须存图。存图的意义在于几个月后回看你能一眼看出当时是欠拟合还是过拟合比看一堆数字快得多。5. 工程化练习让练习代码具备可复现的尊严5.1 固定随机种子解决不了的问题新手学到的第一条工程规范通常是设置随机种子然后就以为万事大吉。实际上固定种子只保证同一份代码、同一个环境、同一台机器上跑出一样的结果它管不了三件事。第一件是数据切分的随机性。如果你用的是随机切分换个种子分数就能浮动一到两个点这个浮动幅度直接决定了你能不能相信新模型比老模型好零点五这种结论。我的做法是做多次切分重复实验比如五折交叉验证或者五次不同种子的随机切分看分数的均值和标准差。标准差比均值更重要它告诉你这个任务的噪声地板在哪低于这个幅度的提升不值得高兴。第二件是并行计算的非确定性。某些运算在多线程下求和顺序不固定浮点结果会有微小差异累积到训练后期可能被放大。这不是练习阶段必须解决的问题但要知道它的存在遇到同样代码两次结果不一样的时候不至于怀疑人生。第三件是依赖版本。同一个函数在不同版本的库里行为可能不同尤其是默认参数。我的练习目录里固定放一个依赖清单文件把主要库的版本写死这是成本最低的复现保障。5.2 一张实验记录表顶十个笔记本我要求自己每个练习维护一张表字段固定为实验编号、日期、数据版本、切分方式、特征集合、模型、关键参数、验证分数、备注。用最简单的表格文件就行重点是每次跑之前先填一行跑完把分数补上。编号切分特征集模型关键参数验证分数备注E01随机全量逻辑回归默认0.812基线E02按时间全量逻辑回归默认0.734掉八个点疑似时间泄漏E03按时间去掉事后字段逻辑回归默认0.768回升确认泄漏E04按时间去掉事后字段梯度提升早停0.803当前最优这张表最大的价值不是记录而是逼你想清楚这次改了什么。很多人调参调到后面自己都乱了不知道当前的最优结果对应哪一版特征。有了这张表任何时候都能回到任意一个历史状态。还有一个隐性收益当你把几十次实验摊在表里看会明显看到收益的边际递减。前十个实验涨了五个点后面二十个实验加起来涨了不到一个点这时候就该停下来想想是不是方向错了而不是继续硬调。5.3 目录结构从脚本堆到可交付练习代码最容易变成一堆随手命名的脚本。我建议从第一天就用一个固定结构哪怕只是练手project/ data/ raw/ # 原始数据只读不改 processed/ # 清洗后的中间产物 src/ prepare.py # 数据读取与清洗 features.py # 特征构造 train.py # 训练与评估 predict.py # 推理入口 configs/ base.yaml # 路径、种子、切分方式 reports/ figures/ # 曲线图、混淆矩阵 metrics.json # 每次运行的指标快照 experiments.csv # 实验记录表这个结构的关键约束有三条原始数据只读所有加工产物写到 processed所有配置集中在 configs。这三条约束看起来繁琐但它们保证了改一个参数重跑这件事是一步操作而不是十步。我在练习阶段吃过亏有一次把原始文件直接覆盖了之前的清洗逻辑再也验证不了只能整个重来。另一个小技巧是把所有路径写在配置文件里代码里不出现硬编码路径。换一台机器只要改配置文件代码一行不动。这个习惯在练习阶段显得多余但它是最容易迁移到实际工作的一个。6. 练习节奏与几个反复出现的误区6.1 一周一个完整闭环好过一天一个算法练习最容易掉进的节奏陷阱是广度优先今天学这个算法明天学那个算法每个都跑个示例感觉自己懂了很多。这种方式的问题是每个算法你都只见过它最顺利的样子没见过它出问题、排查、修好的完整过程而后者才是真正的能力。我的建议节奏是一周一个闭环周一到周二做数据理解和切分周三到周四跑基线和主模型周五做评估诊断和错误分析周末写翻车记录和整理实验表。一周下来你得到的是一个完整的、能讲清楚的项目而不是七个零散的示例。闭环的另一个好处是你会自然遇到那些只有做完整流程才会遇到的问题清洗完的数据和原始数据对不上、特征构造的顺序搞错了、评估脚本用错了切分、图表里的标签和实际指标不一致。这些问题在教程里永远不会出现但它们是真实工作中百分之八十的时间所在。我自己的记录是第一个完整闭环花了将近两周第二个一周第三个之后基本能压到四五天。速度提升不是因为手快是因为踩过的坑不用再踩。6.2 复现别人的结果是最便宜的练习除了自己设计练习我强烈建议留出一部分时间做复现找一份公开的分析报告或者别人的开源练习不看代码只按文字描述自己实现一遍然后对比结果。这个练习的难度比想象中高因为文字描述往往省略了大量细节缺失值怎么填的、类别怎么编码的、异常值怎么处理的、随机种子是多少。你要靠结果去反推这些选择。反推的过程就是最好的学习因为你会亲身体会到同样一段描述实现出来能差好几个点。复现的时候有个技巧先固定一个你认为最合理的实现跑出一个分数然后逐项尝试不同的预处理选择看哪些选择对结果影响大。影响大的那几项就是原作者最可能做了特殊处理的地方。用这种方式做上三四个复现你对细节决定结果这件事的理解会上一个台阶。6.3 几个我反复见到的误区第一个误区是迷信更复杂的模型。很多人在基线上卡住之后的第一反应是换更强的模型实际上九成的情况是数据或特征的问题。我的经验是先做一轮特征检查有没有单特征就极强的疑似泄漏、有没有几乎全空的、有没有取值几乎全一样的、有没有和标签直接同源的。这几项检查花半小时效果往往超过换模型。第二个误区是在验证集上反复调参。验证集用多了就变成了训练集你调出来的参数是在拟合验证集的噪声。正确做法是留一份完全不动用的测试集只在最后看一次如果数据量实在小至少要用交叉验证降低单次切分的偶然性。第三个误区是指标选错。二分类任务默认用准确率在类别不平衡或者错判代价不对称的场景下准确率会严重误导。我的习惯是先问清楚两件事正样本占比多少、两类错误的代价谁更高。这两个问题的答案直接决定该看哪个指标、阈值该往哪边偏。第四个误区是忽视基线。任何任务都应该有一个零模型基线分类任务用全判多数类回归任务用预测均值。这个基线的意义是给你一个参照系低于它说明模型还不如什么都不做。我在练习里见过太多次准确率零点九的模型而零模型基线是零点九二。最后说几句个人体会这套练习方法里我个人受益最大的一条是翻车记录。它看起来最不像技术训练但它逼着我把每一次失败都变成了可复用的经验。我现在遇到新问题脑子里第一反应不是该用哪个模型而是这个情况我以前在哪个记录里见过。这种感觉不是靠刷教程刷出来的是靠一次次完整闭环攒出来的。如果你打算开始我的建议是从最小的一份数据开始先把四类任务的闭环跑通一遍别追求模型多花哨。跑通之后再往里面加复杂度加特征工程、加模型对比、加阈值优化。顺序很重要先有完整的骨架再往骨架上挂东西反过来做很容易在半空中搭一堆零件最后拼不起来。还有一点值得单独强调别怕把练习做慢。一个练习花两小时跑完、写三行记录和花两天跑完、写满一页记录收获差着量级。前者你留下的是一个分数后者你留下的是一套判断依据。