简介面向机器学习面试者的常见面试题汇总文档覆盖有监督与无监督学习、支持向量机、逻辑回归、决策树等核心算法适合具备一定基础、正在准备面试的研发与数据科学人员系统复习、查漏补缺和算法选型参考。资源为单个docx文档约49KB已有111人学习可按需精读。文档不仅讲解SVM推导与特性、LR的优劣、决策树划分与剪枝还横向对比SVM/LR/决策树梳理GBDT与随机森林的区别、凸优化与对偶问题、类别不平衡解决方案、特征选择与过拟合应对并补充SVM多分类处理、连续值与缺失值处理等细节。同时内容涉及偏差方差、神经网络中CNN与DBN的差异、EM算法与k-means的EM推导、DBSCAN密度聚类、距离度量、贝叶斯公式与朴素贝叶斯、L1/L2正则化以及TF-IDF和余弦距离在文本处理中的应用能帮助读者快速串联算法知识网络。1. 面试官问你算法原理时,到底在考什么这十几年面过的算法岗候选人少说也有几百人,我发现一个特别反直觉的现象越是校招和初级岗位,面试官越爱问 SVM、LR、决策树这些基础的不能再基础的模型,而不是张口就是大模型和深度学习。很多候选人栽跟头,不是不知道公式,而是把「背诵定义」当成了「理解原理」。面试官问一句「LR 的特征为什么要做标准化」,有的人直接愣住了——这个知识点不在他背过的任何一道题里。这份面试题汇总看起来是个题库,但我更愿意把它当成一张地图:监督与非监督学习是坐标系,LR 和 SVM 是坐标系里两条最经典的决策边界,决策树是通向随机森林和 GBDT 的门把手。把这几个模型吃透,深度学习的很多底层直觉也顺带打通了,比如 Embedding 的思想其实就是特征空间的非监督降维。所以这篇文章不打算给你列一百道题的标准答案,而是把每类题背后的考察点、回答框架、容易踩的坑拆开,让新手能照着组织自己的答案,让熟手能发现自己的理解盲区。2. 监督与非监督学习先回答「你手里有什么数据」,再谈用什么模型2.1 一句话区分两者的边界有没有标签不是唯一标准面试考监督和非监督,最常见的问法是「两者有什么区别」。如果只回答「有标签 vs 没标签」,基本只能拿一半分。面试官真正想听的是:你在拿到一个任务时,有没有能力从数据形态和业务目标出发,判断该用哪一类方法。我给一个稳妥的回答框架:监督学习的本质是学习一个从特征 X 到标签 Y 的映射函数,优化目标是把预测值和真实值的误差压到最小;非监督学习没有标签,目标是发现数据内部的结构或分布,聚类、降维、密度估计都属于这一类。最关键的一句话是——分监督还是非监督,看的不是算法本身,是你看问题的视角。K-Means 是非监督,但如果你拿聚类结果当伪标签去训练分类器,它就变成了弱监督学习的原料;PCA 看起来是非监督降维,但它在模型可解释性和去相关性上的作用,完全可以服务于监督任务的预处理。面试时最出彩的补充是主动学习和半监督学习的位置。主动学习是让模型自己挑最不确定的样本交给标注,本质上是一种用少量标签换取监督信号效率的策略;半监督学习则是同时用有标签和无标签数据,常见套路是用无标签数据做预训练或做伪标签。提起这两者,能证明你不止记住了教科书分类,还知道标签稀缺时行业通用的解法。2.2 面试官常问的三个应用场景判断光会背概念没用,面试官一定会追一个场景题:「给你一万条电商用户的浏览记录,一部分用户有购买标签,一部分没有,你怎么做转化率预测」。这道题的正确回答是分拆:有购买标签的样本直接做监督分类,特征是浏览频率、时长、品类分布、时段活跃度;没有标签的样本先做聚类,把用户分成「高意向」「比价型」「随手逛」几类,聚类结果再作为特征拼进监督模型。这里体现的能力是特征工程与问题拆解的协作,而不是模型选型。第二个高频场景是无监督在异常检测中的应用。常见做法是用孤立森林或者一类 SVM 建模,训练时只用正常样本,预测时看新样本落入正常分布的概率。很多候选人在这一题上翻车,因为他们上来就用「有标签的欺诈数据」的思路,忘了异常检测的核心问题是负样本极少、错误标注代价极大,所以退化成非监督方案更稳健。第三个场景是监督学习中标签稀缺的冷启动。某公司接到一个新行业的模型需求,历史数据里没有任何标注,这时候我一般建议先做无监督的用户分群,和业务方一起把每个簇的特征描述出来,再决定每个簇打什么标签。这个过程看起来绕,其实是用人工经验替代标注,是工业界最常见也最稳妥的冷启动路径。2.3 面试追问环节:无监督聚类的评估和选 K 的玄学讲完场景,面试官大概率会追问K-Means的两个魔鬼细节:怎么选 K,怎么评估聚类好坏。选 K 的「手肘法」是标准答案,画代价函数随 K 变化的曲线,找拐点。但真实项目里曲线经常是平滑下降的,拐点不明显,这时候我会加两个辅助指标:轮廓系数和业务可解释性。轮廓系数衡量的是簇内紧密度和簇间分离度,取值在 -1 到 1 之间,越接近 1 越好,但这不是玄学,而是数学上明确的量化指标。更靠谱的做法是用业务目标倒推 K。做过一个用户分群项目,业务方说「我们运营只能覆盖五个群」,那么 K5 就是硬约束,这时候不要和算法指标较劲,直接按约束聚类,然后用轮廓系数检查聚类质量还过得去就交付。K-Means 的初始点选择也经常被问到,我会点一句 K-Means 的思想:初始中心要尽量分散,而不是随机,这能显著减少最终结果陷入局部最优的概率。3. LR 与 SVM:同一道决策边界题,两种不同的哲学3.1 损失函数视角下的 LR:为什么它天生适合做概率输出逻辑回归在面试题汇总里出现频率极高,但很少有人把它讲透。LR 的核心不是那个 sigmoid 函数,而是它背后的极大似然估计。面试官如果问你「LR 的损失函数为什么不用均方误差」,标准回答是:逻辑回归的预测输出是一个概率,标签是 0 或 1,用平方误差损失会导致非凸优化,梯度下降很可能陷入局部最优;而用交叉熵损失函数,它是凸函数,能保证收敛到全局最优。这个回答同时体现了你对损失函数和优化两层的理解。另一个高频追问是「LR 为什么要做特征标准化」。直觉解释是:梯度下降的收敛速度依赖特征尺度,如果一个特征是年龄(0-100),另一个特征是收入(0-100000),权重更新时收入项的梯度会主导方向,导致收敛路径反复震荡。我做项目时习惯对连续特征做 Z-Score 标准化,对类别特征做目标编码或独热编码,LR 里的正则化项才不会被大数值特征带偏。这里有个新手容易犯的错:标准化要在划分训练集和测试集之后做,而且只能用训练集的均值和方差去变换测试集,不能让测试集信息泄露进来。3.2 几何间隔视角下的 SVM:为什么它执着于找最大间隔SVM 的思路和 LR 有本质不同。LR 关心的是把所有样本尽可能分对,决策边界附近的样本即使「蒙」对了也会推动边界移动;SVM 关心的是让离决策边界最近的那几个样本(支持向量)离边界越远越好,这样模型的泛化能力最强。用一个不严谨但好懂的说法:LR 关注所有样本,平均主义;SVM 只关注最难的几个样本,精英主义。面试经典题「SVM 为什么要引入核函数」,回答要分两层:第一层,线性不可分时,把数据映射到高维空间让它线性可分;第二层,核函数可以避免显式计算那个高维空间的坐标,直接在低维空间用内积计算代替,这项工作称为核技巧。描述一个具体的核函数选择经验:文本分类的高维稀疏数据,我一般选线性核,速度快且效果不差;图像和结构化数据,维度不算特别高但非线性强,优先 RBF 核。RBF 核有两个必调参数 C 和 gamma,C 控制误分类惩罚力度,gamma 控制单个样本的影响半径,gamma 太大容易过拟合,太小则欠拟合,这个经验判断来自多次网格搜索后的体感。3.3 对比题的最优回答顺序:从数据假设说到应用场景面试面对面必问「LR 和 SVM 的区别」。完整的回答应该按数据假设 → 优化目标 → 输出形式 → 应用场景这个顺序展开。先讲数据假设,LR 假设特征与 log-odds 之间是线性关系,遇到非线性边界需要人工做特征交叉;SVM 配合核函数可以隐式地处理非线性。再讲优化目标,LR 最小化交叉熵,天然输出概率;SVM 最大间隔,输出的是距离,不直接给概率。然后讲样本敏感性,LR 对全局样本敏感,一个异常值可能拉动整个决策边界;SVM 只受支持向量影响,异常值如果不在间隔边界附近,影响很小。最后落到场景选择:需要概率输出做排序或风控评分时选 LR,数据维度不高但需要强非线性边界时选 SVM。我在实际项目里有个习惯:先跑线性模型做基线,如果 LR 效果差得离谱,再上 RBF 核的 SVM 去验证是不是非线性问题——这个排查顺序能省掉很多盲目调参的时间。4. 决策树系列:从单个树到集成模型的关键跃迁4.1 三种建树策略的区别:ID3、C4.5 与 CART决策树的面试题,核心考察点是「三个算法分别用什么指标选特征」,很多候选人在这里混为一谈。ID3 用信息增益,倾向选择取值多的特征,这会带来一个明显缺陷:一个「用户ID」特征,每个取值只对应一个样本,信息增益最大,但完全没有泛化能力。C4.5 改用信息增益率,除以特征固有值来惩罚多取值特征,解决了 ID3 的偏好问题,但它需要在建树过程中多次扫描数据并对连续特征排序,计算开销大。CART 用基尼指数,它不要求计算对数,运算更快,而且每个节点只做二分,更适合后续剪枝和集成。面试官如果问「连续特征在决策树里怎么处理」,标准答案是:C4.5 和 CART 都对连续特征做排序,然后尝试相邻取值的中点作为候选切分点,选基尼指数或信息增益率最大的那个点做阈值切分。有一道延伸题容易让人卡壳:「决策树处理缺失值怎么办」。工业界通用做法是:训练时把缺失样本按特征分布权重分配到各个分支,预测时如果走到需要缺失特征的节点,默认走样本数最多的那个分支。这也是 XGBoost 的缺失值处理策略的源头,面试时主动提这一点能体现出你看过实现细节,而不只是教材。4.2 剪枝:预剪枝与后剪枝的取舍,以及参数清单决策树最头疼的问题是过拟合——树可以一直分裂到每个叶子只有一个样本,训练集准确率 100%,测试集一塌糊涂。剪枝因此成为必考环节。预剪枝是在建树过程中,如果当前节点的划分不能带来验证集准确率提升,就停止分裂;后剪枝是先完整建树,再自底向上用验证集决定是否把某个子树替换成叶节点。后剪枝效果通常更好,但计算成本高;预剪枝快但有「欠拟合」风险,因为某个节点当时看起来没用,但后续分裂可能带来整体收益。我把决策树的常见参数做一个速查表格,方便面试前快速过一遍记忆。参数作用设置倾向max_depth限制树的最大深度数据量大时通常 10-20 起步,过深必过拟合min_samples_split节点最少样本数才允许继续分裂数万级数据设 20-100,防止小样本节点硬分min_samples_leaf叶子节点最少样本数分类问题一般 50 起调,回归可以更小max_features每次分裂最多考察的特征数分类常用 sqrt(features),回归常用 features/3ccp_alphaCART 后剪枝的复杂度参数用验证集做网格搜索,从 0 开始用验证集做网格搜索选最佳实战里我一般先固定 max_depth 和 min_samples_leaf,再看要不要调 ccp_alpha。很多候选人不知道 ccp_alpha 的存在,其实它就是 CART 后剪枝的工业化实现,sklearn 里直接可以传参,「决策树剪枝参数」这一问能答出 ccp_alpha 绝对是个加分项。4.3 从单棵树到随机森林:Bagging 的方差消减和特征随机性面试追问不会止步于单棵决策树,一定往下问:「决策树的缺陷是什么,随机森林怎么解决」。决策树的方差大,数据一个小扰动就可能长出一棵完全不同的树;随机森林做了两件事来稳定结果:第一,Bagging 采样,每棵树用有放回抽样得到的子集训练,相当于平均掉一部分噪声;第二,特征随机,每棵树分裂时只随机考察一部分特征,保证树与树之间的相关性尽量低。低相关性的树集合在一起,平均结果的方差才会显著下降,这是随机森林的理论核心。面试高频题「随机森林的 oob_score 为什么不需要交叉验证」:因为 Bagging 的每个样本大约有 36.8% 的概率不会出现在某棵树的训练集里,这些没被用到的样本天然可以作为验证集,袋外分数就是对泛化误差的一个近似估计。很多人会忽略这个数字的推导——1/e 约等于 0.368,这个常数在集成学习里反复出现。我习惯先看 oob_score 的数值判断模型有没有大问题,再决定要不要花时间做交叉验证,这一步省过不少无用功。5. 面试必踩的五个经典坑:现象、原因与解药5.1 训练集和测试集的信息泄露——最常见的低级翻车现象:模型在训练集和验证集上准确率都接近 95%,上线后实际效果跌到 60%,业务方直接找上门。 原因:我在做特征处理时,先对全量数据做了标准化,再划分的训练测试集。全量数据的均值和方差包含了测试集的信息,模型在验证时相当于提前偷看了答案。 解决:严格按「先切分,后处理」的流程,所有统计类特征(均值、分位数、频次编码)只用训练集计算,再转换测试集。这个坑在面试中经常以「如何正确划分数据集」的形式出现,能从数据泄露角度回答的候选人十不存一。5.2 类别不平衡时盲目用准确率评估——被高估的模型现象:正样本只有 1%,模型把所有样本都预测为负类,准确率 99%,看起来完美。 原因:准确率对类别不平衡完全不敏感,一个「全猜负类」的模型得到了虚高的分数,而真实业务想要找出的是那 1% 的正样本。 解决:改用精确率、召回率、F1 或 AUC 评估。具体到技术选择,欺诈检测我一般优先看召回率,因为漏掉一笔坏账的代价远高于多审一笔好单;排序场景则直接看 AUC 或 NDCG。应对策略上用类别权重、过采样 SMOTE 或欠采样都可以,但最关键的是先把评估指标摆正。5.3 决策树特征重复使用——不是模型的错,是特征的错现象:决策树模型的特征重要性 Top10 里出现了两个相关性高达 0.95 的特征,你以为树学得很聪明,实际它只是在用两个近乎一样的信号。 原因:决策树每次分裂只挑一个特征,当两个特征高度相关时,树可能这次选 A 下次选 B,二者的重要性被分散和均摊,还会造成不必要的计算开销。 解决:训练前先做相关性分析和特征去重。常用做法是算相关矩阵,把相关系数大于 0.8 的特征合并或删除,保留和业务目标更直接相关的那一个。面试官常问「决策树怎么做特征选择」,顺着这个思路回答,同时点出多重共线性对树模型影响有限但会稀释重要性的细节,更显专业。5.4 SVM 的核函数当万能药用的翻车现场现象:某项目用 RBF 核 SVM 训练时,训练集得分 98%,测试集只有 70%,怎么看都像过拟合。 原因:SVM 本身没有对特征做尺度归一化,不同特征的数值范围相差太大时,RBF 核计算的高斯距离会被大数值特征主导,gamma 参数的敏感性也会被放大,表现像过拟合,本质是数据预处理不到位。 解决:对 SVM 的全部输入特征做标准化,用 StandardScaler 或 MinMaxScaler 均可,然后重新调参。做过的项目里,这个步骤通常能带来 5-10 个百分点的提升。另一个教训:不要一上来就上 RBF,先试线性核,如果线性核效果和 RBF 差不多,直接选线性核——它的可解释性和训练速度都是明显优势。5.5 LR 的特征没有做交叉——被「线性模型」思维困住现象:LR 模型在训练集和测试集上表现都平平,怎么调正则化参数都没用。 原因:LR 是线性模型,特征和标签之间的关系如果是非线性的,它就学不到。特征交叉是 LR 在工业界仍然好用的关键操作,比如「年龄大于30且男性」这类组合特征,需要人工或工具挖掘后喂给模型。 解决:用二阶特征交叉或基于决策树的特征组合方式,把树模型学到的叶子节点索引当作新特征,输入 LR 模型。这个方案在很多推荐系统里被反复验证,面试提到它,基本能镇住场面。面试官问「LR 的局限性」,不要只说线性表达,把特征交叉的解法作为补充回答是最稳的组合。6. 面试回答技巧:用代码验证你的理解,而不是背答案6.1 用最小代码在本地验证监督与非监督的边界直觉回答完概念,面试官如果问「你平时怎么验证自己对模型的理解」,直接展示一个可运行的对比脚本比说一万句都有说服力。我一般会在本地用模拟数据集同时跑 LR 和决策树,观察决策边界的变化,代码如下。from sklearn.datasets import make_moons from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split # 生成非线性可分数据:两个半月形交错 X, y make_moons(n_samples300, noise0.15, random_state42) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # LR:线性边界,看它在非线性数据上如何挣扎 lr LogisticRegression(max_iter1000) lr.fit(X_train, y_train) print(LR 测试集准确率: {:.3f}.format(lr.score(X_test, y_test))) # 决策树:非线性边界,看它如何过拟合 dt DecisionTreeClassifier(max_depth5, min_samples_leaf5) dt.fit(X_train, y_train) print(决策树测试集准确率: {:.3f}.format(dt.score(X_test, y_test)))代码里 make_moons 生成的数据天然非线性,这个设定就是用来展示 LR 的局限性的。max_depth5 和 min_samples_leaf5 是刻意限制树的复杂度,否则决策树会在这个小数据集上表现出严重的过拟合。跑完你会发现 LR 准确率可能在 0.85 左右,决策树能到 0.95 甚至更高,面试官问「为什么」,你就可以从决策边界的线性与非线性切入,把一个抽象问题变成一次代码实验。6.2 面试前必做的三分钟自测:SVM 核函数的直觉代码很多候选人能说出「核函数把数据映射到高维」,但问他 RBF 核的 gamma 变大时会发生什么就含糊了。这个地方可以用代码建立直觉——用不同 gamma 值训练同一个 SVM,看支持向量数量变化和准确率对比。from sklearn.svm import SVC for gamma in [0.01, 0.1, 1, 10]: svm SVC(kernelrbf, gammagamma, C1.0) svm.fit(X_train, y_train) n_sv sum(svm.n_support_) svm_score svm.score(X_test, y_test) print(gamma{:5} 支持向量数{:4} 测试集准确率{:.3f}.format(gamma, n_sv, svm_score))运行结果会呈现一个明确趋势:gamma 从 0.01 升到 10,支持向量数量先降后升,准确率先升后降。原因是 gamma 控制高斯核的「作用半径」,gamma 越大,每个训练样本的影响范围越小,决策边界越复杂,最终每一个样本都可能变成支持向量,过拟合随之而来。这个实验做完,面试时被问到「SVM 过拟合时先调 C 还是先调 gamma」,你的回答会比背调参口诀有底气得多——答案是你的样本体感和实验印象,而不是一句「调小 gamma」。6.3 用 K 折交叉验证验证自己的调参方案是否稳健最后分享一个我自己的面试习惯:凡是简历里写到的模型,一定跑过 K 折交叉验证。面试官如果问「你怎么确定你选的参数不是运气好」,把 K 折的均值和方差报出来,比「我在验证集上调到 93%」强一个量级。参考代码如下。from sklearn.model_selection import cross_val_score for depth in [3, 5, 7, 10]: dt DecisionTreeClassifier(max_depthdepth, min_samples_leaf5) scores cross_val_score(dt, X, y, cv5, scoringaccuracy) print(max_depth{:2} 平均准确率{:.3f} 标准差{:.3f}.format(depth, scores.mean(), scores.std()))注意这里用的是全部数据,不是切分后的训练集,因为交叉验证自己会划分,这样能最大化利用样本。标准差那一列是关键——两个参数的平均准确率相同,但一个标准差是 0.02,另一个是 0.08,坚决选前者,因为它说明模型在不同数据划分下表现得更稳定。一个在面试里很出彩的追加回答:如果标准差过大,说明数据划分方式对结果影响太大,需要检查特征的分布稳定性或考虑分层采样。说句实在话,机器学习面试准备到最后,拼的不是记了多少道题,而是你有没有在本地把这些模型跑过、折腾过、失败过。那些只背题目的候选人,被追问到「为什么」的时候就像纸房子一样塌了——我自己也当过纸房子,刚入行时背熟了 SVM 的推导,被面试官一句「你实际用过它解决什么问题」问得无地自容。从那以后我所有的面试准备都从本地实验开始,这个习惯帮我拿到了不错的机会,也帮我面别人的时候一眼看出谁是真做过、谁只是背过。希望帮你把这份题汇总里的大类考点串成一个有逻辑的体系,面试时带着实验和教训去聊,而不是带着答案去背,这条路才是真正走得通的。本文还有配套的精品资源点击获取