资讯动态

人工智能微积分基础:从梯度下降到反向传播的底层数学逻辑

发布时间:2026/10/17 9:47:36 来源:尧图企业网站定制
1. 为什么搞AI还得啃微积分先说说我踩过的坑先说个身边常见的场景。很多朋友一开始接触人工智能都是从Python和机器学习框架入手的。调个模型、跑个训练看着loss曲线往下降觉得自己已经入门了。但真到面试或者自己想改个网络结构、自己写个损失函数的时候卡住了。别人说“梯度消失”你听不懂别人说“学习率为什么这么设”你答不上来。问题出在哪就出在数学基础上尤其是微积分这一块。《人工智能微积分基础》这本书我看完之后最大的感受是它不是在教你怎么应付期末考试而是真的把微积分和AI算法之间那条“暗线”给挑明了。北大院士推荐这部作品也不是因为书名挂着“人工智能”三个字蹭热度而是因为里面每一个章节的编排都能在后续的机器学习、深度学习理论里找到对应的落点。那这本书到底解决了什么问题简单说三件事第一帮你在脑子里建立起“连续变化”的直觉而不是死记公式第二把极限、导数、积分这些概念和神经网络的前向传播、反向传播、参数更新一一对应起来第三给你一套足够用的计算工具让你在写代码调参的时候心里是踏实的而不是瞎试。适合谁看我建议这三类人闭眼入一是刚转行做AI、本科学过但忘光了的开发者二是正在准备算法岗面试、需要把数学基础捡起来的求职者三是已经在做模型训练、但总感觉对优化器、激活函数理解浮于表面的工程派。当然如果你是数学系出身这本书对你来说可能偏基础但换个角度看看它怎么把数学术语翻译成工程语言也会有点启发。2. 这本书的编排逻辑它不是数学教材是AI数学地图2.1 从极限到梯度每个概念都长在AI的痛点上市面上微积分教材不少同济版的、北大版的、MIT公开课的哪个拿出来都是经典。但问题在于这些教材是为数学专业或者工科通识课准备的它们不会告诉你这个公式在AI里长什么样、用在哪一行代码里。《人工智能微积分基础》厉害就厉害在它的知识组织方式上它是按“AI算法的数学需求”来倒推章节安排的。比如讲极限它不是上来就epsilon-delta语言虽然也讲了但放在后面而是先让你看一个模型连续训练一万步的loss曲线问你这曲线最终趋近的那个值就是极限。你有了这个直觉再去理解形式化定义就不觉得它是天书了。再比如讲导数它把“导数就是变化率”这个老生常谈讲透了。一个神经元的输出对输入的敏感程度本质上就是偏导数梯度向量告诉你的是“往哪个方向调整参数loss下降最快”。这个理解一旦建立你就明白为什么梯度下降法叫“下降”了——因为你每一步都在沿着山势最陡的方向走。我看这本书的时候经常有一种“原来如此”的感觉。比如我之前一直不理解为什么激活函数要用ReLU而不是sigmoid书里从导数的角度一解释就通了sigmoid在两端饱和区导数趋近于零反向传播时乘上这个接近零的数梯度就消失了ReLU在正区间导数恒为1梯度能顺畅地传回去。这个知识点本身不新鲜但能把“导数数值”和“梯度消失现象”直接挂上钩就是好教材和普通教材的差别。2.2 泰勒展开和梯度下降一对被低估的黄金搭档这本书里有一个章节让我印象特别深就是把泰勒公式和梯度下降法放在一起讲。说实话我在学校学泰勒公式的时候只觉得它是一个“用多项式逼近函数”的技巧考试会算就行了。但从没想过它其实是理解最优化算法的一把万能钥匙。书里是这么推的你想让loss函数变小但你这个函数太复杂直接求最小值求不出来。怎么办泰勒说没关系我可以在一个点附近用低阶多项式把函数近似出来。一次泰勒展开就是一个线性函数它的方向导数就是梯度沿着负梯度走一小步函数值就下降。这不就是最原始的梯度下降嘛再往深了走二阶泰勒展开引入了Hessian矩阵这就和牛顿法、拟牛顿法这些二阶优化算法挂上钩了。虽然在大规模深度学习里牛顿法因为计算量太大不怎么直接用但理解了这个链条你再看Adam、RMSProp这些优化器就不会觉得它们是一堆随机凑出来的公式了——它们都是在用不同的方式去估计“函数的局部形状”然后决定怎么迈步子。这个章节我建议所有搞模型训练的人都反复读两遍。读完之后你再调学习率会有一个质的飞跃你会知道学习率设太大了相当于泰勒展开的近似范围被突破函数值反而可能上升这就是发散设太小了每一步都走得磨磨唧唧训练时间翻倍。所有你在实践里遇到的那些玄学问题在这里都有数学解释。3. 核心概念拆解向量微积分才是AI的主战场3.1 从一元导数到多元梯度维度上去之后直觉要重新建立很多人在一元微积分里学得不错但一进入机器学习面对的是成千上万个参数、高维空间里的Loss曲面脑子就转不过来了。这本书花了很大的篇幅在向量微积分上我觉得这个安排非常明智。首先它帮你建立了一个核心认知在高维空间里“方向”比“大小”更重要。梯度是一个向量它指向函数值上升最快的方向梯度下降法做的就是反着走。书上配了很多三维曲面图和等高线图把那个“下山”的物理直觉牢牢焊在你脑子里。然后是对Jacobian矩阵的讲解。以前我觉得Jacobian就是一堆偏导数的排列没什么实际用途。但这本书告诉我当你有一个向量输入、向量输出的映射时Jacobian就是那个“局部线性变换”的完整描述。在神经网络里每一层做的事情就是一个向量到另一个向量的映射反向传播实际上就是在链式法则指导下把Jacobian矩阵一层一层乘回去。我举一个做目标检测的同事的例子。他之前一直搞不懂为什么换一个损失函数之后训练特别不稳定。后来他翻到这本书的多元链式法则章节发现他用的损失函数对坐标回归分支的梯度在数值上比分类分支大了几个数量级导致整体梯度方向被带偏。他加了梯度均衡之后训练就顺了。这就是懂微积分和不懂微积分的区别——别人是试错他是直接算出问题在哪。3.2 积分在AI里的位置期望和概率分布的地基很多搞AI的人觉得积分没什么用毕竟深度学习里全是求导和梯度。这个看法大错特错。这本书里把积分和概率论之间的桥梁讲得清清楚楚而概率论又是机器学习另一个绕不开的基石。书里讲到机器学习本质上是在不确定环境中做推断而所有不确定性都体现在概率分布上。你要算一个模型的期望风险就要对损失函数在数据分布上做积分你要做贝叶斯推断就要处理归一化常数那也是个积分。虽然很多实际计算到最后会变成采样求和但如果你连“积分就是求面积、求和”这个本质都忘了你就很难理解为什么蒙特卡洛采样能逼近那个真实期望。我印象最深的是关于变分推断的章节。它讲了一个核心思想当某个积分你算不出来的时候你找一个简单的分布去近似那个复杂的后验分布然后通过优化让它们之间的差异——KL散度——尽量小。这里面用到的核心工具拉格朗日乘子法就是微积分里约束优化的经典内容。没有这部分基础你去看变分自编码器的论文每一页都像天书。所以这本书虽然是“微积分基础”但它真正训练的是你的数学思维迁移能力。它帮你打好的地基不仅是为了看得懂算法公式更是为了让你在追踪学术前沿的时候不至于被数学符号劝退。4. 实操建议光看书不动手等于白看4.1 配合代码验证让公式在你手里活起来我自己的经验是一本数学书光靠“看”是绝对不够的你必须配合动手计算和代码实验才能真正理解。这本书好就好在它每一章后面都有一些偏向应用的习题而且和AI概念紧密结合。我建议你拿到书之后不要从第一章开始慢慢啃而是采用一种“按需查阅主动推导”的策略。具体怎么操作我自己的流程是这样的先快速翻一遍目录把每一章对应的AI算法标注出来。比如导数和优化器对应积分和概率模型对应多元微积分和反向传播对应。然后回到你正在做的项目里遇到一个搞不懂的数学环节就去查对应的章节把公式推导一遍再用Python把它实现一遍。我来举个我实际做过的例子。我看完梯度下降章节后写了一个十分钟的小脚本用numpy实现了一个二元函数的最小值搜索。我先自己推导梯度表达式然后写了三种优化方式的对比固定学习率的SGD、带动量的SGD、以及Adam。看着三种方法在一个简单二维曲面上的下山轨迹差异我对优化器的理解立刻上了一个台阶。这种实验成本极低但收益远高于你干巴巴地刷题。4.2 吃透反向传播的链式法则一个必须迈过去的坎我相信很多人学AI时最大的心理障碍就是反向传播Backpropagation算法。各种教程里画了太多计算图每一条线上标注着梯度的流动但你真的自己上手推导一下往往就晕了。这本书在链式法则这一章几乎是掰开揉碎地讲。我的建议是拿到书后立刻找一个最简单的三层全连接网络做一次完整的前向和反向推导。注意不要跳步把每一个中间变量的偏导数都写出来。然后你再看代码里那个backward()函数就会有一种“这代码全在我的掌控之中”的感觉。我认识一个同学他以前调模型全靠踩坑经验从来不看梯度数值。后来他按这个方法把某个框架的自动求导结果和自己手推的结果对了一遍发现框架没问题但他自己对softmax和交叉熵之间梯度的理解一直是错的。从那以后他再看模型训练日志里的梯度信息就像医生看体检报告一样有没有问题一眼就能察觉。这种能力在职场上是非常值钱的。4.3 从工程角度重新审视学习率调度还有一个特别想分享的点就是学习率调度。这本书讲泰勒展开和梯度下降关系的时候把学习率为什么不能太大也不能太小的问题讲透了。但怎么把它变成工程实践我个人的习惯是先用这本书的公式推导出一阶方法收敛的条件理解“为什么需要学习率衰减”然后在训练早期的预热阶段把学习率从小到大线性增长让网络先稳定下来训练中后期再配合余弦退火调度让学习率周期性地降低又回升。这个方案不是我在哪个项目里抄来的是我理解了梯度下降背后的微积分原理后结合常见实践推出来的。我试过很多次相比恒定学习率效果确实稳定很多。这本书提供的不是现成代码而是让你具备自己设计训练策略的能力我认为这比任何开箱即用的工具都值钱。5. 常见问题速查你在自学微积分时可能卡住的点5.1 偏导数、方向导数和梯度之间的关系总搞混怎么办这是微信群里被问过最多的问题。我自己当年也迷糊了很久。书里的处理方式很好它先把三个概念放在一起对比偏导数是沿着坐标轴方向的变化率方向导数是沿着任意指定方向的变化率梯度是一个向量它的方向是方向导数最大的方向它的模长就是那个最大变化率。我给你一个更直观的类比你站在山坡上偏导数就像只允许你朝正东或正北走量一量坡有多陡方向导数允许你朝任意方向走看看这个方向陡不陡梯度则是那个告诉你“哪条路最陡”的指南针。这个类比不是书里的原话但我是靠这个想明白的。5.2 泰勒公式展开到几阶才够用这个问题很实际。在机器学习优化里最常见的是展开到一阶和二阶。一阶就是梯度下降够简单够稳二阶就是牛顿法收敛快但计算代价大。深度学习实践中大家基本都用一阶方法因为参数太多了二阶矩阵存不下来。但在某些特定场景——比如小规模问题、或需要对优化器做理论分析时——二阶信息也很有价值。我的建议是初学阶段先把一阶吃透然后了解二阶的思想。不要一上来就扎进Hessian矩阵的计算细节里那个推导过程很容易让人劝退。你只要知道“二阶信息能更快告诉你山势转弯的方向”就行了。5.3 积分学了后面用不上很多人学到这里就松懈了觉得AI里用不到积分。我前面已经举了期望和变分推断的例子。再补一个更直接的你在做模型评估时经常要计算AUC曲线下面积它本质上就是一个积分。你要是不知道积分的几何意义你就理解不了AUC为什么能衡量排序能力。所以我的建议是积分那一章不要跳过至少要理解定积分是求和、是面积理解期望就是对概率密度加权求积分。你不需要成为积分技巧的专家但你要理解它在概率模型中的位置。5.4 公式看得懂但自己做题就废这是很典型的“假懂”状态。我见过很多朋友看公式推导的时候频频点头合上书自己一推就卡住。解决这个问题只有一个办法重推。不是看一遍是合上书自己在草稿纸上从零开始推一遍。第一遍卡住就再看一眼第二遍再卡就再看第三遍基本就能顺畅推下来了。这本书每一章后面的习题精度很高不像有些教材全是机械计算。它出的题往往要求你把概念迁移到新的场景里比如“给一个简单的损失函数推导其梯度并说明在哪个点梯度为零”。这种题看着不难但真正能检验你是否理解。我强烈建议你把这些题当作面试题来对待每一道都写出完整推导步骤。6. 个人使用心得这本书我应该放在书架的哪个位置最后说说我的私心推荐。如果只让我选一本数学书放在工位上我大概率不会选纯数学系的教材而会选《人工智能微积分基础》。原因很简单纯数学教材教的是整个数学大厦它不会考虑你明天就要调一个模型、而今天只需要搞懂梯度到底是什么这种实际的焦虑。这本书给我的感觉更像是一个“数学翻译官”。它把我在论文里看到的那些数学符号翻译成我能理解、能用代码实现的工程概念。它同时也像一个“数学地图”告诉我现在学到的每一个知识点会和未来的哪些AI前沿技术接轨。这种结构和视角是传统的数学教材给不了的。据我所知现在不少高校的人工智能专业把这本书作为入门数学教材。北大相关院系的老师推荐它看重的应该也正是这种“数学与AI深度融合”的编排思路。它可能不会让你变成数学竞赛选手但一定能让你成为那个“看起来懂AI、也能从底层解释为什么”的工程师。另外一个我特别想提的优点是这本数在语言上没有端着架子。它的行文像是有个经验丰富的前辈坐在旁边带着你一个问题一个问题地往前推时不时还会点你一句“这个地方你可能会想错。”这种阅读体验在数学类书籍里很难得。所以我的整体建议是如果你正在AI这条路上爬坡数学基础是那个绕不过去的坎而你又不想一上来就啃那些又厚又抽象的纯数学教材可以试试从这本书入手。它不会让你一步登天但能让你每一步都踩在实处。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑