计算图是深度学习的一个关键概念也是想TensorFlow这样的框架自动计算神经网络倒数的方法让我们看看是如何工作的这就是反向传播是从右往左传递的不是误差是敏感度我变换了一点点那对最终的损失影响多少呢这就是一个计算机的一个计算图显示了a的前向传播含计算了待见函数J的值现在的问题是如何找到j关于参数b和W的导数呢我们看图前向传播是从左到右的计算而计算导数是从右到左计算的 这就是为什么它叫做反向传播反向传播首先会看最后一个节点就是最后一个方块这里的d改变一点j的值会改变多少呢比如改变了V,j增加了2V,反向传播就会在这里填入2就是d的导数反向传播是从右到左计算的最后一个节点的导数计算出来然后算前面的导数又因为他们有因果关系所以可以用这个因果关系把两个东西套起来就是后面的式子带到前面中去就得到了当前的导数。和链式法则一样我们为什么要用使用反向传播来计算导数呢可以通过一次性的从右到左的计算找出改变这些的中间来量以及参数改变这些东西将如何影响最终的输出J,反向传播高效的一个原因是只需要计算一次j对a的导数然后用这个量去计算j对w和b的导数如果计算图有n个这样的节点即n个这样的框和P个参数那么允许我们np步内计算j对所有参数的导数而不是n乘p步