反向传播：链式法则的优雅

5.1 问题回顾：百万权重，谁来背锅

上一章我们有了损失函数：它把「网络现在有多差」压缩成一个数字 L。但光知道总分差并没有用——真正的问题是：网络里躺着上百万个权重，每个权重该为这份「差」负多大责任？

有个笨办法：每次把一个权重稍微扰动一点点，重新跑一遍前向传播，看损失变了多少，变化幅度就是这个权重的责任。但一次前向只能测一个权重，一百万个权重就要跑一百万次前向——按今天的算力也得算到天荒地老。

我们需要的是：每个权重对损失的「责任率」，也就是偏导数 ∂L/∂w。而反向传播（Backpropagation）给出的承诺近乎奢侈：只跑一遍反向，就同时算出一百万个权重的责任，总代价大约只是两遍前向传播。

5.2 链式法则：下游梯度 × 局部导数

反向传播的全部数学根基，是微积分里的链式法则。设 x 影响 y，y 又影响 L，那么 x 对 L 的影响就是两段影响的乘积：

读法很直白：x 对最终损失的责任 = 下游传回来的梯度 × 本地的局部导数。举个最小例子：y = 3x，L = y²，取 x = 2，则 y = 6。下游梯度 ∂L/∂y = 2y = 12，局部导数 ∂y/∂x = 3，于是 ∂L/∂x = 12 × 3 = 36——x 每增加一点点，损失大约增加 36 倍那么多。

关键在于：每一层只需要知道自己的局部导数（比如「我是乘 3 的，我的局部导数就是 3」），再从下游接过梯度相乘，就能把自己的那份责任继续往上游传。责任像接力棒一样，一层一层往回传，这就是「反向传播」这个名字的由来。

5.3 计算图实战：一笔账算到底

把计算画成一张图就清楚了：每个节点是一个中间变量，每条边是一次运算，边上标注的是这次运算的局部导数。前向传播沿箭头算出数值；反向传播逆着箭头，在每个节点把「收到的梯度 × 边的局部导数」继续往上传。

下面这张图实现的是 e = (a + b) · c。注意两条经验：加法节点把梯度原样平分（∂s/∂a 和 ∂s/∂b 都是 1，来多少传多少）；乘法节点把梯度乘以「另一个操作数」（∂e/∂s = c，∂e/∂c = s，像交换了手里的牌）。

把每个节点换成一层网络、每条边换成一次矩阵乘法，这张小图就是一个真实的神经网络——反向传播的做法一模一样，只是节点和边多了几百万倍。

5.4 梯度消失与爆炸：连乘的毁灭与疯狂

现在把链式法则用到 N 层的深网络上。反向传播时，梯度每穿过一层都要乘上这一层的「梯度因子」g（权重、激活函数导数等的综合效果）。传到第 1 层时，梯度已经被连乘了 N 次：

连乘是最不讲情面的运算。g 只要比 1 小一点点，比如 0.9，乘 50 次就只剩约 0.005——前面几十层的权重几乎收不到任何更新信号，这就是梯度消失。还记得第 2 章的 sigmoid 吗？它进入饱和区后导数趋近于 0，不饱和时最大也只有 0.25，几十层 sigmoid 叠起来，梯度还没传到家门口就蒸发干净了。

反过来，g 只要比 1 大一点点，比如 1.5，乘 50 次就是 6 亿多——权重更新一步就飞出十万八千里，损失直接爆炸成 NaN，这就是梯度爆炸。

注意一个残酷的不对称：g 偏离 1 只要一点点，结果就天差地别，而且层数越深惩罚越狠。这就是为什么浅层网络随便训都能动，而深网络在没有现代技巧护航的年代几乎无法训练。

5.5 反向传播 = 自动微分：框架替你记账

回头总结一下我们到底做了什么：在计算图上，对每条边用了一次链式法则。没有更多，也没有更少。这套机制有个更正式的名字——自动微分（Automatic Differentiation，反向模式）。

PyTorch、TensorFlow 这些框架做的事情，本质就是替你维护这本账：你写前向代码，它默默记下每个节点的局部导数；你调用一行 loss.backward()，它就沿着图反向走一遍，把每个参数的梯度算好放在那里。框架可以替你记账，但你必须懂账本的结构——否则面对「梯度为什么是 0」「损失为什么是 NaN」这类问题时，你连账都查不了。