梯度下降与优化器

6.1 蒙眼下山：一个贯穿全书的比喻

想象你被蒙上眼睛，放到一座山的半山腰，目标是走到谷底。你看不见整座山，但你能做一件事：用脚踩一踩周围的地面，感受哪个方向最陡。于是策略显而易见：找到脚下最陡的下坡方向，朝那边迈一小步，再感受一次，再迈一步……直到四面八方都是上坡，你就到了（某个）谷底。

把「山」换成损失函数，把「你的位置」换成当前的权重，把「最陡的下坡方向」换成负梯度方向——这就是梯度下降，一个字都不差。梯度 ∇L 指向损失上升最快的方向，所以要往它的反方向走：

其中 η（eta）是学习率，就是你每一步迈多大。∇L 由反向传播提供（第 5 章），η 由你来定——而第六章的半部血泪史，都写在这个小小的 η 上。

6.2 学习率：一步迈多大

下山故事里唯一没说清的是「一小步」到底是多小。这个选择只有四种命运，而且泾渭分明：

• 太小：方向完全正确，但步子像蜗牛。会到谷底，只是你可能等不到那天。
• 合适：步子大而不失控，损失快速下降，稳稳收敛。
• 太大：一步跨过谷底，在两边山壁之间来回弹跳，损失迟迟降不下去。
• 巨大：每跳一步都比上一步更远，直接飞出山谷——损失爆炸，训练发散。

用最简单的损失函数 L(w) = w² 就能把这四种命运全部演出来。它的梯度是 2w，更新规则是 w ← w − 2ηw = w·(1 − 2η)。当 η > 1 时，|1 − 2η| > 1，每一步都在放大——数学上必然发散。在下面的演示里亲手验证：

注意一件事：没有「万能的好学习率」。同一个 η = 0.25，在 L = w² 上恰到好处，在 L = w²/20 上就慢得让人着急。坡度越缓的曲面需要越大的步子——这也是为什么学习率永远是训练时第一个要调的超参数。

6.3 优化器进化史：从裸走到自适应

朴素的梯度下降（SGD，随机梯度下降）就是「裸走」：每步只信当下的梯度。它够用，但在真实地形上经常难堪——狭长的山谷里来回震荡，浅坑里爬不出来，鞍点（一个方向是谷底、另一个方向是山顶的点）附近磨磨蹭蹭。于是人们给它加了两次重大升级：

Momentum（动量）：给下山者加上「惯性」。不再只看脚下这一步的梯度，而是让之前几步的方向也参与投票——像滚下山的雪球，越滚越有自己的主意：

β 通常取 0.9：新方向里九成是「惯性」，一成是「脚下的新情报」。效果立竿见影——在狭长山谷里，左右震荡的分量互相抵消，沿谷方向的分量持续累加；遇到浅坑，积累的动量直接把它冲过去。

Adam：思路再进一步——给每个参数单独配一个学习率。它同时追踪梯度的一阶平均（m，类似动量）和二阶平均（v，梯度有多「抖」），再用前者除以后者的平方根：梯度一直很大的参数，步子自动调小；梯度稀稀拉拉的参数，步子自动放大。还加上偏差修正（开头几步 m、v 都偏小，要补偿）和一个防除零的小常数 ε = 10⁻⁸：

Adam 几乎不挑学习率（0.001 起步通常就能用），在各种地形上都表现稳健，是今天默认的首选优化器。口说无凭，让三位选手在同一片地形上赛跑：

几个值得回放的画面：椭圆碗里 SGD 的锯齿（陡方向震荡、缓方向爬行）正是 Momentum 要治的病；Rosenbrock 香蕉谷里那条又窄又弯的谷底会让大个子步伐吃尽苦头，Adam 的逐参数步长优势最明显；鞍点 L = x² − y² 没有谷底（往 y 方向一路向下），看点是「谁在鞍点附近磨蹭最久」——SGD 往往在原地徘徊很久，而 Adam 会把那个微弱的逃逸梯度放大，最早溜走。

6.4 mini-batch：为什么故意用「不准」的梯度

还有一个反直觉的细节：训练时几乎从不用全部数据算梯度，而是每次随机抽一小批（mini-batch，常见 32～256 条）算一个「带噪声的梯度」。原因有三：

• 算得动：几百万条数据全算一遍梯度才能走一步？一步都嫌贵。一小批就能给出方向大致正确的估计。
• 走得快：同样的数据量，小批量能走几百步，全量只能走一步——参数更新的频率远比单步的精度值钱。
• 噪声是特性，不是缺陷：每批数据带来的梯度抖动，相当于给下山路上随机推你几把。浅坑、鞍点这类「梯度几乎为零的陷阱」，噪声能把你晃出来；完美精确的全量梯度反而会在那里躺平。

6.5 最后一步：让学习率慢慢变小

训练后期，mini-batch 的噪声会让参数在最优点附近一直小幅抖动，无法落稳。标准做法是学习率衰减：随着训练进行，按阶梯、指数或余弦曲线把 η 逐步调小——前期大步快跑，后期小步落脚。一句话记住它：先求快，再求稳。