损失函数：给错误定价

4.1 学习 = 把「错多少」变成数字，再最小化

回想第 1 章的感知机：它分错一个点，就机械地挪一下权重。但「分错了」是个粗糙的二值信号——错一点点和错到十万八千里，在它眼里没有区别。真正的深度学习需要一把更精细的尺子：损失函数（loss function）。

损失函数做的事只有一件：给定预测值 ŷ 和真实值 y，吐出一个非负数字，表示这次预测值多少钱——错了要付钱，错得越狠付得越多，完全正确则为零（或接近零）。于是「训练网络」这件听起来很玄的事，被翻译成了一个纯粹的数学问题：

这就是深度学习的全部「目标感」来源。后面两章的反向传播和梯度下降，讲的都是「怎么找到这组权重」；而这一章要回答的是更根本的问题：这个价格该怎么定？定价方式不同，网络学到的东西就完全不同。

4.2 回归任务：均方误差 MSE

先看回归问题——预测一个连续数值，比如房价、气温。最直观的错误度量是「差了多少」：y_i − ŷ_i，叫做残差（residual）。把一批样本的残差平方后取平均，就是大名鼎鼎的均方误差（Mean Squared Error）：

为什么要平方？三个原因：消除正负号（高估和低估都算错）；让函数处处光滑可导（|x| 在 0 点有尖角，x² 没有）；以及——这是本章的重点——平方会放大惩罚：误差翻 10 倍，惩罚翻 100 倍。作为对比，我们也可以直接对残差绝对值取平均，得到 MAE（平均绝对误差）：

下面这个演示把 MSE 画了出来：每个散点到直线的竖直线段是残差，而以残差为边长的半透明方块的面积，正是这个点的平方误差。MSE 就是所有这些方块的平均面积。

你在演示里看到的就是 MSE 最著名的性格：对离群点（outlier）极度敏感。一个录入错误的数据点，因为惩罚被平方放大，能把整条直线往自己这边拽。MAE 则「淡定」得多——它对所有误差一视同仁地线性计费。所以实践中：数据干净、相信每个样本时用 MSE；数据里可能混有脏数据时，MAE（或它的光滑亲戚 Huber 损失）往往更稳。

4.3 分类任务：交叉熵

再看分类问题。以二分类为例：网络经过 sigmoid（第 2 章）输出一个概率 p ∈ (0, 1)，表示「是类别 1 的把握」；真实标签 t 是 0 或 1。这时的定价哲学和回归完全不同——我们关心的是：你给正确答案标了多大的概率？

交叉熵（Cross Entropy）的定价方式，只看正确类别的那个概率：

别被公式吓到，它其实是个「二选一」的开关：t = 1 时只有 −ln(p) 生效，t = 0 时只有 −ln(1 − p) 生效。而 −ln 这条曲线有个暴脾气：当正确类别的概率接近 1，损失接近 0；概率越低，损失越高；当概率趋近 0——也就是「自信地错」——损失直接冲向无穷大。

4.4 为什么分类不能用 MSE？

一个自然的问题：p 和 t 也都是数字，直接用 (t − p)² 当损失不行吗？能算，但会出大事。问题不在损失值本身，而在它传回给网络的梯度（第 5、6 章的主角，这里先剧透一点）。

sigmoid 有个天性：输出接近 0 或 1 时会「躺平」，斜率 σ′(z) = p(1 − p) 趋近于 0。MSE 的梯度要乘上这个斜率：

想象最糟糕的开局：t = 1，网络却输出 p = 0.01——错得离谱，最需要大力纠正。可 MSE 路线里那个 p(1 − p) ≈ 0.01 的因子，把梯度也压到了接近零：错得越狠，学得越慢，这就是「饱和」。而交叉熵与 sigmoid 搭配时，log 曲线和 sigmoid 的指数恰好相互抵消，梯度干干净净地等于 p − t——错多少，纠多少，绝不让「躺平」发生。

4.5 多分类：softmax + 交叉熵

类别不止两个时（比如手写数字 0~9），网络最后一层会为每个类别输出一个原始分数 z_i，叫做 logits。这些分数可正可负、大小不一，不是概率。softmax 负责把它们变成一组「和为 1 的概率」：

指数 e^z 保证每个数都为正，除以总和保证加起来等于 1——一个合法的概率分布就出来了。而且 softmax 有「赢家通吃」的倾向：最大的 logit 会被指数放大，拿走概率的大头。

接下来的交叉熵简单到只有一句话：取正确类别对应的那个概率，取负对数：

其他类别的概率根本不用单独出现——它们已经被 softmax 的「总和为 1」约束自动惩罚了：给错误类别分多了，正确类别自然就少了。softmax + 交叉熵，是今天几乎所有分类网络的标准出厂配置。