2.2 为什么分母要用求和？

分母 ∑jexjsum_j e^{x_j} 的作用就是归一化。把所有指数值加起来作为“总基数”，每个指数值除以这个总基数，结果就是每个输出变成了相对占比，范围在 0 到 1 之间，而且所有输出加起来恰好等于 1——一个标准的概率分布。

3. 手算示例

光说不练假把式。假设输入向量 x=[2.0,1.0,0.1]mathbf{x} = [2.0, 1.0, 0.1]，咱们一步步来算。

第一步，计算指数值：e2.0=7.389e^{2.0} = 7.389，e1.0=2.718e^{1.0} = 2.718，e0.1=1.105e^{0.1} = 1.105。

第二步，计算分母：7.389+2.718+1.105=11.2127.389 + 2.718 + 1.105 = 11.212。

第三步，计算每个 Softmax 值：softmax(x1)=7.389/11.212=0.659text{softmax}(x_1) = 7.389 / 11.212 = 0.659，softmax(x2)=0.242text{softmax}(x_2) = 0.242，softmax(x3)=0.099text{softmax}(x_3) = 0.099。验算一下，总和 0.659+0.242+0.099=1.0000.659 + 0.242 + 0.099 = 1.000，完美。

注意到输入最高的 2.0 获得了 65.9% 的权重，而最低的 0.1 只拿到了 9.9%。输入之间的原始差距是 1.9，而输出权重的差距被放大到了 0.56。这就是指数函数在起作用。

4. 核心性质

4.1 保序性（Order Preservation）

这个性质很好理解：如果 xi>xjx_i > x_j，那么 softmax(xi)>softmax(xj)text{softmax}(x_i) > text{softmax}(x_j)。简单说，打分最高的同学，最终得票率也是最高的。Softmax 不会“碘伏”排名。数学上这是因为指数函数严格单调递增，而且除以同一个正分母不会改变大小关系。

4.2 平移不变性（Translation Invariance）

这个性质非常有用：如果对输入向量的所有元素同时加上同一个常数 c，Softmax 的输出不变。证明也很直接，分子分母同时提取出一个 ece^c 约掉就行了。直观理解就是，假设所有同学的分数都加了 10 分，大家加的一样多，最终得票百分比不变。这个性质是后面数值稳定性技巧的理论基础——我们可以安全地减去最大值来防止溢出，而不改变结果。

4.3 非缩放不变性（Non-Scaling Invariance）

和平移不同，如果对所有元素同时乘以一个正数 a（且 a≠1），Softmax 的输出会改变。当 a>1 时，所有分数被“拉大”，高分的优势被进一步放大，输出分布更“尖锐”。当 0

这一点在 Transformer 的注意力机制中体现得很直接。缩放因子 1dkfrac{1}{sqrt{d_k}} 正是通过缩小点积分数，防止 Softmax 输出过于尖锐，从而避免进入梯度很小的饱和区。

5. 数值稳定性

5.1 问题：直接计算可能产生 NaN

考虑输入 x=[1000,2000,−4000]mathbf{x} = [1000, 2000, -4000]，直接按公式计算 e2000e^{2000} 直接就超出 float64 的可表示范围，变成无穷大，分子分母都是无穷大，结果是 NaN，计算直接失败。

5.2 解决方案：减去最大值

利用平移不变性，从每个元素中减去最大值 max⁡(x)max(x) 即可。公式变成 softmax(xi)=exi−max⁡(x)∑jexj−max⁡(x)text{softmax}(x_i) = frac{e^{x_i - max(x)}}{sum_j e^{x_j - max(x)}}。

5.3 数学证明

这个技巧的数学基础就是平移不变性。通过引入一个常数 C，可以推导出这个形式。令 log⁡C=−max⁡(x)log C = -max(x)，就得到上面的形式。这个变换在数学上是完全等价的。

5.4 为什么这样就稳定了？

减去最大值后，所有指数输入都小于等于 0，因此 exi−max⁡(x)e^{x_i - max(x)} 严格在 0 到 1 之间。最大值对应的指数是 e0=1e^0 = 1，所以分母至少是 1，不会出现除以零的情况。这样就彻底解决了溢出问题。

6. 代码示例

理论说完了，看代码最直观。

6.1 NumPy 手动实现

import numpy as np

# 朴素实现（不推荐，数值不稳定）
def softmax_naive(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x)

# 数值稳定实现（推荐）
def softmax(x):
    x_shifted = x - np.max(x)  # 利用平移不变性
    exp_x = np.exp(x_shifted)  # 所有值 ≤ 1，不会溢出
    return exp_x / np.sum(exp_x)

# 测试
x_small = np.array([2.0, 1.0, 0.1])
print("普通输入:", softmax(x_small))  # [0.659, 0.242, 0.099]
print("和:", np.sum(softmax(x_small)))  # 1.0

x_large = np.array([1000.0, 2000.0, -4000.0])
print("大数值输入（稳定版）:", softmax(x_large))  # [0., 1., 0.]
print("和:", np.sum(softmax(x_large)))  # 1.0

6.2 PyTorch 原生实现

import torch
import torch.nn as nn

x = torch.tensor([2.0, 1.0, 0.1])

# 方式1：函数式 API
output = torch.softmax(x, dim=0)
print("torch.softmax 输出:", output)  # [0.659, 0.242, 0.099]
print("和:", output.sum())  # 1.0

# 方式2：模块化 API
softmax_layer = nn.Softmax(dim=0)
output2 = softmax_layer(x)

# 二维输入示例
x_batch = torch.randn(2, 3)  # 2个样本，3个类别
output_batch = torch.softmax(x_batch, dim=1)
print("每行和:", output_batch.sum(dim=1))  # [1.0, 1.0]

6.3 PyTorch 内置的数值稳定处理

PyTorch 的 torch.softmax 和 F.softmax 内部已经实现了 x−max⁡(x)x - max(x) 的数值稳定技巧，开发者直接调用即可。此外，F.log_softmax 使用了更稳定的 log-sum-exp 技巧，避免了 log(0) 的问题，推荐与 NLLLoss 配合使用。

import torch.nn.functional as F

x = torch.tensor([2.0, 1.0, 0.1])
log_probs = F.log_softmax(x, dim=0)
print("log_softmax:", log_probs)  # [-0.4170, -1.4170, -2.3170]
print("exp(log_softmax):", torch.exp(log_probs))  # 还原为 Softmax

7. 总结

回顾一下核心要点：Softmax 将任意实数向量转为概率分布，输出在 (0,1) 间且和为 1。它具有保序性、平移不变性（这是数值稳定技巧的数学基础）和非缩放不变性（这是注意力缩放因子的理论依据）。数值稳定计算时先减去最大值，在 Transformer 中它让注意力能够“聚焦”。

最后记住几个关键理解：Softmax 的本质就是“指数化 + 归一化”；数值稳定的 x−max⁡(x)x - max(x) 不是取巧，而是平移不变性的直接推论；在 Transformer 中，Softmax 是注意力“聚焦”能力的数学核心——没有它，模型无法区分该关注谁。