Softmax（归一化指数函数）

把一组任意实数变成全为正、加起来等于 1 的概率分布的函数。

Softmax 把一个实数向量的每个元素取指数，再除以所有指数之和，得到一组全为正、总和为 1 的数，可当作概率；原值越大概率越高，差距被指数放大。它在深度学习里有两大用处：一是分类输出层，把模型输出的分数（logits）变成各类别概率，再配合交叉熵损失训练；二是注意力机制里，把查询与各个键的相似度变成权重。先把分数除以温度参数再做 Softmax，可以调节分布的尖锐程度：温度低时近似只选最大值，温度高时更平均。RT-2、OpenVLA 把连续动作切成若干区间，也是用 Softmax 给出每个区间的概率。

例子分类器对「杯子、碗、盘子」打出 2.0、1.0、0.1 三个分数，经 Softmax 约得到 0.66、0.24、0.10 的概率。

也叫

归一化指数函数、Softmax 函数、软最大值函数、温度 Softmax

相关

交叉熵、注意力机制、自注意力、解码策略（贪心 / 温度采样 / Top-k / Top-p）、空间 Softmax、分箱离散化

来源

动手学深度学习：softmax 回归
Dive into Deep Learning: Softmax Regression