均方误差

预测值与真值之差的平方再取平均，是最常用的回归损失。

均方误差把每个样本的预测值与真值之差平方后取平均，不取平均的平方和常叫 L2 损失。它处处可导，误差越小梯度越小，优化平稳，是回归任务的默认损失；从概率角度看，最小化 MSE 等价于假设误差服从高斯分布时的最大似然估计，最优解是条件均值。平方会放大大误差，所以它比 L1 损失更容易被离群点带偏。在机器人模仿学习里它有个出名的问题：同一场景下演示者有时从左绕、有时从右绕，用 MSE 直接回归动作会学成两者的平均，走出一条哪边都不是的中间路线，这就是动作多峰性问题，也是扩散策略、流匹配等生成式策略流行的原因之一。扩散模型的训练目标本身也是 MSE，只是回归对象换成了加进去的噪声。

例子扩散策略（Diffusion Policy）训练时，把随机噪声加到专家动作序列上，让网络预测加进去的噪声，损失就是预测噪声与真实噪声之间的 MSE；论文指出最小化这个损失也在最小化数据分布与模型分布之间 KL 散度的变分下界。

也叫

L2 损失、平方误差损失

相关

L1 损失、损失函数、最大似然估计 / 负对数似然、动作多峰性、连续动作回归、去噪损失

来源

Linear regression: Loss（Google Machine Learning Crash Course）
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)