InfoNCE 损失

让模型在一堆候选里认出唯一「正样本」的对比学习损失函数。

InfoNCE 由 DeepMind 的 van den Oord 等人在 2018 年的对比预测编码（CPC）论文中提出。做法是给一个锚点样本配一个正样本（如同一张图的另一种增强、下一时刻的片段）和若干负样本，算出相似度后做 softmax 分类，要求正样本得分最高，本质是交叉熵。论文证明最小化它相当于最大化互信息（两个变量共享的信息量）的一个下界，负样本越多，下界越紧。它是 CLIP、SimCLR 等对比学习方法的核心训练目标，机器人视觉表征如 R3M 也用类似的时间对比目标。

例子CLIP 训练时一批里有 N 对图文，每张图只把自己的配文当正样本、其余 N−1 条文字当负样本，图→文、文→图两个方向各算一次 InfoNCE。

也叫

对比损失、InfoNCE 目标

相关

对比学习、CLIP、自监督学习、时间对比学习、交叉熵、表征学习

来源

Representation Learning with Contrastive Predictive Coding (arXiv:1807.03748)
CPC 论文 HTML 版（第 2.3 节 InfoNCE Loss and Mutual Information Estimation）