SuperPoint / LightGlue

一组用神经网络做特征点检测和跨图匹配的模型，替代 SIFT 等手工方法。

这是一条学习型特征匹配的技术线。SuperPoint 由 Magic Leap 在 2018 年提出，用一个网络同时输出图像里的关键点位置和描述子（描述该点周围样子的向量），替代 SIFT、ORB 这类手工设计的特征。SuperGlue（2020）用图神经网络和注意力机制，在两张图的关键点之间做匹配，并能判断哪些点在另一张图里没有对应。LightGlue（2023，ETH 苏黎世）是 SuperGlue 的改进版，论文称更省显存和计算、更准、也更容易训练，还能按匹配难度自适应地提前结束推理。它们常被接在 SfM、视觉 SLAM、重定位的前端，用来在光照变化、视角变化大时仍找到可靠对应点。

例子在 hloc 或 COLMAP 流程里用 SuperPoint 提点、LightGlue 匹配，替换默认的 SIFT，可以在白天和夜晚拍的照片之间找到更多正确匹配。

也叫

SuperPoint、SuperGlue、LightGlue、学习型特征匹配

相关

特征点、特征匹配、运动恢复结构、视觉SLAM、重定位、随机采样一致性

来源

LightGlue: Local Feature Matching at Light Speed (arXiv 2306.13643)
SuperPoint: Self-Supervised Interest Point Detection and Description (arXiv 1712.07629)
SuperGlue: Learning Feature Matching with Graph Neural Networks (arXiv 1911.11763)

信息截至

2023-06