YOLO-World

输入文字类别名就能实时检测对应物体的开放词汇检测器

YOLO-World 是腾讯 AI Lab、ARC Lab 与华中科技大学 2024 年提出的开放词汇目标检测器，发表于 CVPR 2024。传统 YOLO 只能检测训练时定死的类别；YOLO-World 给 YOLO 接上文本编码器，用 RepVL-PAN 网络让图像特征和文字特征互相交互，再用区域-文本对比损失做大规模预训练，用户输入任意类别名就能检测。它采用「先提示后检测」：把用户词表预先编码并重参数化进网络，推理时不再跑文本编码器，所以速度接近普通 YOLO。论文报告在 LVIS 零样本上 35.4 AP、V100 上 52 FPS。机器人里常用它按语言指令实时找目标，再交给抓取或导航模块。

例子指令是「把红色马克杯拿过来」，程序把 red mug 设为 YOLO-World 的词表，从腕部相机画面实时框出马克杯，再交给抓取位姿检测模块。

相关

开放词汇检测、YOLO、Grounding DINO、OWL-ViT / OWLv2、目标检测、CLIP

来源

YOLO-World: Real-Time Open-Vocabulary Object Detection (arXiv)
AILab-CVC/YOLO-World (GitHub)

信息截至

2025-02