开放词汇
Open-vocabulary常用模型能认出或处理训练标注类别之外、用任意文字描述的物体和概念。
传统检测、分割模型只认训练时固定的一组类别(比如 COCO 的 80 类),叫封闭词汇。开放词汇指模型能接受任意文字作为类别,包括标注里从没出现过的词。2020 年 Zareian 等人提出开放词汇目标检测 OVR-CNN:先用大量图文对学一个视觉-语义共享空间,再用少量框标注训练检测器。之后 CLIP 这类图文对比模型让这条路线普及,出现了 OWL-ViT、Grounding DINO、YOLO-World 等。在具身智能里,开放词汇让机器人能听懂事先没定义过的物体名,常用于开放词汇抓取、导航和移动操作。
例子OK-Robot 在真实家庭里接收「把毛绒兔子放进篮子」这类任意物体名的指令,先用开放词汇模型找到物体,再抓取放置。
- 也叫
- 开集词汇、开放词表
- 相关
- 开放词汇检测、开放词汇分割、零样本、CLIP、OK-Robot、开放世界
- 来源
- Open-Vocabulary Object Detection Using Captions
OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics