实例分割

把图中每个物体逐像素抠出来，同类的几个物体也要分开。

实例分割要同时回答「这是什么」和「这是哪一个」：给图中每个可数物体（论文里叫 things）生成一张独立的像素级掩码并标上类别。它和语义分割的区别在于：语义分割只给每个像素贴类别，桌上三个杯子会连成一片「杯子」区域；实例分割会拆成杯子 1、2、3。代表方法是何恺明等人 2017 年的 Mask R-CNN，在目标检测框的基础上并行加一个预测掩码的分支；2018 年提出的全景分割又把天空、地面这类不可数背景（stuff）一起纳入。机器人抓取常先用实例分割抠出目标物体，再裁出对应点云计算抓取位姿。

例子桌上并排放着两个同款苹果，语义分割只给出一片「苹果」区域，实例分割输出两张独立掩码，机器人才能按指令只抓左边那一个。

也叫

实例级分割

相关

语义分割、全景分割、掩码、目标检测、Mask R-CNN、分割一切模型

来源

Mask R-CNN (arXiv:1703.06870)
Panoptic Segmentation (arXiv:1801.00868)