Molmo

Molmo (Ai2 open VLM with pointing)进阶

Ai2 连权重带训练数据一起开源的视觉语言模型，能在图上用「指点」回答问题

艾伦人工智能研究所（Ai2）2024 年 9 月发布的开放视觉语言模型家族，有 MolmoE-1B、Molmo-7B-O、Molmo-7B-D 和 Molmo-72B 几档，视觉编码器用 CLIP，语言部分分别基于 OLMo、Qwen2 等。它有两个特点。一是连同训练数据集 PixMo 一起开放，且不靠蒸馏闭源模型得到数据，PixMo 的详细图像描述是让标注员口述后整理的。二是会「指点」：能直接输出图中物体的 2D 坐标点，用来计数、定位。指点对机器人很实用，可以告诉机器人抓哪里、放哪里，Ai2 后来的 MolmoAct 就是在 Molmo 上做出来的。2025 年 12 月发布的 Molmo 2 把能力扩展到视频理解、时空定位和目标跟踪。