NaVid

NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation进阶

北大与智源等 2024 年提出的视频大模型导航方法，只看单目视频决定下一步。

NaVid 由北京大学王鹤团队联合智源研究院、阿德莱德大学、银河通用等于 2024 年 2 月提出，发表于 RSS 2024，做的是视觉语言导航（按一句话指令走到目的地）。以往方法多依赖地图、里程计或深度图，NaVid 只用单目 RGB 视频：当前帧压成 64 个 token、每个历史帧压成 4 个，送进基于 Vicuna-7B 的视频大模型，直接用文字输出下一步，如前进多少厘米、转多少度或停止。它在 R2R-CE 上只用 RGB 达到 37.4% 成功率，并能迁移到真机。后续的 Uni-NaVid（RSS 2025）把指令导航、找物体、具身问答、跟人四类任务合进一个模型，用 360 万条样本训练。