空中视觉语言导航（无人机 VLN）

让无人机听懂自然语言指令，在城市等三维户外空间里飞到目标位置。

视觉语言导航（VLN）原本研究地面机器人在室内按语言指令行走，空中 VLN 把它搬到无人机上：智能体看第一人称画面，按一段描述地标和路线的指令在户外飞行。与地面相比，它多了高度这一维，路径动辄数百米，指令要提到更多地标，定位和长程记忆都更难。代表基准是 ICCV 2023 的 AerialVLN：基于虚幻引擎 4 和微软 AirSim 搭了 25 个城市级场景，收集 8446 条飞行路径、25338 条指令，平均路径长 661.8 米，动作包括前进、左右转、上升、下降、左右平移和停止。

例子在 AerialVLN 测试集上，按平均 83 个英文单词的指令飞行，CMA 基线的成功率只有 1.6%，人类为 80.8%，差距很大。

也叫

无人机视觉语言导航、UAV VLN

相关

视觉语言导航、无人机（空中机器人）、R2R / VLN-CE 视觉语言导航基准、导航、长程任务、空中操作

来源

AerialVLN: Vision-and-Language Navigation for UAVs (arXiv 2308.06735, ICCV 2023)