Veo 世界模拟器

Veo World Simulator (Gemini Robotics policy evaluation)进阶

谷歌 DeepMind 用 Veo 视频模型「脑补」机器人执行过程来评测策略的系统

Google DeepMind Gemini Robotics 团队 2025 年 12 月发布的技术报告。真机评测慢、贵，还难以覆盖新物体、新背景等情况。他们在 Veo 2 视频生成模型上改造出一个世界模拟器：输入当前画面和一串未来机器人位姿，生成 ALOHA 2 双臂平台四个相机视角下接下来的画面，并用图像编辑和多视角补全把真实场景改出新物体、新背景、干扰物。据此可以在「生成的视频」里跑策略，预测不同策略的相对优劣、比较哪类泛化更难，还能做红队测试找出不安全行为。作者用 8 个 Gemini Robotics 策略版本、5 个任务、1600 多次真机实验验证了预测与真机结果的一致性。