WMPO（基于世界模型的策略优化）

WMPO: World Model-based Policy Optimization for Vision-Language-Action ModelsWMPO进阶

让 VLA 在视频世界模型「想象」的轨迹里做强化学习，不用碰真机

香港科技大学与字节跳动 Seed 的研究者 2025 年 11 月提出。VLA 只靠专家演示学习，学不会从失败中纠正；直接在真机上做强化学习又太费样本。WMPO 先训练一个预测像素画面的视频世界模型，让 VLA 在模型「想象」出的轨迹里反复试做，再用同策略的 GRPO（组相对策略优化：同一任务采多条轨迹互相比较打分）更新策略，全程不与真实环境交互。选像素而不是隐空间，是为了让想象画面和 VLA 在网络图像上预训练的视觉特征对得上。实验以 OpenVLA-OFT 为基础策略，在 MimicGen 仿真任务和 Mobile ALOHA 真机上都优于 GRPO、DPO 基线，并出现自我纠错行为。