具身智能新手名词表English

空操作 / 静止帧过滤

No-op (Idle) Action Filtering进阶

训练前删掉示教里机器人没动的时间步,避免模型学会「原地卡住」。

空操作(no-op)指示教轨迹里动作几乎为零、机器人状态不变的时间步,常见于遥操作开头的等待、操作员中途停顿,或录制程序在第一步填入的零动作。空操作过滤就是在训练前把这些时间步删掉。原因是模仿学习会照单全收:表达能力强的单步策略学到这些样本后,部署时可能在某个状态反复输出零动作,机器人就停在那里不动。OpenVLA(2024)论文记录了这个问题:原始 BridgeData V2 每条示教的第一步都是全零动作,不处理直接训练,策略会频繁输出零动作而卡住;在 LIBERO 上,他们删掉平移和旋转分量接近零、且不改变夹爪状态的动作,并称这一步对 OpenVLA 这类模型至关重要。判断时必须同时看夹爪,否则会误删手臂不动、只开合夹爪的有效动作。

例子OpenVLA 开源脚本的判定规则是:除夹爪外各维动作的范数小于 1e-4,且夹爪指令与上一步相同。处理后的 LIBERO 数据名带 no_noops 后缀,π0 的官方代码 openpi 做 LIBERO 微调时也直接用这份数据。

也叫
No-op Filtering、空动作过滤、静止帧剔除、no_noops
相关
数据清洗、OpenVLA、LIBERO、BridgeData V2 数据集、行为克隆、数据质检
来源
OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246)
OpenVLA regenerate_libero_dataset.py(GitHub)
openpi convert_libero_data_to_lerobot.py(GitHub)
信息截至
2024-06

在完整名词表里查看 →