语言纠正（实时语言反馈）

机器人干活时，人用一句话实时指出问题，机器人马上改动作

语言纠正指人在机器人执行任务时，用自然语言实时插话调整它的行为，比如「往左一点」「先别拿杯子」。和重新遥操作示教相比，说一句话成本低得多，非专家也能用。谷歌 2022 年的 Interactive Language 训练出能执行约 8.7 万条不同语言指令的实时策略，人可以边看边说，引导机械臂用积木摆出笑脸。Shi 等人 2024 年的 YAY Robot 采用分层结构：高层策略输出语言指令，低层策略执行；人的口头纠正既能当场改变行为，又被收集起来继续训练高层策略，无需额外遥操作数据。

例子机器人往袋子里装东西时总是对不准袋口，人说「往左一点」，机器人当场调整；这条纠正被记录下来，下次高层策略会自己发出类似指令。

也叫

语言反馈、口头纠正、Verbal Corrections、Real-time Language Feedback

相关

语言条件策略、人在回路、分层架构、Hi Robot、RT-H、失败恢复

来源

Interactive Language: Talking to Robots in Real Time
Yell At Your Robot: Improving On-the-Fly from Language Corrections

信息截至

2024-03