SERL

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning进阶

伯克利等开源的真机强化学习工具套件，几十分钟就能在真实机械臂上练出策略

加州大学伯克利分校、斯坦福、华盛顿大学和 Intrinsic 的研究者（Jianlan Luo、Sergey Levine 等）2024 年 1 月发布，发表于 ICRA 2024。强化学习难以在真机上落地，除了算法本身，还卡在奖励怎么给、每回合结束后怎么复位、底层控制器是否安全这些工程问题上。SERL 把这些打包成开源工具：用样本效率高的异策略算法 RLPD，可以同时利用少量人类演示；用图像分类器判断任务是否成功，充当奖励；用「前向、后向」两个策略轮流执行来自动复位，省去人工重置；并为 Franka 机械臂提供阻抗控制器，让接触过程安全柔顺。论文中 PCB 元件插装、线缆布线、物体搬移等任务平均 25 到 50 分钟训练就达到接近 100% 的成功率。后续工作 HIL-SERL 在此基础上加入人类在线纠正。