动作平滑

对策略输出的动作滤波或加惩罚，去掉高频抖动，让关节运动连贯。

动作平滑是部署学习型策略时的常见处理。神经网络每一步独立输出动作，相邻两步可能跳变，电机来回抖、费电、发热。常见做法有三类：一是下发前过低通滤波器（只放行低频变化），最简单的是指数移动平均 y_t = α·x_t + (1−α)·y_{t−1}，x 是策略新输出的动作，y 是实际下发的动作，α 越小越平滑；二是训练时加惩罚，如 legged_gym 默认奖励中的 action_rate 项惩罚相邻两步动作之差，CAPS 方法（ICRA 2021）加时间与空间平滑正则，作者报告在四旋翼上功耗降低近 80%；三是一次预测一段动作（动作分块），再做时序集成或插值。代价是滤波会引入延迟（相位滞后），机器人对扰动反应变慢，α 要在平滑和响应之间权衡。

例子四足机器人的强化学习策略以 50Hz 输出目标关节角，上真机后腿部高频抖动；加一阶低通滤波后抖动明显减小，但被推时的反应也慢了一点，需要重新调 α。

也叫

低通滤波、动作滤波、动作平滑正则

相关

动作分块、时序集成、控制频率、加加速度、实时动作分块、PD 控制

来源

Regularizing Action Policies for Smooth Control with Reinforcement Learning (CAPS, arXiv 2012.06644)
Wikipedia: Low-pass filter
legged_gym legged_robot_config.py（action_rate 奖励项）