推理部署

把训练好的模型放到真实机器或服务器上跑起来、实时给出动作

推理部署指把训练好的模型从训练环境搬到实际使用的硬件上运行，这里的「推理」指模型的前向计算，不是逻辑推理。在具身智能里，它意味着模型要接上相机、关节传感器等实时输入，按固定频率输出动作给控制器。难点在于延迟和算力：机器人本体上的主控（如 Jetson）算力有限，大模型往往需要量化、剪枝、用 TensorRT 等引擎加速，或者放在远端 GPU 服务器上、通过网络把动作发回机器人（策略服务器）。部署得好不好直接影响动作是否流畅、能否闭环纠错。

例子把微调好的 π0 放在一台带 GPU 的工作站上跑策略服务器，机器人每隔一段时间发送图像和关节状态、取回一段动作。

也叫

模型部署、部署

相关

推理延迟、端侧部署、策略服务器、TensorRT、训练后量化、推理（前向计算）

来源

NVIDIA TensorRT
openpi (Physical Intelligence) - remote inference