推理（前向计算）

Inference入门必知

用训练好的模型对新输入算出输出，只做前向计算、不更新参数。

Inference 指使用训练好的模型：输入新数据，跑一遍前向计算得到输出，不算梯度、不更新参数，与「训练」相对。中文「推理」同时对应 Inference 和 Reasoning（模型分步思考），读论文要看上下文区分。对机器人来说，推理速度决定控制跟不跟得上：π0 论文报告，在一块 RTX 4090 上处理 3 路相机图像、生成一段动作约需 73 毫秒。推理太慢，机器人会在两段动作之间停顿，所以才有动作分块、异步推理、量化和 TensorRT 加速等手段。推理可以在机器人本体上跑，也可以放在远程服务器上再经网络回传，后者要多算网络延迟。