ONNX Runtime

微软开源的跨平台推理引擎，用来运行 ONNX 格式的模型

ONNX Runtime 是微软开源的模型推理引擎，负责执行 ONNX（一种通用的神经网络交换格式）文件。模型在 PyTorch 等框架里训好后导出成 ONNX，就能用 ONNX Runtime 在 Windows、Linux、手机和嵌入式设备上运行，不用装训练框架。它通过「执行提供器」接入不同硬件后端，如 CPU、CUDA、TensorRT、OpenVINO、CoreML，同一个模型换个参数就能用上对应硬件加速。在机器人领域，强化学习训出的运控策略常以 ONNX 形式部署，由 ONNX Runtime 在机载电脑上实时推理。

例子把 Isaac Lab 里训练好的四足行走策略导出为 policy.onnx，在机器狗的机载 CPU 上用 ONNX Runtime 以 50 Hz 推理。

也叫

onnxruntime

相关

ONNX、TensorRT、OpenVINO、推理部署、端侧部署、强化学习运控

来源

ONNX Runtime 官网
microsoft/onnxruntime (GitHub)