OpenVINO

英特尔开源的推理优化与部署工具包，让模型在英特尔 CPU、核显、NPU 上跑得更快。

OpenVINO（Open Visual Inference and Neural network Optimization）是英特尔开源的深度学习推理工具包。它把 PyTorch、ONNX、TensorFlow 等格式的模型转换成自己的中间表示，再针对英特尔 CPU、集成显卡和 NPU（神经网络处理器）做算子融合、低精度量化（如 INT8）等优化后执行。它的定位与英伟达的 TensorRT 类似，区别是面向英特尔硬件。很多机器人用的是没有独立显卡的工控机或迷你主机，这时用 OpenVINO 部署视觉检测、分割等模型，能在不加 GPU 的情况下提高帧率、降低延迟。

例子把 YOLO 检测模型导出为 OpenVINO 格式，在机器人上的英特尔酷睿迷你主机 CPU 上实时检测桌面物体。

也叫

OpenVINO Toolkit

相关

推理部署(Inference Deployment)、端侧部署(On-Device / Edge Deployment)、TensorRT、ONNX、训练后量化(Post-Training Quantization)、工控机(Industrial PC)

来源

OpenVINO 官方文档
openvinotoolkit/openvino (GitHub)