TensorRT Edge-LLM

英伟达面向车载和机器人芯片的大模型/多模态模型端侧推理框架

TensorRT Edge-LLM 是英伟达开源的 C++ 推理框架，专门在嵌入式平台（如 Jetson Thor、DRIVE AGX Thor）上跑大语言模型和视觉语言模型。数据中心用的 TensorRT-LLM 依赖 Python 环境、面向多卡高吞吐，而车和机器人上更看重单请求延迟、内存占用和无 Python 的轻量部署，Edge-LLM 就是为这类场景裁剪的。据报道它支持 FP8/NVFP4 等低精度量化和投机解码。对具身智能来说，它是把 VLA 或 VLM 大脑放到机器人本体上运行的一种部署选项。

例子把一个几十亿参数的 VLM 量化后，用 TensorRT Edge-LLM 部署到 Jetson Thor 上，让机器人本地完成场景理解和任务规划。

相关

TensorRT、TensorRT-LLM、Jetson Thor、端侧部署、端侧模型、训练后量化

来源

NVIDIA/TensorRT-Edge-LLM (GitHub)

信息截至

2026-01