Parquet 格式

Apache Parquet进阶

按列存储的开源数据文件格式，LeRobot 数据集用它存状态、动作等数值数据。

Apache Parquet 是一种开源的列式数据文件格式，2013 年由 Twitter 和 Cloudera 联合推出，2015 年成为 Apache 顶级项目。「列式」指同一列的数据连续存放，而不是一行一行存；同类数据放在一起压缩率高，读取时也能只取需要的列。Spark、pandas、DuckDB 等工具都能直接读写。在具身智能里，Hugging Face 的 LeRobot 数据集格式用 Parquet 存关节状态、动作、时间戳这类低维高频数据，相机画面则单独编码成 MP4 视频，再用 JSON/Parquet 元数据记录每个回合在文件里的起止位置。v3 版把多个回合拼进同一批 Parquet 文件，并支持直接从 Hub 流式读取。

例子用 pandas.read_parquet 打开 LeRobot 数据集 data/ 目录下的文件，就能看到每一帧的 observation.state、action、timestamp 等列。

也叫: Parquet
相关: LeRobot 数据集格式、HDF5 格式、RLDS 格式、Zarr 格式、LeRobot、MCAP 格式
来源: Apache Parquet 官方文档 Overview
LeRobotDataset v3.0 文档（Hugging Face）
Apache Parquet - Wikipedia
信息截至: 2026-09