AnyTouch

AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors进阶

人大胡迪团队等提出的跨多种视触觉传感器的统一触觉表征模型，兼顾静态和动态。

AnyTouch 是中国人民大学胡迪团队联合北京邮电大学方斌等人提出的视触觉表征学习框架，发表于 ICLR 2025。视触觉传感器用相机拍弹性胶层的形变，但不同型号成像差别大，数据和模型难以通用。作者先采集 TacQuad 数据集：用 GelSight Mini、DIGIT、自制的 DuraGel 和 Tac3D 四种传感器触碰同一物体的同一位置，得到 72,606 帧对齐的接触数据，并配有视觉图像和触觉属性的文字描述。模型同时接收触觉图像和触觉视频，用掩码建模学像素级细节，再通过与视觉、语言对齐以及跨传感器匹配，学出与传感器无关的语义特征。团队 2026 年 2 月又发布 AnyTouch 2，重点转向带力信息的动态触觉感知。