Gato

Gato: A Generalist Agent (DeepMind)进阶

DeepMind 2022 年的通才智能体：同一套权重能打游戏、看图说话、聊天和控制机械臂。

Gato 是 DeepMind 在 2022 年 5 月发布的通才智能体，论文题为《A Generalist Agent》。当时的主流做法是一个任务训一个模型，Gato 则尝试用一个约 12 亿参数的 Transformer、同一套权重覆盖 604 个任务：玩 Atari 游戏、给图片写说明、对话、在仿真里控制多种机器人，以及用真实机械臂堆积木。关键做法是把所有模态都转成 token（词元）：文字用分词器切分，图片切成小块，关节角、按键等离散或连续数值也编码成 token，统统拼成一条序列，像语言模型一样逐个预测，训练时只对文字和动作算损失。推理时模型每次自回归地采样动作 token，上下文窗口为 1024 个 token。它是「一个大模型控制多种本体」思路的早期代表，DeepMind 后来的 RoboCat 就沿用了 Gato 的架构。