token（词元）

Token入门必知

模型处理数据的基本单位，文字、图像小块、动作都能切成 token。

Token 是 Transformer 类模型读入和输出的基本单位。文本先由分词器（tokenizer）切成词或子词片段，每个片段在词表里有一个编号，再转成向量（嵌入）送进模型；大语言模型的训练目标就是预测下一个 token。英文里一个 token 常是一个词或词的一部分，一个汉字可能对应一个 token，也可能被拆开或与相邻字合并，取决于分词器。这个概念后来推广到其他模态：ViT 把图片切成 16×16 像素的小块，每块算一个视觉 token；RT-2 和 OpenVLA 把每个动作维度离散成 256 档，每档对应一个 token，让语言模型像写字一样输出动作。上下文长度按 token 数计算，推理耗时也随 token 数增加。