长短期记忆网络 / 门控循环单元

Long Short-Term Memory / Gated Recurrent UnitLSTM / GRU常用

带「门」的循环神经网络，能记住较长的历史信息，常用来处理时间序列。

LSTM 由 Hochreiter 和 Schmidhuber 于 1997 年提出，是循环神经网络（RNN，按时间一步步读入序列、把信息存在隐状态里的网络）的改进版。普通 RNN 训练时梯度会随时间步指数衰减，记不住很久以前的事；LSTM 用遗忘门、输入门、输出门控制哪些信息丢弃、写入、输出，缓解了这个问题。GRU 由 Cho 等人在 2014 年提出，只有更新门和重置门，没有输出门，参数更少、算得更快，效果常与 LSTM 相当。Transformer 普及后它们在语言任务里退居次要，但在机器人中仍常见：腿足运控策略常用它们从历史本体感知中推断地形和自身状态，模仿学习里也有带 RNN 的行为克隆基线。