多层感知机

由多层全连接层加非线性激活堆起来的最基础的神经网络。

多层感知机是最基础的前馈神经网络：输入层、若干隐藏层、输出层，相邻两层的神经元全部相连，每层先做一次线性变换，再过一个非线性激活函数（如 ReLU）。它源自 1958 年 Rosenblatt 的感知机，1986 年反向传播算法推广后，多层结构才能有效训练。单层感知机只能区分线性可分的数据，加了隐藏层和非线性后就能拟合复杂函数。MLP 在今天的模型里到处都是：Transformer 每层里的前馈网络就是一个两层 MLP；LLaVA-1.5 等视觉语言模型用 MLP 把视觉特征投影到语言模型的输入空间；机器人里，输入维度不高的强化学习运控策略、动作头、状态编码器也常直接用 MLP。

例子legged_gym 腿足强化学习框架默认的策略网络就是一个 MLP，三层隐藏层宽度为 512、256、128，激活函数用 ELU，输入本体感知和速度指令，输出各关节的目标位置。

也叫

全连接网络、前馈神经网络、Feedforward Neural Network

相关

神经网络、激活函数、Transformer、投影层、动作头、反向传播

来源

Wikipedia: Multilayer perceptron
legged_gym: legged_robot_config.py
Improved Baselines with Visual Instruction Tuning (LLaVA-1.5, arXiv:2310.03744)