无监督技能发现

不给任务奖励，让智能体自己练出一组彼此可区分的技能，留给后续任务调用。

无监督技能发现指在没有外部奖励时，让智能体自发学出多种不同行为。最有名的 DIAYN（Diversity is All You Need）由 Eysenbach、Levine 等人 2018 年提出：给策略输入一个技能编号，同时训练判别器从到达的状态猜是哪个技能，猜得越准内在奖励越高，再加最大熵项鼓励动作随机，本质是最大化技能与状态的互信息。模拟机器人因此自发学会了走、跳等动作。技能可作预训练初始化，或交给上层策略组合来解稀疏奖励任务。METRA（ICLR 2024）改在保留时间距离的隐空间里学技能，缓解了互信息方法探索不足的问题。

例子Sharma 等人 2020 年把技能发现算法 DADS 改成离策略版本，在真实四足机器人上不给奖励和演示，学出了不同步态和朝向的行走技能，再用模型预测控制把它们串起来完成导航。

也叫

DIAYN、无奖励技能学习、Unsupervised Skill Learning

相关

内在奖励、分层强化学习、探索与利用、行为基础模型、BFM-Zero、熵正则化

来源

Eysenbach et al. 2018: Diversity is All You Need: Learning Skills without a Reward Function
Sharma et al. 2020: Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Park, Rybkin, Levine 2023: METRA: Scalable Unsupervised RL with Metric-Aware Abstraction (ICLR 2024)