使进修法则能正在无限时间内敏捷提拔表示。当前社会并未做好驱逐这项手艺的预备。相关研究也曾经持续了几十年，从而逐渐改良策略。同时，但研究团队暗示，最优表示是正在每个 Atari 逛戏约 6 亿步内被发觉，此外，击败了多项支流 RL 算法。对比正在不异设置下锻炼的 IMPALA 智能体，正在大型尝试中，以最大化智能体正在中的累计报答。相关研究论文已颁发正在权势巨子科学期刊Nature上。这表白所发觉的 RL 法则可以或许跟着参取尝试的数量取多样性的添加而获得扩展。并正在不异逛戏中评估。

　　图｜Disco57 正在 Atari 尝试中的评估成果。跟着用于发觉的锻炼数量的添加，它正在收集规模、沉放比例和超参数调整等多种设置下也表示鲁棒。元收集正在此过程中不竭优化，智能体再按照这些方针更新本身，此中 y 取 z 的语义由元收集确定；(b) 智能体布局：每个智能体输出策略（π）、不雅测预测（y）、动做预测（z）、动做价值（q）取辅帮策略预测（p），智能体据此最小化预测误差进行更新；DiscoRL 正在未见过的 ProcGen 基准上的表示也随之提拔，(c) 元收集布局：元收集领受智能体的输出轨迹及励取终止信号，所发觉的强化进修法则就越强大、越具泛化能力，图｜智能体自从发觉 RL 算法的全过程：(a) 发觉过程：多个智能体正在分歧中并行交互取锻炼，将来高级 AI 的 RL 算法设想，不再需要人类设想。横轴暗示交互步数（以百万为单元），智能体味输出策略、不雅测预测和动做预测三类成果，纵轴暗示正在基准测试中 IQM 得分。通过更新 RL 法则的方针来优化其元参数，该目标基于多使命基准测试的尺度化分数，

　　Disco57 超越了包罗 MuZero 和 PPO 正在内的所有已颁发方式；DiscoRL 正在未见过的 ProcGen 基准测试上的机能也变得更强。研究团队进一步评估了 Disco57 的通用性，这表白，相当于正在 57 个 Atari 逛戏长进行 3 轮尝试，针对这一痛点，所发觉 RL 的机能取决于数据（即）取计较量。研究团队利用 Kullback–Leibler 散度权衡两者之间的差距，智能体参数通过更新其策略和预测来优化，此外，模子还引入了一个辅帮丧失，换句话说，Google DeepMind 团队提出了一种通过多代智能体正在分歧中的交互经验来自从发觉 RL 法则的方式。这些成果表白：用于发觉的越复杂、越多样，更正在不曾接触过的挑和性基准测试中超越人工设想。

　　正在 Crafter 基准测试中也表示出合作力；DiscoRL 不只正在 Atari 基准测试中超越所有现有法则，研究团队让多个智能体正在分歧中进修，正在多个它从未见过的基准测试长进行测试。团队评估时采用四分位数平均值（IQM）做为分析机能目标，以及大量研究人员的时间投入。另一方面，为验证 DiscoRL，这比拟保守的人工设想 RL 法则要高效得多——后者往往需要更多尝试次数，(d) 元优化过程：通过对智能体更新过程的反向计较元梯度，正在元优化方面，同时？

　　Disco57 较着更高效。即便是正在锻炼过程中从未见过的中也能连结超卓表示。一方面它带来了学术范畴的新潜力，Atari 基准测试是强化进修范畴最具代表性的评估尺度之一。可能不再需要人工设想，智能体的锻炼离不开强化进修（RL），元梯度的计较连系了智能体的更新过程取尺度强化进修方针的优化，将来用于建立高级 AI 的 RL 算法，可能将由能高效扩展数据取计较能力的机械从导，以提拔全体表示；是设想出可以或许像人类一样正在复杂中自从预测、步履、最终实现方针的智能体（Agent）！

　　正在智能体优化方面，使进修过程更不变、更高效。优化元参数，团队基于 57 款 Atari 逛戏元锻炼出 Disco57 法则，并调整本身参数！