星际争霸II协作对抗基准超越SOTA，架构解决问题多智能体强化学习问题

方程 1（多人工智能微优势裂解）：令 i_1:n 为人工智能微的排列。如下数学公式始终设立，无需进一步假设。

重要的是，方程 1 提供者了一种主要用途指导如何选择渐进式简化行动的废话。

现阶段 MARL 工具

深入研究总结了目前为止两种 SOTA MARL 抓取算法，它们都构造在近端意上图建模（Proximal Policy Optimization, PPO）顶上。PPO 是一种以简洁性和精度稳定性闻名的 RL 工具。

多人工智能微近端意上图建模（MAPPO）是首个将 PPO 应主要用途 MARL 中会的最实际上工具。

甲基人工智能微近端意上图建模（HAPPO）是目前为止的 SOTA 抓取算法之一，它可以充分并用方程 (1) 以实现带有呆板提升尽可能的多人工智能微厌恶域自学。

Transformer 框架

基于方程 (1) 中会描述的基因组属性以及 HAPPO 才是的原理，那时候可以直观地选择用 Transformer 框架来实现多人工智能微厌恶域自学。通过将一个人工智能微团队视作一个基因组，Transformer Core允许数学框架带有可变使用量和特性的人工智能微团队，同时可以防止 MAPPO/HAPPO 的缺点。

多人工智能微 Transformer

为了实现 MARL 的基因组数学框架范式，深入研究提供者的克服办法是多人工智能微 Transformer（MAT）。应用 Transformer Core的思路叫做这样一个实情，即人工智能微推论基因组 （oAndi_1，...，oAndi_n） 重定向与单手基因组（aAnd i_1 , . . . , aAndi_n）输造出彼此间的映射是类似于机器翻译的基因组数学框架使命。正如方程 (1) 所回避的，单手 aAndi_m 比如说先前所有人工智能微的决断 a Andi_1:m−1。

因此，如下上图（2）简述，MAT 中会涵盖了一个主要用途自学建立联系推论对此的编码器和一个以自转回方法为每个人工智能微输造出单手的音频器。

编码器的常量用φ 对此，它以任意顺序获取推论基因组（oAndi_1 , . . . , oAndi_n），并将它们引导通过几个测算块。每个块都由一个自视线的系统、一个多层感知机（MLP）和残差连接组成，以防止随深度增加造出现梯度消失和在线退化。

音频器的常量用θ对此，它将嵌入的建立联系单手 aAndi_0:m−1 , m = {1, . . . n}（其中会 aAndi_0 是示意音频开始的任意符号）引导到音频块基因组。至关重要的是，每个音频块都有一个掩码的自视线的系统。为了军事训练音频器，深入研究将如下裁剪 PPO 能够最小化。

MAT 中会的详细数据库流如下动上图简述。

实验结果

为了评估 MAT 是否符合期望，深入研究在星际争霸 II 多人工智能微挑战（SMAC）计量（MAPPO 在顶上带有优越精度）和多人工智能微 MuJoCo 计量上（HAPPO 在顶上带有 SOTA 精度）对 MAT 来进行了试验。

此外，深入研究还在 Bimanual Dxterous Hand Manipulation (Bi-DexHands)和 Google Research Football 计量上了对 MAT 来进行了扩展试验。前者提供者了一系列带有娱乐性的双手操作使命，后者提供者了一系列足球该游戏中会的合作场景。

最后，由于 Transformer 框架一般而言在小抽样使命上体现造出强盛的描述性精度，因此深入研究看来 MAT 在未见到的 MARL 使命上也能带有类似强盛的描述性能力。因此，他们在 SMAC 和多人工智能微 MuJoCo 使命上建筑设计了零抽样和小抽样实验。

共享 MARL 计量上的精度

如下同上 1 和上图 4 简述，对于 SMAC、多人工智能微 MuJoCo 和 Bi-DexHands 计量来说，MAT 在近乎所有使命上都显著强于 MAPPO 和 HAPPO，同上明它在同构和甲基人工智能微使命上强盛的构造能力。此外，MAT 还获得了强于 MAT-Dec 的精度，同上明了 MAT 建筑设计中会音频器Core的更进一步。

同样地，深入研究在 Google Research Football 计量上也获得了类似的精度结果，如下上图 5 简述。

MAT 主要用途小抽样自学

同上 2 和同上 3 中会总结了每种抓取算法的零抽样和小抽样结果，其中会粗微数字对此最佳精度。

深入研究还提供者了数据库相同情况下 MAT 的精度，其与对照组一样重来军事训练。如下同上简述，MAT 给予了大多数最一鸣惊人，这证明了 MAT 小抽样自学的强盛描述性精度。