训练Rainbow需要1425个GPU Day？谷歌说强化学习可以降低计算成本( 二 )

上图显示了在4个经典控制环境中，从Rainbow中移除各种组件时的训练进度。 x轴为训练step ， y轴为性能（越高越好）。
研究者还在MinAtar环境中重新运行了Rainbow实验， MinAtar环境由一组五个小型化的Atari游戏组成，实验结果与原Rainbow论文类似。 MinAtar游戏的训练速度大约是常规Atari2600游戏的10倍，其中后者的训练速度是在最初的Rainbow算法上评估的。此外，该研究的实验结果还有一些有趣的方面，例如游戏动态和给智能体添加基于像素的输入。因此，该研究提供了一个具有挑战性的中级环境，介于经典控制和完整的Atari2600游戏之间。
综合来看，研究者发现现在的结果与原始Rainbow论文的结果一致——每个算法组件产生的影响可能因环境而异。研究者建议使用单一智能体来平衡不同算法组件之间的权衡，该研究的Rainbow版本可能与原始版本高度一致，这是因为将所有组件组合在一起会产生整体性能更好的智能体。然而，在不同算法组件之间，有一些重要的细节变化值得进行更彻底的探究。
「优化器-损失函数」不同组合实验
DQN被提出时，同时采用了Huber损失和RMSProp优化器。对于研究者而言，在构建DQN时使用相同的选择是一种常见的做法，因为研究者将大部分时间用在了其他算法设计上。
而该研究重新讨论了DQN在低成本、小规模经典控制和MinAtar环境中使用的损失函数和优化器。研究者使用Adam优化器进行了一些初始实验，目前Adam优化器是最流行的优化器，并在实验中结合使用了一个更简单的损失函数，即均方误差损失(MSE）。由于在开发新算法时，优化器和损失函数的选择往往被忽略，而该研究发现在所有的经典控制和MinAtar环境中，这二者的改变都能让实验结果有显著的改进。
因此，研究者将两个优化器（RMSProp、Adam优化器）与两个损失函数（Huber、MSE损失）进行了不同的组合，并在整个ALE平台（包含60款Atari2600游戏）上进行了评估。结果发现Adam+MSE组合优于RMSProp+Huber组合。

在默认DQN设置下（RMSProp+Huber），评估Adam+MSE组合带来的改进（越高越好）。
此外，在比较各种「优化器-损失函数」组合的过程中，研究者发现当使用RMSProp时， Huber损失往往比MSE表现得更好（实线和橙色虚线之间的间隙可以说明这一点）。

对60款Atari2600游戏的标准化得分进行汇总，比较不同的「优化器-损失函数」组合。
在有限的计算预算下，该研究研究者能够在高层次上复现论文《Rainbow:CombiningImprovementsinDeepReinforcementLearning》的研究，并且发现新的、有趣的现象。显然，重新审视某事物比首次发现更容易。然而，研究者开展这项工作的目的是为了论证中小型环境实证研究的相关性和重要性。研究者相信，这些计算强度较低的环境能够很好地对新算法的性能、行为和复杂性进行更关键和彻底的分析。该研究希望AI研究人员能够把小规模环境作为一种有价值的工具，评审人员也要避免忽视那些专注于小规模环境的实验工作。
【训练Rainbow需要1425个GPU Day？谷歌说强化学习可以降低计算成本】参考链接：https://ai.googleblog.com/2021/07/reducing-computational-cost-of-deep.html