rew数据科学家直指DeepMind：“强化学习无法实现通用人工智能”( 四 )

当 Rumelhart 和 McClelland 建立他们的过去式学习者时，同样未被承认的幸运选择发生了。他们选择的表征恰好反映了他们希望他们的神经网络能够学习的信息。这不是单纯依靠一般学习机制的 “白板”。Silver 等人在题为 “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play” 的论文中指出，在开发 AlphaZero 时也很 "幸运"，他们在本文中提到了这一点。他们在提出这一主张的同时，对 AlphaZero 进行了更详细的说明。
他们的结果表明，一个通用的强化学习算法可以在没有特定领域的人类知识或数据的情况下学习“白板”，同一算法在多个领域的成功学习证明了这一点，在多个具有挑战性的游戏中表现出了超人的表现。
他们还指出，AlphaZero 用深度神经网络、通用强化学习算法和通用树形搜索算法取代了传统游戏程序中使用的手工知识和特定领域的增强功能。
他们不包括明确的针对游戏的计算指令，但确实包括了人类对解决问题的重大贡献。例如，他们的模型包括一个 "神经网络 fθ(s)，[它]将棋盘位置 s 作为输入，并输出一个移动概率矢量"。换句话说，他们并不期望计算机知道它在玩游戏，或者游戏是通过轮流进行的，或者它不能只是把围棋棋子堆成一堆或把棋盘扔在地上。他们还提供了许多其他的约束条件，例如，让机器与自己对弈。他们使用的树状表示法曾经是代表游戏玩法的巨大创新。树的分支对应于可能的移动范围，没有其他操作是可能的。计算机还被提供了一种使用蒙特卡洛树形搜索算法搜索树的方法，并且提供了游戏的规则。
那么，AlphaZero 远不是一个“白纸黑字”，它被赋予了大量的先验知识，这大大限制了它可以学习的可能范围。因此，即使在学习围棋的背景下，也不清楚 "奖励是足够的"意味着什么。要使奖励足够，它就必须在没有这些限制的情况下发挥作用。此外，目前还不清楚，即使是一个一般的游戏系统，是否也能算作在不太受约束的环境中进行一般学习的一个例子。AlphaZero 对计算智能作出了重大贡献，但它的贡献主要设计它的人类智能，识别其运行的约束，并将玩游戏的问题减少到定向树搜索。此外，它的约束条件甚至不适用于所有游戏，而只适用于有限类型的游戏。它只能玩某些类型的棋盘游戏，这些棋盘游戏的特征是树搜索，学习者可以将棋盘位置作为输入并输出一个概率向量。没有证据表明它甚至可以学习另一种棋盘游戏，比如大富翁，甚至 Parchisi。
在没有约束的情况下，奖励并不能解释任何东西。AlphaZero 不是所有种类学习的模型，当然也不是通用智能的模型。
Silver 等人将一般智能视为一个定量问题。"通用智能，即人类和其他动物所拥有的那种智能，可以被定义为在不同背景下灵活地实现各种目标的能力。"
需要多大的灵活性？多大范围的目标？如果我们有一台电脑，可以交替地下围棋、跳棋和国际象棋，这仍然不构成通用智能。即使我们增加了另一种游戏，即象棋，我们仍然拥有完全相同的计算机，它仍然可以通过找到一个模型来工作，该模型“以棋盘位置 s 作为输入并输出移动概率向量”。计算机完全没有能力接受任何其他的 "想法" 或解决任何无法以这种特定方式表示的任何问题。
通用人工智能中的 "通用" 不是以它可以解决不同问题的数量为特征，而是以解决多种类型问题的能力为特征。一个通用智能代理必须能够自主地制定自己的表述，它必须创造自己的方法来解决问题，选择自己的目标、表征、方法等等。到目前为止，这都是人类设计师的职权范围，他们将问题简化为计算机可以通过调整模型参数解决的形式。除非我们能够消除对人类构建问题的依赖，否则我们无法实现通用智能。强化学习，作为一个选择性的过程，无法做到这一点。