rew数据科学家直指DeepMind：“强化学习无法实现通用人工智能”( 二 )

之所以 Chomsky 批评 Skinner 的方法，是因为该方法假设任何表现出来的行为都必须有一些奖励。如果有人看着一幅画说 "荷兰语"，Skinner 的分析假设是，这幅画的某些特征一定会因为“荷兰语”的表达而受到奖励。但是，Chomsky 认为，这个人可以说任何其他的东西，包括 "弯曲的"、"可怕的"或 "让我们吃点午餐"。Skinner 无法指出导致这些言论的具体特征，也不能提供任何证据来证明该言论在该特征存在的情况下曾被奖励过。
引用一位 18 世纪法国作家 Voltaire 的话说，他的博士 Pangloss 在 Candide 中曾这样说："请注意，鼻子的形成是为了承受眼镜，因此我们有了眼镜。" 一定有一个问题可以通过任何特征来解决，在这种情况下，他声称鼻子的形成只是为了让眼镜可以被托起。Pangloss 还表示："可以证明......事物不可能不是本来的样子；因为一切都是为了一个目的而创造的，一切都必然是为了最好的目的。"
智能的诱发存在多种影响因素Silver 等人在论文中写道：“当与智能相关的能力作为奖励最大化的单一目标的解决方案出现时，这实际上可能提供了一个更深入的理解，因为它解释了为什么这种能力会出现。相反，当每一种能力被理解为其自身专门目标的解决方案时，为了关注该能力的作用，为什么的问题就被绕开了。”
而 Roitblat 的观点是：对 Silver 等人来说，这个目的就是一个解决问题的方法，而智能的学习正是为了这个目的，但我们不一定知道这个目的是什么，也不知道是什么环境特征诱发了它，但一定有什么东西。
Gould 和 Lewontin (1979) 很好地利用 Pangloss 博士批评他们所谓的进化生物学中的 “适应主义者（ adaptationist ）” 或“过分乐观者（ Panglossian ）”范式。适应主义的核心原则是，任何特征都必须有一个适应性的解释。
他们指出，威尼斯圣马可大教堂的高装饰拱门（两个拱门相交处近似三角形形状）是一个建筑特征，源于选择设计四个拱门的大教堂，而不是建筑设计的驱动力。拱门的选择决定了壁炉的位置，而不是壁炉的位置决定拱门。一旦建筑师选择了拱门，拱肩是必要的，而且可以进行装饰。Gould 和 Lewontin 说：“每个扇形拱顶都必须有一系列沿拱顶中线的开放空间，即扇形两侧在支柱之间相交的地方。由于这些空间必须存在，所以它们经常被用来达到巧妙的装饰效果。”

图 | 威尼斯圣马可大教堂的拱肩 (来源: Michael Vadon under Creative Commons license)
Gould 和 Lewontin 给出了另一个例子，对阿兹台克人祭祀同类相食的适应性解释。阿兹特克人从事活人祭祀。从适应主义的角度解释是，祭祀制度是解决肉类长期短缺问题的方法。受害者的四肢经常被社区中的某些地位高的成员吃掉。这种 “解释” 认为，构成这一精心设计的仪式性谋杀的神话、象征和传统系统是对肉的需求的结果，而事实可能恰恰相反。每一位新国王都必须超越他的上一任，为更多的人献上越来越精致的祭品。这种做法似乎使阿兹特克帝国的经济资源日益紧张。其他蛋白质来源很容易获得，只有某些已经拥有足够食物的特权人士才会吃牺牲的受害者的某些部分。如果目标是让饥饿的人吃到肉，那么人们会期望他们能够更有效地利用受害者，并更广泛地传播食物来源。对肉的需求不太可能成为人类牺牲的原因；相反，它似乎是其他文化习俗的结果，这些习俗实际上对阿兹特克文明的生存不适应。
引用 Silver 等人迄今为止的论点，如果目标是成为富人，那么只要积累大量的金钱就足够了。用积累金钱就可以用成为富人的目标来解释，成为富人的定义是积累了大量的金钱。强化学习没有解释一个人如何去积累金钱或为什么这应该是一个目标。他们认为，这些都是由环境决定的。