d谁是「反向传播之父」？真正提出者或许是这个刚获 IEEE 认证的大佬

机器之心报道
编辑：蛋酱
但真正的荣耀应该归于思想本身，不一定是某个人。
问大家一个问题：谁是反向传播之父？
恐怕 AI 社区的众多人都会想到 Geoffrey Hinton。
即使谷歌关键词「father of backpropagation」，得到的答案也是 Geoffrey Hinton。

但事实并非如此。
近日，美国学者 Paul J. Werbos 获得了 IEEE Frank Rosenblatt Award，理由是「因对反向传播发展及强化学习和时间序列分析的基本贡献」。

【 d谁是「反向传播之父」？真正提出者或许是这个刚获 IEEE 认证的大佬】

Paul J. Werbos 出生于 1947 年，是机器学习领域的先驱，也是自适应智能系统领域的国际知名专家。在维基百科的词条中，Paul J. Werbos 因在 1974 年的哈佛大学博士论文中首次提出通过反向传播算法来训练人工神经网络而闻名，被称为「反向传播之父」。
同时，他也是循环神经网络（RNN）的先驱。1995 年，Werbos 因提出反向传播和自适应动态规划等基本神经网络学习框架而获得 IEEE 神经网络先驱奖（IEEE Neural Network Pioneer Award）。
人们更为熟知的反向传播领域先驱是 Geoffrey Hinton。1986 年，Hinton 和 David Rumelhart、Ronald Williams 发表了一篇论文，详细介绍了名为「反向传播」的技术。一直以来，反向传播被认为是深度学习的根基，也是第三次人工智能浪潮的重要推动因素。
但谁才是真正的「反向传播之父」？他们陆续出场，又分别做出了哪些贡献？
Jürgen Schmidhuber：反向传播非 Hinton 原创
2019 年，Geoffrey Hinton 曾获得本田奖，该奖项旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。当时，本田奖在公告中称：Hinton 发明了很多方法并由此推动了人工智能的更广泛应用，其中就包括奠定了人工智能深度学习方法基础的反向传播算法。
后来，同为计算机科学领域的先驱 Jürgen Schmidhuber 发文质疑了 Hinton 的获奖资格，并且列举了六大理由，其中第一条就是「反向传播并非 Hinton 原创」。
在他看来，现代反向传播是由 Linnainmaa 在 1970 年首先提出来的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，并且 Hinton 只是第二作者。此外，Ivakhnenko 的深度前馈网络（1965）早在 Hinton（1980 年代）之前就能够学习内部表征了，而且 Hinton 提出的网络深度不如前者。

对此，Hinton 也给出了正式回应：
我从未说过反向传播是我发明的。David Rumelhart 独立提出了反向传播，在那之前已经有很多其他领域的人提出了它。我们第一次公开发表相关研究时的确不知道反向传播的历史，因此没有引用之前提出者的工作。
但 Hinton 表示，是自己明确提出了反向传播可以学习有趣的内部表征，并让这一想法推广开来：「我通过让神经网络学习词向量表征，使之基于之前词的向量表征预测序列中的下一个词实现了这一点。」
这个案例就是 Nature 1986 年发表的那篇论文《Learning representations by back-propagating errors》。

论文链接：https:www.nature.comarticles323533a0
在 Martin Ford 2018 年出版的《Architects of Intelligence》一书中，Hinton 曾经说过：
「在 David Rumelhart 之前，很多人提出了不同版本的反向传播。其中大部分是独立提出的，我觉得我承受了过多的赞誉。我看到媒体说我提出了反向传播，这是完全错误的。科研人员认为他因为某事获得了过多赞誉，这样的情况不常见，但这就是其中之一！我的主要贡献是展示如何使用 BP 算法学习分布式表征，因此我要做出澄清。」