d谁是「反向传播之父」？真正提出者或许是这个刚获 IEEE 认证的大佬( 二 )

反向传播，该是谁的原创？
反向传播的基础知识是由多位研究者 1960 年代在控制理论和链式规则的背景下提出的。不过这一术语的确定，以及被人们广泛所知的确要等到 1986 年《自然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文发表之后。
据 Jürgen Schmidhuber 的考证，反向传播算法的前身是 Henry J. Kelley 于 1960 年发表的，迄今已有半个多世纪。

现代反向传播算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 首次发表。在这篇硕士论文中，Linnainmaa 首次描述了在任意、离散的稀疏连接情况下的类神经网络的高效误差反向传播，尽管其中没有提及神经网络。这种反向传播也被称为自动微分的反向模式。到 2020 年，所有用于神经网络的现代软件包（例如 Google 的 Tensorflow）都是基于 Linnainmaa 1970 年的方法。

Seppo Linnainmaa。
直到 1974 年以后，反向传播才开始在神经网络的背景下应用。Jürgen 认为，Paul J. Werbos 是在 1982 年明确提出了上述反向传播算法的首个面向神经网络的应用（但在他 1974 年的论文中还没有）。到了 1986 年，计算成本几乎仅有 1970 年的千分之一，于是 Hinton、Rumelhart 等人的计算实验证明了反向传播可以在神经网络的隐藏层中产生有用的内部表征。这本质上是对已知方法的实验分析。
显然，反向传播算法的故事本身是相对复杂的，而关于「反向传播之父」的争议也还没有定论。正如 DeepMind 科学家 Oriol Vinyals 所建议的：「我们应当把荣耀归于思想本身，而不是人。」
参考链接：
https:people.idsia.ch~juergenwho-invented-backpropagation.html