openai|拥有100万亿参数GPT-4将比GPT-3大500倍：超大型的神经网络是实现AGI的最佳方式吗？( 二 )

WSE-2芯片和GPT-4模型
两周前，《Wired》杂志发表了一篇文章里面包含了两条重要消息。
【openai|拥有100万亿参数GPT-4将比GPT-3大500倍：超大型的神经网络是实现AGI的最佳方式吗？】首先， Cerebras再次制造了市场上最大的芯片， Wafer Scale Engine Two (WSE-2) 。它大约22厘米，有2.6万亿晶体管。相比之下，特斯拉全新的训练芯片只有有1.25万亿晶体管。
Cerebras找到了一种有效压缩计算能力的方法，因此WSE-2有85万个核心(计算单元) ，而典型的gpu只有几百个。他们还用一种新颖的冷却系统解决了散热问题，并创建了高效的IO流。
像WSE-2这样的超级专业、超级昂贵、超级强大的芯片用途并不多。训练大型神经网络就是其中之一。所以Cerebras和OpenAI进行了对话。
这是第二条新闻：Cerebras首席执行官Andrew Feldman对《Wired》杂志表示:“从与OpenAI的对话来看， GPT-4将会有大约100万亿个参数。 (……)但是发布的话可能还需要几年的时间。。。 ”
从GPT-3开始，人们就对OpenAI及其下一个版本充满了期待。现在我们知道它会在几年内问世，而且会非常大。它的尺寸将超过GPT-3的500倍。你没看错:500倍。
我们可以从 GPT-4 中期待什么？100 万亿个参数很多。要了解这个数字有多大，让我们将它与我们的大脑进行比较。一般人类的大脑有大约 80-1000 亿个神经元和大约 100 万亿个突触。

GPT-4 将拥有与大脑具有突触一样多的参数。
将人工神经网络与大脑进行比较是一件棘手的事情。这种比较看似是公平的，但这只是因为我们假设人工神经元至少松散地基于生物神经元。最近发表在 Neuron 上的一项研究表明情况并非如此。他们发现至少需要一个 5 层神经网络才能够模拟单个生物神经元的行为。也就是说需要大约1000 个人工神经元才能够模拟一个生物神经元。
这么看来GPT-4还是没有达到我们大脑的水平，但是即使 GPT-4 没有我们的大脑那么强大，它也肯定会给我们带来惊喜。与 GPT-3 不同它可能不仅仅是一个语言模型。OpenAI 的首席科学家 Ilya Sutskever 在 2020 年 12 月撰写有关多模态的文章时暗示了这一点：
“到 2021 年，语言模型将开始了解视觉世界。仅文字就可以表达关于世界的大量信息，但它是不完整的因为我们也生活在视觉世界中。 ”
我们已经在 DALL·E 中看到了其中的一些，它是 GPT-3 的较小版本（120 亿个参数），专门针对文本-图像对进行训练。OpenAI 当时表示， “通过语言描述视觉概念现在已经触手可及。 ”
OpenAI 一直在不停地利用 GPT-3 的隐藏能力。DALL·E 仅仅是 GPT-3 的一个特例，很像 Codex 。但它们并不是绝对的改进更像是特殊情况。而GPT-4 能够提供更多的功能。例如 DALL·E（文本图像）和 Codex（编码）等专业系统的深度与 GPT-3（通用语言）等通用系统的宽度相结合。
那么其他类似人类的特征呢，比如推理或常识？在这方面， Sam Altman说他们也无法确定，但他仍然“乐观” 。
目前看来，问题还是很多但答案却很少。没有人知道 AGI 是否真的称为可能，也没有人知道如何建造它。没有人知道更大的神经网络是否会越来越接近它。但不可否认的是虽然可能还要等几年，但GPT-4 将是值得关注的东西，让我们拭目以待。
作者：Alberto Romero