openai|拥有100万亿参数GPT-4将比GPT-3大500倍：超大型的神经网络是实现AGI的最佳方式吗？

OpenAI 的诞生是为了应对实现通用人工智能 (AGI) 的挑战——一种能够做人类能做的任何事情的人工智能。
正如我们所知，这样的技术将改变世界。如果使用得当，它可以使我们所有人受益，但也可能成为落入坏人之手的最具破坏性的武器。为确保每个人都能平等受益：“我们的目标是以最有可能造福全人类的方式推进数字智能。 ” ，这就是 OpenAI 接手这个任务的原因。
然而，这个问题的复杂性使它可以说是人类已经投入的最大的科学事业。尽管计算机科学和人工智能取得了所有进步，但没有人知道如何解决它或它何时会成为现实。
有些人认为深度学习不足以实现 AGI 。伯克利的计算机科学教授、人工智能先驱Stuart Russell认为， “专注于原始计算能力完全没有抓住要点[……
我们还不知道如何让机器拥有真正智能——即使它有宇宙的大小。 ”
相比之下， OpenAI 相信以大型数据集为基础并在大型计算机上训练的大型神经网络是实现 AGI 的最佳方式。OpenAI 的首席技术官 Greg Brockman 在接受《金融时报》采访时表示：“我们认为，谁拥有最大的计算机，谁就会获得最大的收益。 ”
他们也是这么做的，开始训练越来越大的模型，以唤醒深度学习中隐藏的力量。朝这个方向迈出的第一个非微妙步骤是 GPT 和 GPT-2 的发布。这些大型语言模型将为节目的明星：GPT-3 奠定基础。一个拥有 1750 亿个参数比 GPT-2 大 100 倍的语言模型。
GPT-3 发布后是当时最大的神经网络，并且现在仍然是最大的神经网络。它的语言专长和无数能力令大多数人感到惊讶。尽管一些专家仍然持怀疑态度，但大型语言模型已经让人感到新奇。对于 OpenAI 研究人员来说，这是一个巨大的飞跃并且可以强化他们的信念并让我们相信 AGI 是深度学习的一个问题。
三位一体——算法、数据和计算机OpenAI 相信扩展假设。给定一个可扩展的算法，在这种情况下是transformers——GPT 系列背后的基本架构——它可能有一条通向AGI的直接路径，该路径可以基于该算法训练越来越大的模型。
但大型模型只是 AGI 难题的一部分。训练它们需要大量的数据集和大量的计算能力。
当机器学习社区开始揭示无监督学习的潜力时，数据不再是瓶颈。这与生成语言模型和小样本任务迁移（few-shot task transfer）一起解决了 OpenAI 的“大数据集”问题。他们只需要使用大量的计算资源来训练和部署他们的模型就可以了。
这就是他们在 2019 年与微软合作的原因。作为可以在商业上使用 OpenAI 的一些模型的交换， OpenAI 换取了对微软云计算基础设施和他们所需的强大 GPU 的访问权。
但是 GPU 并不是专门为训练神经网络而构建的。游戏行业开发了这些用于图形处理的芯片，而人工智能行业只是利用了这些芯片对并行计算的适用性。OpenAI 想要最好的模型和最好的数据集， GPU 还不够的，他们也想要拿到最好的计算机芯片。
许多公司也意识到了这一点，并开始构建内部专用芯片旨在训练神经网络，在节省成本的同事不会降低效率。然而，像OpenAI这样的纯软件公司很难将硬件设计和制造融为一体。这就是为什么他们采取了另一条路线：使用第三方 AI 专用芯片。
这时Cerebras Systems 出现了。这家芯片公司已经在 2019 年制造了有史以来最大的用于训练大型神经网络的芯片。现在他们和OpenAI 合作，又开始了新的研究。