不用1750亿！OpenAI CEO放话：GPT-4参数量不增反减( 二 )

自然语言输入是一个完全开放的沙盒，如果能按照模型的喜好使用文字，你几乎可以创造任何东西。

DALL-E文本到图像的端到端生成
由于OpenAI一直没有开源DALL.E ，因此之前的创作都是基于图像标注模型CLIP 。

在概念上，这种从文本描述生成图像的想法与DALL.E模型惊人地相似，但实际上却完全不同。
DALL.E是直接从语言中产生高质量的图像而进行的端到端训练，而CLIP则是使用语言来引导现有的无条件图像生成模型。
正是这种怪异使这些基于CLIP的作品如此独特，让人在熟悉的事物上看到完全不同的结果。

「牛油果形状的扶手椅」：上图由DALL.E生成，下图由CLIP生成的
AGI：算法、数据和计算机
对于AGI ， UCLA的计算机科学教授、人工智能先驱StuartRussell表示深度学习是不足实现的。
「关注原始计算能力完全没有抓住重点。我们不知道如何让一台机器真正智能化，即使它有宇宙那么大。」
相比之下， OpenAI相信，在大型数据集上输入大型神经网络并在巨大的计算机上进行训练是实现AGI的最佳途径。
OpenAI的首席技术官GregBrockman表示：「谁拥有最大的计算机，谁就能获得最大的好处。」
此外， OpenAI相信缩放假说：给定一个可扩展的算法，如GPT系列背后的基本架构Transformer ，就可能有一条通向AGI的直接路径，包括基于该算法训练越来越大的模型。
但大型模型只是AGI难题的一个部分，训练它们需要大型数据集和大量的计算能力。
当机器学习界开始揭示无监督学习的潜力时，数据不再是一个瓶颈。
再加上生成性语言模型，以及少量的任务转移，也就解决了「大型数据集」问题。
OpenAI只需要巨大的计算资源来训练和部署他们的模型就可以了。
这或许就是在2019年决定与微软合作的原因，这样就通过授权微软在商业上使用OpenAI的模型，以换取使用其云计算基础设施和所需的强大GPU 。
参考资料：
https://analyticsindiamag.com/gpt-4-sam-altman-confirms-the-rumours/
https://towardsdatascience.com/gpt-4-will-have-100-trillion-parameters-500x-the-size-of-gpt-3-582b98d82253