专访吴恩达：AI未来10年，从硬件至上到数据为王( 三 )

吴恩达说，「这不是说，头一天它还不是基础模型，到第二天就是了。在NLP的案例中，我们看到了模型是在发展的，从Google的BERT模型、transformer模型、GPT2到GPT3 。
这是一系列规模越来越大的模型，在越来越多的数据上进行训练，然后人们将其中一些新兴的模型称为基础模型。
吴恩达说，「我相信我们会在计算机视觉中看到类似的东西。很多人多年来一直在ImageNet上进行预训练，我认为趋势逐渐会是对越来越大的数据集进行预训练，越来越多地在未标记的数据集上进行预训练，并且越来越多地将会在视频上进行预训练。」
AI的下一个10年
作为一名计算机视觉的内部人士，吴恩达非常清楚人工智能正在取得的稳步进展。他认为，在未来的某个时候，媒体和公众将宣布，计算机视觉模型属于基础模型。然而，能否准确预测何时会应验则是另一回事。
对于拥有大量数据的应用程序，例如NLP ，输入系统的领域知识量随着时间的推移而不断下降。吴恩达解释说，在深度学习（包括计算机视觉和NLP）的早期，人们通常会训练一个小型的深度学习模型，然后将其与更传统的各领域知识库的方法结合起来，这是因为深度学习的效果不佳。