不同于NLP，数据驱动方法与机器学习无法攻克NLU，原因有三点

选自gradient
作者：WalidS.Saba
机器之心编译
编辑：陈萍
自然语言理解（NLU）是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。近年来，机器学习虽然被广泛使用，但是却不能很好的解决自然语言理解问题，其中可能涉及很多原因， ONTOLOGIK.AI的创始人和首席NLU科学家WalidSaba给出了自己的观点。

20世纪90年代早期，一场统计学革命取代了人工智能，并在2000年达到顶峰，而神经网络凭借深度学习成功回归。这一经验主义转变吞噬了人工智能的所有子领域，其中这项技术最具争议的应用领域是自然语言处理。
以数据为驱动的经验方法在NLP中被广泛使用的原因主要包括：符号和逻辑方法在取得三十年的霸权后未能产生可扩展的NLP系统，从而导致NLP中所谓的经验方法（EMNLP）兴起，这些方法可以用数据驱动、基于语料库、统计和机器学习来统称。
这种向经验主义转变的背后动机非常简单：在我们对语言是如何工作、以及语言如何与日常口语中谈论的世界知识相关联的，在对这些了解之前，经验和数据驱动的方法有助于构建文本处理应用程序。正如EMNLP的先驱之一KennethChurch所解释的那样，在NLP领域，倡导数据驱动和统计方法的科研人员，他们对解决简单的语言任务感兴趣，其动机从来不是暗示语言就是这样工作的，而是做简单的事情总比什么都不做要好。 Church认为这种转变动机被严重误解了，正如McShane在2017年所指出的，后来的几代人误解了这种经验趋势。

EMNLP会议创立者、先驱之一KennethChurch 。
这种被误导的趋势导致了一种不幸的情况：坚持使用大型语言模型（largelanguagemodel,LLM）构建NLP系统，这需要巨大的计算能力，而且试图通过记忆大量数据来接近自然语言对象，这种做法是徒劳的。这种伪科学的方法不仅浪费时间和资源，而且会误导新一代的年轻科学家，错误地让他们认为语言就是数据。更糟糕的是，这种做法还阻碍了自然语言理解（NLU）的发展。
相反，现在应该重新思考NLU方法，因为对于NLU来说，大数据方法不但在心理上、认知上，甚至计算上都让人难以置信，而且盲目数据驱动的方法在理论上和技术上也是有缺陷的。
自然语言处理VS自然语言理解
虽然自然语言处理（NLP）和自然语言理解（NLU）经常互换使用，但是两者之间存在实质性差异，突出这种差异至关重要。事实上，区分自然语言处理和自然语言理解之间的技术差异，我们可以意识到以数据驱动和机器学习的方法虽然适用于NLP任务，但这种方法与NLU无关。以NLP中最常见的下游任务为例：
摘要；主题抽取；命名实体识别；语义检索；自动标签；聚类。上述任务与PAC（ProbablyApproximatelyCorrect,可能近似正确）范式一致。具体地， NLP系统的输出评估是主观的：没有客观的标准来判断诸如一个摘要优于另一个，或某个系统提取的主题、短语比另一个系统提取的更好等等。然而，自然语言理解不允许有这样的自由度。要完全理解一个话语或一个问题，需要理解说话者试图表达的唯一思想。为了理解这个复杂的过程，以自然语言查询为例：
我们是否有一位退休的BBC采访人员在冷战期间驻扎在东欧国家？
在数据库中，对上述查询将有且只有一个正确答案。将上述表达转化为正确的SQL或者SPARQL查询具有很大的挑战性。这个问题背后的关键点包括：