不同于NLP，数据驱动方法与机器学习无法攻克NLU，原因有三点( 二 )

需要正确解读「退休的BBC采访人员」，即所有曾在BBC工作、现已退休的采访人员的集合；通过保留那些曾经也在一些「东欧国家」工作过的「退休BBC采访人员」来进一步过滤上述内容。除了地理限制，还有时间限制，那些「退休的BBC采访人员」的工作时间必须是「冷战期间」；以上意味着将介词短语「在冷战期间」附加到「驻扎」而不是「东欧国家」；进行正确的量词范围界定：我们寻找的不是在某个东欧国家工作的一个（单一）采访人员，而是在任何东欧国家工作的任何采访人员。以上对语义的理解不会是可能、大致正确，而是非常确定的绝对正确。换句话说，我们必须从对上述问题的多种可能解释中得出唯一一种含义，根据常识知识，推出提问者问题背后的想法。总而言之，对普通口语的真正理解与单纯的文本（或语言）处理是完全不同的问题。在文本（或语言）处理中，我们可以接受近似正确的结果——结果在可接受的概率下也是正确的。
通过这个简短的描述，我们应该可以清楚地了解为什么NLP与NLU不同，以及为什么NLU对机器来说是困难的。但是NLU的困难到底是什么呢?
NLU难点在于缺失文本现象
所谓的缺失文本现象（missingtextphenomenon,MTP），可以将其理解为NLP任务挑战的核心。语言交流的过程如下图所示：说者将思想编码为某种语言表达，然后听者将该语言表达解码为说者意图传达的思想。

图1：说者和听者的语言交流过程。
解码过程就是NLU中的U——也就是说，理解语言话语背后的思想正是解码过程需要做的事情。此外，在这个解码过程中没有近似或任何自由度——也就是说，从一个话语的多种可能意义来看，说话人想要表达的思想只有一个，而解码过程中的「理解」必须达到这一个思想，这正是NLU困难的原因。
在这种复杂的交流中，有两种可能的优化方案：（1）说者可以压缩（和最小化）在编码中发送的信息量，并希望听者在解码（解压缩）过程中做一些额外的工作；（2）说者尽最大努力传递所有必要的信息来传达思想，而听者几乎什么也不用做。
随着过程的自然演变，上述两种方案似乎已经得到一个很好的平衡，即说者和听者的总体工作都得到了同样的优化。这种优化导致说者可以编码尽可能少的信息，而忽略其他信息。遗漏的信息对于说者和听者来说，是可以通过安全假设获得的信息，这正是我们经常说的普通背景知识。
为了理解这一过程的复杂性，以下图为例：黄色框中的是未优化的信息，以及我们通常所说的信息量同等但小得多的文本信息（绿色框中信息）。

绿色框中信息要短很多，这正是我们说话的方式，语言虽短，但传达的是与较长信息相同的思想。通常我们不会明确地说出所有想要表达的东西：

也就是说，为了有效地沟通，我们在交流中通常不会说认为对方说都知道的信息。这也正是为什么我们都倾向于忽略相同的信息——因为我们都了解每个人都知道的，而这正是我们所谓的共同背景知识。人类在大约20万年的进化过程中，发展出的这一天才优化过程非常有效。但这就是NLU的问题所在：机器不知道我们遗漏了什么信息，因为机器不知道我们都知道什么。最终结果导致NLU是非常困难的，因为如果一个软件程序不能以某种方式揭示人类在语言交流中遗漏和隐含的所有东西，它就不能完全理解我们语言话语背后的思想。这实际上才是NLU的挑战，而不是解析、词干分析、词性标记、命名实体识别等。