不同于NLP,数据驱动方法与机器学习无法攻克NLU,原因有三点( 三 )


不同于NLP,数据驱动方法与机器学习无法攻克NLU,原因有三点

图2:NLU中很多挑战都是因为缺失文本现象造成的:图中缺失的文本(隐式的假设)用红色表示 。
上述示例表明 , NLU的挑战在于发现缺失信息 , 并隐含地认为这些信息是共享背景知识 。 下图3进一步解释了缺失文本现象:
不同于NLP,数据驱动方法与机器学习无法攻克NLU,原因有三点

我们在下文给出三个原因来解释为什么机器学习和数据驱动方法不能解决NLU问题 。
ML方法与NLU无关:ML是压缩 , 语言理解需要解压缩
用机器来实现自然语言理解是非常困难的 , 因为我们日常口语所表达的都是高度压缩信息 , 「理解」的挑战在于解压缩出丢失文本 。 这对人类来说是很简单的事情 , 但对机器来说却大不相同 , 因为机器不知道人类掌握的知识 。 但MTP现象恰恰说明了为什么数据驱动与机器学习方法会在NLP任务中有效 , 但是在NLU中不起作用 。
研究者在数学上已经建立了可学习性和可压缩性(COMP)之间的等价关系 。 也就是说 , 只有当数据高度可压缩(即它有很多冗余)时 , 在数据集中才会发生可学习性 , 反之亦然 。 虽然证明可压缩性和可学习性之间的关系相当复杂 , 但直观上很容易理解:可学习性是关于理解大数据的 , 它在多维空间中找到一个函数可以覆盖所有的数据集信息 。 因此 , 当所有数据点都可以压缩成一个流形时 , 就会发生可学习性 。 但是MTP告诉我们NLU是关于解压缩的 。 以下列内容为例:
不同于NLP,数据驱动方法与机器学习无法攻克NLU,原因有三点

机器学习是将大量数据泛化为单个函数 。 另一方面 , 由于MTP , 自然语言理解需要智能的解压缩技术 , 以发现所有缺失和隐式假设文本 。 因此 , 机器学习和语言理解是不相容的——事实上 , 它们是矛盾的 。
ML方法甚至与NLU无关:统计意义不大
ML本质上是一种基于数据发现某些模式(相关性)的范式 。 研究者希望在自然语言中出现的各种现象在统计上存在显著差异 。 举例来说:
1.奖杯装不进手提箱 , 因为它太
1a.小
1b.大
同义词与反义词(例如小和大 , 开和关等)以相同的概率出现在上下文中 , 因此 , 在统计上来说(1a)和(1b)是等价的 , 然而(1a)和(1b)所代表的内容也是相当不同的:在此句中 , 「它」在(1a)中隐含的意思是指手提箱小 , 但在(1b)中是指奖杯大 , 尽管它们的语义相差很大 , 但是(1a)和(1b)在统计上是等价的 。 因此 , 统计分析不能建模(甚至不能近似)语义 。
ML方法甚至与NLU无关:intenSion
逻辑学家长期以来一直在研究一种称为「intension」的语义概念 。 为了解释什么是「intension」 , 首先要从所谓的语义三角(meaningtriangle)开始讲起 , 如下图所示:
不同于NLP,数据驱动方法与机器学习无法攻克NLU,原因有三点

在语义三角中 , 每个「事物(或每个认知对象)」都具有三部分:一个指代概念符号 , 以及这个概念(有时)具有的一些实例 。 以「独角兽」这个概念为例 , 在现实生活中并没有实际的示例 。 概念本身是其所有潜在实例的理想化模板 , 可以想象 , 几个世纪以来 , 哲学家、逻辑学家和认知科学家一直在争论概念的本质及其定义 , 不管那场辩论如何 , 我们可以在一件事情上达成一致:一个概念(通常由某个符号/标签引用)由一组特性集合和属性定义 , 也许还有附加公理和既定事实等 。 然而 , 一个概念与实际(不完美)实例不同 , 在完美的数学世界中也是如此 。 举例而言 , 虽然下面的算术表达式都具有相同的扩展 , 但它们具有不同的「intension」: