如何信任你的“谣言粉碎机”？可解释事实检验算法研究｜AAAI 2022

文章图片
新智元报道
作者：陈江捷
编辑：好困
【新智元导读】互联网技术的发展让信息得以快速传播，同时也让我们每日能够接收到的信息以接近「爆炸」的速度增长。大量的信息输入使得人们已经难以依赖自己有限的知识鉴别这些消息的真假，尤其是在一些如新冠疫情的重要事件上。因此，我们需要寻求自动化的事实验证算法，利用可靠的信息源（如百科）来判断给定的陈述是否可信。
事实检验算法旨在利用现有知识库来检验文本的事实正确性。
目前，事实验证的方法通常是将问题拆解为两个步骤：检索阶段（retrieval）和验证阶段（verification）。
在检索阶段，检索模型根据给定的陈述文本（claim）从知识库中检索得到相关的文本描述，作为用于验证最终结果的证据（evidence）；在验证阶段，验证模型则会根据检索到的证据来推理得出最终的预测结果。
然而，大多数现有模型通常只是给出最终分类结果，缺乏对一个陈述正确与否的解释，导致我们很难知道模型为何做出了这样的预测。这对于构建值得信任的人工智能应用是十分有害的。
为了解决事实检验中的可解释性问题，字节跳动人工智能实验室和复旦大学的团队提出了LOREN ，一种全新的可解释事实检验范式：将针对整个陈述的验证拆解为短语级别的验证。

文章图片
Paper:https://arxiv.org/abs/2012.13577
Code:https://github.com/jiangjiechen/LOREN
在该范式下，模型能够给出整个陈述的细粒度验证结果，从而以更直观的方式帮助大家了解模型推理过程，也能够更快地锁定事实错误。
可解释验证
问题建模
LOREN的主要思想是将句子级别（sentence-level）的验证拆解为短语级别（phrase-level的验证。

文章图片
图2：LOREN框架
针对给定的陈述
以及证据集
组成的输入
，模型需要在得到最终预测结果
的同时，给出陈述中所有短语
的验证结果
，其中
，
分别表示符合事实(Supports），不符合事实(Refutes)和无法验证(NotEnoughInformation) 。
定义隐变量
为所有短语的预测结果，显然最终的预测结果
依赖于每个短语的预测结果
，因此可以将最终的预测结果用概率表示为：。
在给定输入数据
对应的标签
【如何信任你的“谣言粉碎机”？可解释事实检验算法研究｜AAAI 2022】后，可以得到整个模型的优化目标：
。
该问题的一种解法是使用EM算法，然而
的真实后验分布
很难求解（intractable）。
因此，利用变分推断（variationalinference）的方法，通过引入一个变分后验分布
，将问题转化为优化对应的变分下界目标函数——negativeEvidenceLowerBOund（ELBO）：
，
为KL散度。
为了得到短语验证结果的先验分布
，作者借鉴了自然语言推理（NaturalLanguageInference ， NLI）的工作，将NLI中的
，
和
标签分别对应到
。
借助在NLI数据上预训练好的预训练模型，就可以计算得到先验分布
。
逻辑约束
本工作中最大的挑战在于：现有的数据并不支持短语粒度的学习，因为没有（也不可能有）短语的事实正确性
标注结果。
针对这个问题，作者提出并利用了事实检验问题中天然存在的一套逻辑聚合规则来提供弱监督信号来帮助学习