如何信任你的“谣言粉碎机”？可解释事实检验算法研究｜AAAI 2022( 三 )

短语验证效果
LOREN最大的优势体现在能够针对短语级别进行验证，而这一特性则是通过引入
实现的，因此作者验证了在不同超参
下LOREN的表现，如表2所示。
结果显示，通过LOREN框架学习得到的解释既正确又忠实。具体地，
表示利用逻辑聚合得到最终的结果的准确率（accuracy），而
则表示聚合结果与模型最终预测结果之间的一致性（faithfulness）。
可以看到引入逻辑约束之后，模型在
和
上都得到了提升，并且概率软逻辑的聚合方式整体上要优于离散逻辑的聚合方式。
特别地，当
时，短语事实正确性的学习没有了逻辑约束，因此这些中间结果也就失去了意义和可解释性。

文章图片
表2：逻辑约束对模型效果的影响
Casestudy

文章图片
图3：Casestudy
图3展示了LOREN的一些验证结果。在第一个例子中， LOREN能够正确地在给定的陈述中找到错误的短语「numberthree」并将其纠正为「numberone」，并且基于局部的验证结果， LOREN正确地给出了最终的验证结果。
然而LOREN也会在一些缺少充分证据支持的场景下出现错误，如例2的证据只提及了「AshleyCole」出生于「England」，而没有提及「England」和「Iranian」的关系，因此只能给出
，但是LOREN错误地给出了
。例3则表明LOREN具备检测包含多个错误的陈述的能力。
总结
本文提出了一种基于短语级别分解的可解释事实检验算法LOREN 。通过利用MRC对分解的短语寻找验证信息，并通过聚合逻辑约束短语正确性的学习，使黑盒模型获得了既准确又忠实的解释性。