机器|AI“读图会意”首超人类！阿里达摩院刷新全球机器视觉问题纪录( 二 )

图注：VQA技术自2015年的进展

VQA分数超人类如何诞生？
VQA挑战的核心难点在于，需在单模态精准理解的基础上，整合多模态的信息进行联合推理认知，最终实现跨模态理解，即在统一模型里做不同模态的语义映射和对齐。
据了解，为了解决VQA挑战，达摩院语言技术实验室及视觉实验室对AI视觉-文本推理体系进行了系统性的设计，融合了大量算法创新，包括：

多样性的视觉特征表示，从各方面刻画图片的局部和全局语义信息，同时使用Region，Grid，Patch等视觉特征表示，以更精准地进行单模态理解；
基于海量图文数据和多粒度视觉特征的多模态预训练，用于更好地进行多模态信息融合和语义映射，创新性地提出了SemVLP，Grid-VLP，E2E-VLP和Fusion-VLP等预训练模型；
研发自适应的跨模态语义融合和对齐技术，创新性地在多模态预训练模型中加入Learning to Attend机制来进行跨模态信息地高效深度融合；

4.采用Mixture of Experts (MOE)技术进行知识驱动的多技能AI集成。
其中自研的多模态预训练模型E2E-VLP，StructuralLM已被国际顶级会议ACL2021接受。
模型大图如下：

这不是达摩院第一次在 AI 关键领域超越人类。

早在2018年，作为业界最早投入预训练语言模型研究的机构之一，达摩院前身IDST曾在斯坦福SQuAD挑战赛中历史性地让机器阅读理解首次超越人类，轰动全球。

VQA 考高分有什么用？

达摩院语言技术实验室负责人司罗曾表示，“人工智能分为计算智能、感知智能、认知智能、创造智能四个层次。”

本次，AI 在视觉-文本跨模态理解及推理上媲美人类的水平，意味着 AI 向认知智能迈进了关键一步。

据了解，VQA 技术拥有广阔的应用场景，可用于图文阅读、跨模态搜索、盲人视觉问答、医疗问诊、智能驾驶、虚拟主播等领域，或将变革人机交互方式。目前，VQA 技术已在阿里内部应用于商品图文理解、智能客服等场景。

在阿里平台上，达摩院VQA能力已实现较大范围工业应用落地，典型VQA应用包括：1、商品图文信息理解；2、直播视频交互；3、多模态搜索。

VQA考卷有多难？

对单一AI模型来说，VQA 考卷难度堪称“变态”。

要拿到漂亮的分数，AI不仅要修炼好图像识别、文本识别、文本理解等基本功，还要解锁计数、读钟表、推理认知等附加技能，此外还必须拥有百科全书的丰富常识。

比如，在下面这道VQA考题中，根据男人帽子上的字母“B”+问题“男人的橄榄球帽代表哪只球队？”

AI 要推理出答案“波士顿球队”。

根据士兵玩具和战斗场景+问题“图中玩具人的IP出自哪部电影？？”AI要推理出答案“星球大战”。