IEEE Fellow 梅涛当选 ACM

编辑 | 维克多

日前，第29届ACM国际多媒体顶级会议（ACM International Conference on Multimedia, 简称ACM Multimedia）已于10月20日至24日在成都举办，京东探索研究院凭借跨模态分析技术、多模态交互数字人技术分别斩获最佳开源项目奖及最佳演示奖（Demo）。会上，IEEE Fellow、京东集团副总裁梅涛当选ACM Multimedia 2023大会共同主席（General Co-Chair）。

最佳Demo奖：ViDA-MAN: Visual Dialog with Digital Humans
贡献：展示了一个完整的多模态数字人系统，包含语音模块、对话模块、视觉模块、驱动模块以及流模块等。
最佳开源奖：X-modaler: A Versatile and High-performance Codebase for Cross-modal Analytics
贡献：跨模态分析的多功能和高性能的代码库，统一了最先进的视觉语言技术中的全面的高质量模块。

关于X-modaler和ViDA-Man

过去十年多媒体领域视觉和语言之间的跨模态分析出现了稳定创新和突破的势头。然而，X-modaler出现之前，还没有一个开源的代码库来支持以统一和模块化的方式训练和部署众多的跨模态分析的神经网络模型。京东探索研究院AI团队模态视觉分析代码库X-modaler是业界首个模块化、标准化的跨模态视觉分析代码库，涵盖了视觉语言领域各种前沿技术，并支持各种多模态任务。它可以轻松复现视觉语言领域目前主流的技术，促进学术界在视觉语言领域的发展。同时也便于工业界集成跨模态视觉分析的模块，推动技术进步。

京东探索研究院跨模态视觉分析代码库X-modaler

系统化地集成了跨模态分析各大任务中最常用七大模块（如编码器模块、跨模态交互模块以及解码器模块等），每一个模块也包含了各种前沿技术算法，例如跨模态交互模块可以选择传统的Attention、Top-Down Attention、Meshed Memory Attention以及最新的X-Linear Attention。具体示意如下图：

基于这七大模块，X-modaler就可以轻松支持各种多模态任务，如image/video captioning、vision-language pre-training、VQA、VCR、cross-modal retrieval，同时也能很好地复现每个多模态任务中的前沿技术，例如在image captioning的任务中X-modaler集成了京东AI团队从ICCV17的LSTM-A、ECCV18的GCN-LSTM、再到CVPR20的X-LAN。目前代码库支持的算法如下图，后续将不断加入更多最新技术的实现，整个代码库包括使用文档以及预训练模型均已开源（https://github.com/YehLi/xmodaler）。

在传统的AI认知中，视觉领域、语音领域、自然语言领域等领域之前是独立演进的技术和应用，可以认为是单模态技术，而人是一个看、听、说多模态共同工作的智能体，所以多模态技术是未来人工智能应用发展的方向。
京东探索研究院多模态交互数字人技术ViDA-Man致力于打造具备多感官交互能力的人机交互系统，深入多模态交互技术研究，专注于人机交互的消费科技产品打造。基于该技术开发的多模态交互数字人形象引擎，能够提供快速的形象定制能力，从外观的数字化逐渐深入到行为的交互化、情绪的智能化。