机器之心ACL论文分享会干货回顾，下一场NeurIPS，12月见( 二 )

文章图片
近年来，预训练大模型在自然语言处理和视觉等相关任务中取得了极大的成功，但这些大模型的训练和部署都需要消耗大量的计算资源，在很多实际的应用场景中并不适用。
刘群详细介绍了华为诺亚方舟语音语义实验室近年来在高效的NLP模型和训练方面开的研究，除前期提出的TinyBERT、TernaryBERT、DynaBERT外，还包括BinaryBERT（二值化）、AutoTinyBERT（结构搜索）、GhostBERT（引入简单高效的特征）、MATE-KD（对比数据增强蒸馏）、Annealing-KD（退火蒸馏）等一系列高效的NLP建模和训练方法。
论文分享会还设置了「大模型时代下的NLP发展」圆桌论坛，创新工场首席科学家、澜舟科技创始人兼CEO周明，以及两位keynote嘉宾李航、刘群三位专家就「大模型or小模型」等核心问题展开了深入探讨。

文章图片
在全天的议程中，总共有10位研究者分享了自己团队的ACL2021论文，包括机器翻译、Transformer、统一模态学习等众多方向。值得注意的是本次ACL最佳论文的一作、字节跳动AILab研究员许晶晶也来到了现场，为大家详细介绍了获奖论文《绿色词表学习方案VOLT》，来自港中文的博士生蔡登介绍了他们与腾讯AILab刚拿到ACL杰出论文奖的论文——《NeuralMachineTranslationwithMonolingualTranslationMemory》。
此外，论文分享会在最后特别设置了企业展台与Poster展区。来自荣耀的企业代表们就技术与人才招聘话题与参会者们进行了交流， 17篇论文的作者在Poster环节也为大家介绍了自己的研究并解答问题。
目前，「ACL2021论文分享会」线下学术交流活动的所有视频回顾均已上传至机器之心·知识站，感兴趣的读者可收藏观看。点击「阅读原文」可直接跳转。

文章图片
秉承着促进学术交流的宗旨，机器之心将持续为国内AI社区举办线下学术交流活动。机器之心计划于今年12月举办Neurips2021论文分享会，年底见！
【机器之心ACL论文分享会干货回顾，下一场NeurIPS，12月见】ACL2021线下分享会精彩回顾：https://app6ca5octe2206.pc.xiaoe-tech.com/detail/p_6108e354e4b054ed7c495ab3/6?fromH5=true