清华计|arXiv爆款：想了解Attention就看它！清华计图胡事民团队出品( 二 )

开发可定性和可解释的注意力模型

注意力机制可以产生稀疏的激活，这促使我们去探索哪种架构可以更好地模拟人类的视觉系统

进一步探索基于注意力的预训练模型

为注意力模型研究新的优化方法

找到简单、高效、有效的基于注意力的模型，使其可以广泛部署

关于作者这篇论文来自清华大学计算机系胡事民团队。
胡事民为清华大学计算机系教授，教育部长江学者特聘教授，曾经和现任IEEE、Elsevier、Springer等多个期刊的主编、副主编和编委。
同时，他也是清华“计图”框架团队的负责人，这是首个由中国高校开源的深度学习框架。

文章一作为胡事民教授的博士生国孟昊，现就读于清华大学计算机系，也是清华计图团队的一员。

各类资源汇总链接：
https://github.com/MenghaoGuo/Awesome-Vision-Attentions
论文地址：
【清华计|arXiv爆款：想了解Attention就看它！清华计图胡事民团队出品】https://arXiv.org/abs/2111.07624
— 完 —
量子位 QbitAI · 头条号签约