清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？

机器之心原创
作者：蛋酱
让更多的优秀青年科学家齐聚一堂，实现「启迪、探索、突破」的目标，这正是「青年科学家502论坛」举办的初衷。
8月1日，「青年科学家502论坛」开幕，数十位院士与知名高校校长、百余名「科学探索奖」获得者与青年科学家在这一天齐聚深圳。
「科学探索奖」是目前国内金额最高的青年科技人才资助计划之一。自2018年设立起，「科学探索奖」已经评选出了共100位来自各领域的优秀青年科学家，每位均获得由腾讯基金会资助的300万元奖金，并且能够自由支配。
昨日举办的「青年科学家502论坛」，正是为所有「科学探索奖」获奖者提供的高水平、跨学科学术交流平台，今年是首次举办，此后每年也将举办一次。每位「科学探索奖」的获奖者在受资助的5年期间，都将来到这个论坛分享至少一次自己的bigidea和最新探索。
清华大学教授朱军是2020年第二届「科学探索奖」信息电子领域的获奖者之一。正如当时的获奖理由所写，朱军教授在贝叶斯人工智能基础理论、高效算法和概率编程方面，都拥有一流的研究成果。今年不到40岁的朱军教授，已经是国内机器学习领域首屈一指的人物。

获奖之后，朱军教授决定将「科学探索奖」的奖金继续投入到人工智能的研究上来。在这场论坛上，朱军教授分享了一些关于「安全可靠人工智能」的思考，这也是他未来多年笃定的研究方向。
今天的人工智能，距离安全可靠还有多远？
人工智能的概念产生最早可追溯到1956年的达特茅斯会议，但直到近十年来的第三波人工智能发展浪潮，这一领域才真正地深刻改变了大众生活，甚至攻克了多种人类世界的顶级挑战，比如战胜围棋顶级选手、预测蛋白质结构、击败人类飞行员等等。

但当人工智能的发展进入瓶颈期，学界开始思考下一步的方向。来自清华大学的张钹、朱军、苏航三位学者提出了「第三代人工智能」，并在《迈向第三代人工智能》这篇署名文章中首次全面阐述了第三代人工智能的理念。文章提出，第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，同时利用知识、数据、算法和算力等4个要素，建立新的可解释和鲁棒的AI理论与方法，发展安全、可信、可靠和可扩展的AI技术。这篇综述引发了学界和业界的讨论热潮。
「安全可靠」作为下一代人工智能的核心发展目标逐渐成为共识，数据与算法安全也成为学界和业界人士重点关注的研究主题之一。
在朱军看来，今天的人工智能远远算不上完美。首先是深度学习仍然面临着鲁棒性差的问题，比如很多手机都会配备人脸识别方案，但通过一副打印了特殊纹理图案的眼镜，就能轻松解锁很多手机；再说到安全需求更高的自动驾驶系统，黑客们只需要在标识牌上加上特定图案，就能让系统将限速标识识别为停止标识，导致致命事故的发生；就连1750亿参数的GPT-3 ，虽然一贯被誉为全科优秀生，但答起题来也有驴唇不对马嘴的时候……

AI为什么出错？如何防止AI出错？如果不能解决这些问题，那么AI就算不上是安全、可靠。
迄今为止，人类对深度神经网络等AI算法的出错机制知之甚少。一方面，数据的不确定性是广泛存在的，一旦遇到对抗样本攻击，哪怕是在一张图片中加上少量的噪音，虽然展示效果对人眼没有影响，但足以让人工神经网络产生误判。另一方面，数据中有用信息量的增长没跟上模型体量的增长，就会造成模型的不确定性。