漏洞|人工智能与信息安全：新的革命与挑战

人工智能，是一种借鉴生物感知系统和神经系统来开发相应模拟算法的计算机技术，其主要特点是可从数据中学习特征并进行自我迭代训练。

通常，人工智能算法往往需要大量的数据以及庞大的计算资源作为支撑。随着计算机硬件的迅猛发展以及互联网时代下海量信息的积累，这使得构建复杂的人工智能算法变得可能。2016年，由谷歌公司旗下DeepMind研发的围棋人工智能系统AlphaGo[1]以4比1的战绩打败了人类顶尖棋手李世石。自此，人工智能技术开始了爆发式发展。
在网络安全领域，全球越来越多的公司正在尝试将人工智能、机器学习等集成到产品之中，智能化(Intelligence)、自动化(Automatic)都是网络安全领域的热词。
我国于2017年7月8日印发《新一代人工智能发展规划》，标志着我国人工智能发展进入到国家战略层面。近日发布的“十四五”规划纲要中，共有6处提及人工智能，并将“前沿基础理论突破，专用芯片研发，深度学习框架等开源算法平台构建，学习推理与决策、图像图形、语音视频、自然语言识别处理等领域创新”视为新一代人工智能领域的重点攻关方向。
近几年来，人工智能技术不断取得各种令人惊叹的成果，我国人工智能领域发展可谓突飞猛进，《中国人工智能发展报告2020》显示，过去十年全球人工智能专利申请量超52万件。中国专利申请量为389571件，位居世界第一，占全球总量的74.7%。人工智能被应用于越来越多的行业之中，尤其是在计算机视觉、自然语言处理、游戏对抗等领域。
人工智能的应用在计算机视觉领域，主流的人工智能技术是卷积神经网络[2,3,4]，卷积神经网络借鉴了生物视觉神经系统的工作方式，对视觉信息进行类似于视神经细胞一般的处理，之后作出相应的响应。相较于传统视觉算法，卷积神经网络取得了前所未有的成功。凭借其高准确率，已然成为该领域下各种复杂任务中最受欢迎的解决方案。例如在人脸识别、目标跟踪、自动驾驶等领域。
在自然语言处理领域，基于人工智能技术的语言模型更深层次加深了计算机对语言处理的理解。例如谷歌于2019年推出的Transformer模型[5]，其在推荐系统，用户行为分析，机器翻译等语言文本任务领域被广泛应用。
在游戏对抗领域，主流的人工智能技术是强化学习[6,7]，由于游戏有明确的规则，利用强化学习算法可以使智能体(计算机)在自我对弈中找到最优解。近年来，强化学习技术开始“出圈”，逐渐被应用到各种行业中，如机器人控制、自动驾驶等领域。
由于人工智能算法极其复杂，且人工智能模型内部包含大量参数，这导致对其进行定量的分析变得极其困难。随着人工智能技术的广泛应用，尤其是在一些对信息安全极其敏感的行业中应用人工智能技术，例如人脸识别、自动驾驶、癌症诊断、国防与关乎人民生命财产安全息息相关的方面，如果不谨慎对待，这些安全隐患很可能在某个节点彻底爆发。所以，对人工智能技术的安全性研究变得尤为重要。
人工智能自身的安全性以深度神经网络为代表的人工智能技术由于其算法复杂，参数众多，需海量数据驱动等特性使得其自身具有众多安全缺陷，这些缺陷主要发生在两个阶段：AI模型的训练阶段以及应用阶段。其中训练阶段攻击者主要利用AI模型的数据驱动特性，针对训练数据以及训练所使用的算法发起攻击[10]，使AI模型偏离原本的训练目的。在应用阶段，攻击者主要利用AI模型本身特性来诱导模型作出错误推断。我们分别从攻击手段和防御手段两个角度来阐述在两个阶段中人工智能自身的安全性问题。