漏洞|人工智能与信息安全：新的革命与挑战( 二 )

模型训练阶段
?攻击手段
训练数据集投毒——当前绝大多数AI算法的所有知识完全依赖于训练数据集之上：攻击者对数据集发起投毒，通过向数据集中引入不正确的标签，将AI系统的学习引到错误的方向上，以使模型将学到的特征模式与错误的标签相关联，从而实现为攻击者的目的。数据集通常包含数百万个样本，这些样本很多时候来自公共资源。即便数据集由私人收集，攻击者也可能入侵数据存储系统并向其引入中毒样本来破坏本来有效的数据集。已有报告指出，即使训练集中仅含有3%的数据污染，数据投毒依然可以让模型精确度下降11%。
算法投毒——此种攻击方式是利用AI学习算法中的薄弱环节。算法投毒攻击针对联邦学习算法[11，12]的威胁尤其巨大。联邦学习在每个节点上训练一组小模型，之后将这些小模型汇总在一起，以形成最终模型。由于每个节点的私有数据仅在自身上被用于训练，因此可以保护他们的隐私。虽然联邦学习是一种解决用户数据因素的良好方案，但其容易受到算法投毒攻击。由于攻击者可以掌握那些受自己控制节点的设备运作，因此他们可以操纵节点上的运行数据和算法来毒化模型。
【漏洞|人工智能与信息安全：新的革命与挑战】?防御手段
使用可信任的数据集以及云托管平台。训练前应用检测机制，检查数据集是否被污染。设置准确度阈值，在每个训练周期后使用该阈值测试模型，若测试结果发生巨大变化，则极有可能存在数据污染。尽量使用离线训练，一方面攻击者无法从离线训练中得到即时反馈，另一方面也提供了审查数据的机会。
模型应用阶段
?攻击手段
白盒攻击——攻击者了解所要攻击AI目标的模型结构、参数等信息。通过利用这些信息，攻击者可以构造出针对AI模型的对抗样本，这些对抗样本往往可以使模型作出错误的判断，甚至诱导模型输出到攻击者指定的方向。此类攻击方式主要分为基于梯度的攻击手段(FGSM[13], PGD[14])，基于优化的攻击手段(CW[15])，基于决策面的攻击手段(DeepFool[16])。
黑盒攻击——攻击者无法了解目标AI所使用的模型以及参数，模型内部是否具有防御手段等信息，攻击者只知道模型的输入以及输出。黑盒攻击相比白盒攻击要困难许多：因为缺少关于模型的信息，黑盒攻击往往需要对模型进行大量查询，根据查询本身以及模型输出结果不断执行迭代以此来重构模型本身的行为，从而构建对抗样本。现实中，攻击者遇到的往往是黑盒攻击。黑盒攻击算法相较于白盒攻击更具有通用性。近年来，已涌现出很多优秀的黑盒攻击技术：如模拟攻击[17]，这种攻击手段允许攻击者只需要少量查询，根据这些查询结果以及一些经典的AI模型来训练并构建“代理网络”，待训练结束之后代理网络能够逼近目标AI模型的输出。
模型替换——攻击者使用中毒模型代替正常模型。这一点很容易由传统的网络攻击实现。完成训练的模型也是计算机文件，与图像或PDF文档没有什么不同。攻击者可以入侵持有成熟模型的系统，然后更改模型文件或将其完全替换为受攻击者控制的中毒模型。

?防御手段
可在AI模型的训练集中增添一些被干扰过的数据，使模型对含有噪声的样本更加具有鲁棒性。或使用网络蒸馏技术，在同一个训练集上训练多个不同的AI模型，最后使用这些模型的平均值作为输出，此种方法需要大量的资源，但也有更高的精确度与较高的鲁棒性。在模型成型之后，亦可对输入的数据进行一定的去除噪声预处理(如使用高斯平滑滤波器等)来达到防御对抗样本的目的。