人工智能安全白皮书 （2020） m o c . 5 b u h t i g 浙江大学-蚂蚁集团金融科技研究中心 数据安全与隐私保护实验室 2020年12月 人工智能安全白皮书 m o c . 5 h t i g b u 目录 第一章 引言 3 第二章 AI 技术与安全模型 6 m o c . 5 2.1 安全模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 AI 安全问题分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 第三章 AI 技术面临的三大威胁域 3.1 3.2 3.3 10 AI 模型安全性问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 b u 3.1.1 模型训练完整性威胁 . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.2 测试完整性威胁 . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.3 模型鲁棒性缺乏 . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.1.4 模型偏见威胁 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 h t i g AI 数据与隐私安全性问题 . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.1 基于模型输出的数据泄露 . . . . . . . . . . . . . . . . . . . . . 24 3.2.2 基于梯度更新的数据泄露 . . . . . . . . . . . . . . . . . . . . . 28 AI 系统安全性问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.1 硬件设备安全问题 . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.2 系统与软件安全问题 . . . . . . . . . . . . . . . . . . . . . . . . 29 第四章 AI 威胁常用防御技术 4.1 4.2 30 AI 模型自身安全性增强 . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.1.1 面向训练数据的防御 . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.2 面向模型的防御 . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.3 对抗训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.1.4 输入预处理防御 . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.1.5 特异性防御算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.1.6 鲁棒性增强 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.7 可解释性增强 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 AI 数据安全与隐私泄漏防御 . . . . . . . . . . . . . . . . . . . . . . . 41 1 目录 4.3 2 4.2.1 模型结构防御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2 信息混淆防御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.3 查询控制防御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 AI 系统安全性防御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 第五章 AI 应用系统一站式安全解决方案 45 5.1 行业介绍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2 多维对抗与 AI SDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.3 多维对抗 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.3.1 5.4 多维异常检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 AI SDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 m o c . 5 5.4.1 模型评测与加固 . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.4.2 业务评审 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.4.3 风险治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 第六章 总结与展望 54 h t i g b u 第一章 引言 人工智能（Artificial Intelligence，AI）战略是国家战略。习近平总书记在十九届 中央政治局第九次集体学习时指出 “加快发展新一代人工智能是事关我国能否抓住 新一轮科技革命和产业变革机遇的战略问题”。2020 年 11 月，国务院办公厅印发了 m o c . 5 关于切实解决老年人运用智能技术困难实施方案的通知，提到鼓励在就医场景中应 用人脸识别等技术。 人工智能技术的崛起依托于三个关键要素：1）深度学习模型在机器学习任务中 取得的突破性进展；2）日趋成熟的大数据技术带来的海量数据积累；3）开源学习框 架以及计算力提高带来的软硬件基础设施发展。我们在白皮书中将这三个因素简称 b u 为 AI 模型、AI 数据以及 AI 承载系统。在这三个要素的驱动下，AI 技术已经成 功应用于生物核身、自动驾驶、图像识别、语音识别等多种场景中，加速了传统行业 h t i g 的智能化变革。例如：在自动驾驶场景中，AI 技术对车辆、行人、路牌和路标等环 境信息进行感知来辅助驾驶系统进行决策，并结合云端交通信息自动完成路线规划， 使得自动驾驶汽车可以安全、高效地完成驾驶任务；在用户网购场景中，AI 技术通 过对用户基本属性、浏览点击信息以及商品属性等数据进行挖掘分析，预测用户行 为偏好，从而提供更加个性化的推荐服务。总而言之，随着对这三个因素的探索持 续深入，AI 技术不仅在多个经典机器学习任务中取得了突破性进展，还广泛应用于 真实世界中的各类场景。 人工智能推动社会经济各个领域从数字化、信息化向智能化发展的同时，也面 临着严重的安全性威胁。面对人工智能安全性威胁，学术界和工业界 “抓住机遇，迎 难而上” ，对人工智能安全技术（AI 安全）进行了前瞻性研究与布局。研究发现，这 些安全性威胁极大程度上破坏了人工智能技术良性发展的生态。 这些威胁一方面会严重损害 AI 技术的功能性，例如攻击者可以通过恶意篡训练 数据、污染 AI 模型的训练过程，来破坏 AI 模型功能性 [1]。攻击者甚至可以对训 练数据嵌入特定的 “后门” （Backdoor） ，在不影响 AI 模型在正常数据集判别性能的 情况下，操纵其对携带“后门”数据的判断结果。例如：在图像分类任务中，攻击 者可以在图片的角落添加一块特殊图案作为“后门” 。这样训练后的模型在接收到含 有“后门”图案的图片后，就会被操纵做出指定的判断 [2]。研究者还发现在输入数 据上添加少量精心构造的人类无法识别的“扰动”，可以使 AI 模型输出错误的预测 3 第一章 引言 4 结果 [3]。这种添加扰动的输入数据通常被称为对抗样本（Adversarial Example） 。在 许多安全相关的应用场景中，对抗样本攻击会引起严重的安全隐患。以自动驾驶为 例，攻击者可以在路牌上粘贴对抗样本扰动图案，使得自动驾驶系统错误地将“停 止”路牌识别为“限速”路牌 [4]。这类攻击可以成功地欺骗特斯拉等自动驾驶车辆中 的路标识别系统，使其作出错误的驾驶决策判断 [5]，导致严重的交通事故。另一方 面，AI 技术还面临着严峻的隐私泄露威胁。研究者发现 AI 技术在使用过程中产生 的计算信息可能会造成隐私数据泄露，例如攻击者可以在不接触隐私数据的情况下 利用模型输出结果、模型梯度更新等信息来间接获取用户隐私数据。在实际应用中， 这类信息窃取威胁会导致严重的隐私泄露。例如：生物核身识别模型返回的结果向 量可以被用于训练生成模型，从而恢复如用户头像等训练数据中的敏感信息 [6]。攻 击者甚至还可以通过输出结果窃取 AI 模型的参数 [7, 8]，对模型拥有者造成严重的 m o c . 5 经济损害。本白皮书将在第三章系统性地归纳和总结 AI 模型、AI 数据与 AI 承载系 统面临的安全威胁，并根据不同的应用场景与攻击者的能力假设，分析近年来相关 研究的优缺点，并探讨现有攻击技术的进一步发展趋势。 为了应对 AI 技术的安全与隐私泄露威胁