ICS 35.030 CCS L 80 中华人民共和国国家标准 GB/T42888—2023 信息安全技术 机器学习算法安全评估规范 Information security technology- Assessment specification for security of machine learning algorithms 2024-03-01实施 2023-08-06发布 国家市场监督管理总局 发布 国家标准化管理委员会 GB/T42888—2023 目 次 前言 1范围 2 规范性引用文件 3术语和定义 概述 4 4.1 安全原则 4.2 安全要求分级 5机器学习算法技术安全要求和评估方法 5.1 安全要求 5.2评估方法 6机器学习算法服务安全要求和评估方法 6.1 安全要求 6.2 评估方法 7机器学习算法安全评估流程 7.1 流程要求 评估准备 7.2 7.3 评估方案· 11 7.4 评估执行 12 7.5 评估结论 12 7.6评估报告 12 附录A（规范性） 算法推荐服务安全要求 14 附录B（规范性） 算法推荐服务评估方法 参考文献 29 GB/T42888—2023 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由全国信息安全标准化技术委员会（SAC/TC260）提出并归口。 本文件起草单位：北京赛西科技发展有限责任公司、中国科学院计算技术研究所、清华大学、国家计 算机网络应急技术处理协调中心、上海商汤智能科技有限公司、北京瑞莱智慧科技有限公司、阿里巴巴 （中国）有限公司、中国科学院信息工程研究所、中国信息通信研究院、中国电子科技集团公司第十五研 究所、国家信息技术安全研究中心、广州天学、北京天学、华东师范大学、北京航空航天天学、华为技术有 限公司、北京旷视科技有限公司、北京百度网讯科技有限公司、深圳市腾讯计算机系统有限公司、浙江大 学、北京奇虎科技有限公司、北京小桔科技有限公司、安徽工程大学、北京智者天下科技有限公司、北京 交通天学、浙江工业大学、上海工业控制安全创新科技有限公司、中国人民公安大学、深圳市大数据研究 院、北京计算机技术及应用研究所、中国科学院自动化研究所、上海燧原科技有限公司、烽台科技（北京） 有限公司、中国电子技术标准化研究院。 本文件主要起草人：上官晓丽、郝春亮、许晓耕、胡影、陈钟、沈华伟、蒋慧、梅敬青、张宇光、彭骏涛、 郭岩、李鹏宵、艾政阳、赵芸伟、韩晗、刘明、尹芷仪、庞亮、王晓诗、刘总真、周熙、孟国柱、景慧昀、张琳琳、 朱纯超、霍珊珊、刘健、刘赫、苏航、金涛、刘吉强、任奎、张旭东、成瑾、朱红儒、杨韬、李钦、刘祥龙、 王义飞、吴庚、赫然、顾钊铨、李实、曹晓琦、严敏瑞、付英波、郭颖、孙空军、唐家渝、刘曦泽、王哲麟、任璐、 徐永太、张屹、秦湛、安泽亮、徐雨晴、李雪、李大海、徐光侠、包沉浮、郭建领、宣琦、张世天、赵涌鑫、王姣、 王秉政、芦天亮、吴保元、韩磊、张雨桐、彭泉。 Ⅲ GB/T42888—2023 信息安全技术 机器学习算法安全评估规范 1范围 本文件规定了机器学习算法技术和服务的安全要求和评估方法，以及机器学习算法安全评估流程。 本文件适用于指导机器学习算法提供者保障机器学习算法生存周期安全以及开展机器学习算法安 全评估，也可为监管评估提供参考。 规范性引用文件 本文件没有规范性引用文件。 3术语和定义 3 下列术语和定义适用于本文件。 3.1 机器学习算法 machinelearningalgorithm 功能单元通过学习新知识技能或整理已有知识技能以改进其性能的算法。 3.2 机器学习算法提供者 machinelearningalgorithmprovider 利用机器学习算法实现特定功能的组织。 注：本文件中简称算法提供者，包括算法技术提供者和算法服务提供者。算法技术提供者是指算法技术的开发和 提供方，算法服务提供者是指使用应用算法技术的服务提供方。 3.3 算法推荐服务 algorithmic recommendation service 互联网信息服务算法推荐internetinformationserviceof algorithmicrecommendation 应用算法推荐技术提供信息的服务。 注1：应用算法推荐技术是指利用机器学习算法实现生成合成类、个性化推送类、排序精选类、检索过滤类、调度决 策类等算法技术，向用户提供信息的活动。 注2：本文件将生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法统称为五类算法。 3.4 算法生存周期 月algorithmlifecycle 机器学习算法从设计到退役的演进过程 注1：算法生存周期包括设计开发、验证确认、部署运行、维护升级、退役下线。 注2：一般算法服务处于部署运行阶段。 1 GB/T42888—2023 3.5 健壮性 robustness 机器学习算法在受到干扰或攻击等情况下维持其性能等水平的能力。 L来源：GB/T28457一2012，3.8，有修改 3.6 准确率accuracy 对于给定的数据集，得到正确结果的样本数占总样本数的比率。 3.7 生成合成信息generativesyntheticinformation 利用虚拟现实、深度学习等技术对文本、图像、音频、视频、场景模型等进行生成或者编辑所得到的 信息。 4概述 4.1 安全原则 机器学习算法安全原则： 过程公平和结果公平的状态； b) 公开可解释：工作原理具备一定的可解释性且向用户充分公开； c）诚实可信：严格遵照设计、遵守承诺，不欺骗、不误导、不隐瞒，充分尊重服务对象和社会利益。 4.2 安全要求分级 机器学习算法安全要求分为基本级与增强级： a）基本级：对机器学习算法的基本安全要求； b）增强级：当机器学习算法可能涉及影响国家安全、社会安定、公民生命财产安全等关键事项决 策时符合的增强安全要求，对应条款用粗体表示。 5机器学习算法技术安全要求和评估方法 5.1 安全要求 5.1.1通用条款 对机器学习算法提供者的安全要求包括以下内容。 a)J 应对使用的软件及第三方组件、硬件固件及时进行安全更新、漏洞修补，保障算法环境安全。 b)J 应针对训练数据、测试数据、算法代码、算法模型等方面的安全需求差异分别设置数据访问控 制策略，防止非授权访问。 应采取密码技术对训练数据、测试数据、算法代码、算法模型等进行保护，应对算法代码、算法 模型进行完整性保护，应对训练数据、测试数据的存储、传输进行加密保护。 d）不应将个人信息用于算法生存周期各项活动，以下情况除外： 2 1 个人信息主体 2 个人信息主体 确 e) 时，应采取必 信 1，应在存储、1 决策场景的 5.1.2 设计开发 对机器学习算法提1 a) 应根据算法模 关服务的安全需求，分析确 数据指标，并采 1）训练数据 训练数据 ） 训练数据机 值。 Z对训练数据i ，修复或过滤 攻击者以 整体表现为目 毒数据； ）攻击者以1 特定数据给 目的，置入部分具备特定 数据。 放据标注应采1 ，通过交叉验 断标注准确率、预防数据投 放据标注质量 制定质检方案 过程，管控标注风险，确保 团队进行标注的 外部受托方）进行 环境进行。倩 的，不应将数 或个人。应讼 ，防止非法授 工求，分析确定 卡，并按指标进行设计开发： 算法可用性相关指标，是 服务时间占总时间比例指标，或算法有效 总调用次数比例指标等 算法可靠性相关指标， 续安全服务时长指标，或算法连续安全 练、恶意样本 ！健壮性，评侣 ！告，包括提升 重要操作、提 全应急处置机 括算法出现安 注2：安全意外包括但不限于被I —2023 5.1.3验证确认 对机器学习算法提供者的安全要求包括以下内容 应对训练数据与测试数据的重复性进行检测，从测试数 波用于训练的数据，并应 根# 子析确定以下测试数据指标，并采用符合 [据： 1) 模阈值； 2) 衡性指标； 3) 注准确率阈值； 4) 测试任务相关性阈值。 b）应开展算法的数 法对黑盒攻击、白盒攻击和灰盒攻击的抵抗能力； 有条件的宜开展 注1：物理世界攻击 自身、环境、视角等因素进行修改、遮盖等方式，对机器学习 算法进行对折 过对输入数据进行修改、增加噪声等方式，对机器学习算法 进行对抗性珍 注2：黑盒攻击是指攻击者只能获行 信息时发起的攻 击是指攻击者在完全掌握算 灰盒攻击是指珍 握算法但非全部信息，例如只 c）委托验证测试时，应采取以下打 生，并宜对同 两个或多个受托方对不同数据 1) 可控的环境开 不将模型、数 供； 2) 所需的模型、 封装后再向受 d）应札 阶段确定的可 、可恢复性指 验证确认。 e）应 性验证确认，1 使用包含对括 噪声、系统噪声、假造、仿 造 或与算法应用系儿人寸类型的数据对开1。 是否可人工中断运行，重点验证算法在被攻击或出现意外时可被） 否有效。 刘机器" 者的安全要求 a）应 算法代码、算氵 寺征数据的逆 包括但不限于对算法代 码讠 至存储算法模 b)）应i 时所使用数据 包括但不限于 据进行完整性校验，以 及1 对输人输出数 的加密保护等 式、大小等属性加以限制，防止特殊数据输入使模型出 主输人较多 帝选过滤机制确保算法稳定运行。 如与其余输人数据的差异较大的极端值等 性，识别安全风险，形成算法安全说明文档，文档应准 限、安全风 e) 应具备算法模型备份还原能力 要情况下对算法模型进行 4