ICS35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/TXXXXXXXXX 代替XX/T 大规模预训练模型技术和应用评估方法 第4部分：可信要求 Evaluation method of large scale pre-training model technology and application Part 4: trustworthy requirements （报批稿） XXXX - XX- XX 发布 XXXX - XX-XX 实施 中华人民共和国工业和信息化部 发布 YD/T XXXXX—XXXX 目 次 前 言 引 言 1范围 2规范性引用文件 3术语和定义 4缩略语 5概述 6基础软硬件可信. 6.1硬件可信... 6.1.1硬件安全性 6.1.2硬件可靠性. 6.1.3硬件兼容性， 6.2软件可信... 6.2.1软件安全性. 6.2.2软件兼容性. 7数据可信.. 7.1采集可靠性. 7.1.1来源可靠性 7.1.2过程可控性. 7.1.3存储可靠性. 7.2预处理有效性 7.2.1标注要求.. 7.2.2脱敏要求. 7.2.3清洗要求 7.2.4去毒要求 7.2.5增强要求.. 7.3使用可控性. 7.3.1隐私保护 7.3.2过程安全.. 7.3.3销毁安全 8模型可信， 8.1模型鲁棒性. 8.2模型稳定性.. 8.3模型透明性... 8.4模型公平性.. 8.5模型可追溯性. 9应用可信 8 II YD/T XXXXX—XXXX 9.1服务可信 9.1.1服务稳健性 8 9.1.2服务可控性.. 9.1.3服务保障性. 9.1.4服务可反馈性 9.2内容可信..... 9 9.2.1内容准确性 9 9.2.2内容真实性. 9.2.3内容可追溯性 9 9.2.4内容可控性 9.2.5价值观对齐. 附录A（资料性）大模型对抗样本攻击类型 11 附录B（资料性）内容风险信息类型 13 III XXXX—XXXXX1/0 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件是YD/TXXX《大规模预训练模型技术和应用评估方法》系列标准的第4部分，YD/TXXX 已经发布了以下部分： -第3部分：模型应用； 一第4部分：可信要求。 本文件是《大规模预训练模型技术和应用评估方法》系列标准的第4部分。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、中国移动通信集团有限公司、华为云计算技术有限公司、 北京交通大学、上海燧原科技股份有限公司、蚂蚁科技集团股份有限公司、新华三技术有限公司、北京 奇虎科技有限公司、北京百度网讯科技有限公司、华为技术有限公司、上海商汤智能科技有限公司、科 大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、浪潮云信息技术股份公司、中国联合网络通信 集团有限公司、中国科学院自动化研究所、中国电信集团有限公司、浙江邦盛科技股份有限公司、北京 华品博睿网络技术有限公司、杭州海康威视数字技术股份有限公司、马上消费金融股份有限公司、亚信 科技（中国）有限公司、北京九章云极科技有限公司、美的集团（上海）有限公司、国投智能厦门信息 股份有限公司、天津大学、中国信息通信科技集团有限公司、阿里云计算有限公司、北京启明星辰信息 安全技术有限公司、北京神州绿盟科技有限公司、南京新一代人工智能研究院。 本文件主要起草人：董晓飞、丁怡心、吴思奇、孟悦、张学强、曹峰、龚柳婷、张玮婷、杨凯、刘 全超、聂锦燃、蔡云飞、廖宇轩、郑子木、吴坤、胡建村、桑基韬、黄晓雯、梅敬青、王思善、王维强、 林冠辰、禹龙、杨阳、邹权臣、张德岳、郭建领、包沉浮、张竞、杜思清、徐浩、蒋慧、刘聪、王士进、 刘权、黄超、裴歌、尹萍、刘琛、魏家馨、陈佳琦、钱胜胜、曾然然、任宏丹、高丽、高杨、秦川、马 良、蒋宁、经琴、路明奎、刘兆涵、骆志伟、WangDing、金辉、王岚君、王照、张怀文、董昊。 IV XXXX—XXXXX1/0 引言 大规模预训练模型是人工智能新基建的技术底座，缓解人工智能开发及应用过程中的“碎片化"问题 助推自然语言处理、智能语音、计算机视觉等人工智能技术取得突破，加速人工智能落地进程，进而带 动国内人工智能基础设施的发展，助力人工智能向实用化、通用化和普惠化发展。 YDTXXX《大规模预训练模型技术和应用评估方法》规定了大规模预训练模型研发及应用全生命 周期能力要求及评估方法，适用于构建并完善大规模与训练模型开发、应用、运营、可信能力，规范大 规模与训练模型评估方法。 大规模预训练模型技术和应用评估方法系列标准拟由以下部分组成。 第1部分：模型开发。面向大模型开发过程，从数据管理、模型训练、模型管理、模型部署 开发流程一体化五大维度，综合评估大模型开发能力。 一第2部分：模型能力。面向大模型的技术和系统能力，从能力支持度和服务成熟度两方面对大 模型能力进行规范。 一第3部分：模型应用。面向大模型的应用落地阶段，从应用丰富度、应用灵活度、应用成熟度 三个方面对应用过程进行规范。 第4部分：可信要求。面向大模型研发及应用全生命周期，从基础软硬件可信、数据可信、模 型可信、应用可信等方面综合评估大模型满足可信要求的能力。 一第5部分：模型运营。面向大模型运营阶段，从大模型工具平台、运营管理能力对大模型运营 能力进行评估。 A XXXX—XXXXX1/0 大规模预训练模型技术和应用评估方法 第4部分：可信要求 1范围 本文件规定了大规模预训练模型在研发及应用过程中的可信要求，包括基础设施可信、数据可信、 模型可信和应用可信四大维度。 本文件适用于为研发及应用大规模预训练模型的机构提供可信评估参考。 规范性引用文件 本文件没有规范性引用文件。 3 术语和定义 下列术语和定义适用于本文件。 3. 1 大规模预训练模型large-scalepre-trainedmodel 大规模预训练模型是一种参数规模较大的预训练模型，通过自监督或者无监督技术从海量的通用数 据中训练得到基础模型，并结合下游具体任务对其进行微调，最终被训练成具有逻辑推理和分析能力的 人工智能模型。 3. 2 可靠性reliability 人工智能实施一致的期望行为并获得结果的性质。 [来源：GB/T41867-2022，3.4.4] 3. 3 可控性controllability 人工智能系统被人类或其他外部主体干预的性质。 [来源：GB/T41867-2022，3.4.4] 3. 4 鲁棒性robustness 人工智能系统在任何情况下都保持其性能水平的特性。 [来源：GB/T41867-2022，3.4.9] 3. 5 透明性transparency 人工智能系统与利益相关方交流关于该系统适当信息的特性。 [来源：GB/T41867-2022，3.4.12] 1 YD/TXXXXX—XXXX 3. 6 内容风险信息ContentRiskInformation 《网络信息内容生态治理规定》中指出的11类违法信息以及9类不良信息的统称。 缩略语 4 下列缩略语适用于本文件。 Al 人工智能 Artificial Intelligence API 应用程序编程接口 Application Programming Interface ASR 攻击成功率 Attack Success Rate BLEU 双语评估替补 Bilingual Evaluation Understudy CPU 中央处理器 Central Processing Unit CV 计算机视觉 Computer Vision GPU 图形处理器 Graphics Processing Unit NLP 自然语言处理 Natural Language Processing 消息摘要算法版本5 Message Digest Algorithm 5 MD5 困惑度 Perplexity PPL 稳定度指标 Population Stability Index PSI 流加密算法 Rivest Cipher 4 RC4 Recall-Oriented UnderstudyforGisting 基于召回率的匹配度计算 ROUGE Evaluation 非对称加密算法 RonRivest&AdiShamir&LeonardAdleman RSA SM1 Cryptographic Algorithm SM1 商用密码分组标准对称算法 5概述 5 大规模预训练模型（以下简称“大模型”）的可信要求体系分为能力域、能力子域、能力项三个层 级，包含基础软硬件可信、数据可信、模型可信、应用可信四个能力域，具体能力子域和能力项详见表 1。 表1大模型可信要求体系关键指标 能力域 能力子域 能力项 硬件安全性 基础软硬件 硬件可信 硬件可靠性 可信 硬件兼容性 软件可信 软件安全性 2