ICS 35.240 CCS L67 YD 中华人民共和国行业标准 YD/T ××X× 面向应用场景的自然语言处理模型评估方 法 Evaluation specification for application Scenario-oriented Natural Language Processing Model （报批稿） XXXX - XX - XX 发布 XXXX - XX - XX 实施 发布 中华人民共和国工业和信息化部 YD/T XXXX—XXXX 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》 的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院，北京百度网讯科技有限公司，之江实验室，南 京新一代人工智能研究院有限公司，蚂蚁科技集团股份有限公司，腾讯云计算（北京）有限 责任公司，上海商汤智能科技有限公司，中通服咨询设计研究院有限公司。 本文件主要起草人：刘璟，吴华、张学强、张丹、董晓飞、曹峰，于佃海，黄丹丹，蒋 晓琳，洪豆，刘昊，李弘宇，牛正雨，王历伟，刘家辰，刘海涛，蒋慧，吴庚，冯小芳 II YD/T XXXX—XXXX 引言 0.1编制自的及标准结构 近年来，随着数据资源的日益丰富、深度学习等模型算法的突破，自然语言处理技术 （NaturalLanguageProcessing，NLP）取得了快速的发展，作为认知智能的核心技术，NLP 技术逐渐从研究走向行业应用，以其为核心的产品开始呈现实用化的发展趋势。模型评估是 模型开发过程中不可或缺的一部分，有助于发现表达数据的最佳模型和所选模型的性能。基 于此，本文件建立一套规范化的数据集并基于此建立统一的模型评估方法和指标体系，从而 推动NLP相关算法技术发展，并对行业起到引导和推动作用，促进人工智能的快速应用。 本文件面向情感分析、阅读理解、对话任务三类应用场景，规范了自然语言处理模型评 估指标，以及对应的数据集要求与评估方法， 0.2相关专利情况说明 本文件的发布机构提请注意，声明符合本文件时，可能涉及到5和10章中如下2项和 机器翻译技术相关的专利使用。专利名称如下： CN201911010911.1，语音合成的评估方法、装置、电子设备及可读存储介质； CN201810712539.8，用于语音翻译的方法、装置、设备和计算机可读存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场 该专利持有人已向本文件的发布机构承诺，他愿意同任何申请人在合理且无歧视的条款 和条件下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相 关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上地十街10号百度大厦2层 请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识 别这些专利的责任。 IV YD/TXXXXXXXXX 面向应用场景的自然语言处理模型评估方法 1范围 本文件规定了面向应用场景的自然语言处理模型评估指标，以及对应的评估数据集要求 与评估方法。具体包括：应用场景包括情感分析、阅读理解、对话任务、文本摘要、机器翻 译。 本文件适用于构建自然语言处理模型评估数据集，适用于指导第三方测评机构对自然语 言处理模型的评估、验收等工作。 注：其他自然语言处理应用场景暂不在本标准范围内定义。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期 的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括 所有的修改单）适用于本文件。 GB/T41867-2022信息技术人工智能术语 YD/T4394.1-2023自然语言处理技术及产品评估方法第1部分：基础服务平台 3术语和定义 下列术语和定义适用于本文件 3. 1 自然语言处理naturallanguageprocessing 计算机科学领域与人工智能领域中的一个重要方向，研究能实现人与计算机之间用自然 语言进行有效通信的各种理论和方法，旨在研制能有效地实现自然语言通信的计算机系统， 特别是其中的软件系统。 [来源：YD/T4394.1-2023，3.1.1] 3. 2 鲁棒性robustness 系统在任何情况下保持其性能水平的特性。 3. 3 可解释性interpretability 2 YD/TXXXXXXXXX 系统以人能理解的方式，表达影响其（执行）结果的重要因素的能力。 注：可解释性可理解为对“原因”的表达，而不是尝试以“实现必要的优势特性”做出 争辩。 3. 4 余度distinct 衡量是否出现大量的通用性、重复性回复程度。 4缩略语 下列缩略语适用于本文件： NLP自然语言处理Natural LanguageProcessing BLEU双语评估研究BilingualEvaluationUnderstudy EM精准匹配ExactMatch ROUGE基于召回率的指标评价算法Recall-OrientedUnderstudyforGistingEvaluation METEOR显式排序的翻译评估指标MetricforEvaluationofTranslationwithExplicit Ordering 5自然语言处理应用场景概述 基于机器学习的人工智能通过从数据中学习模式并建立模型来产生输出，自然语言处理 是人工智能的一个分支，用于分析、理解和生成自然语言。任务覆盖全面、高质量的数据集 是自然语言处理技术发展的重要基础，一方面可以提升NLP模型，另一方面，构建多维度 综合评价的数据集，是评价模型的全面性、泛化性和鲁棒性等的重要手段。在自然语言处理 产业应用的过程中，应面向不同的应用场景，构建匹配其场景需求的训练与评估数据集。 本标准面向不同的应用场景，给出模型评估指标，及其对应的评估数据集与评估方法， 从准确率、F1值、鲁棒性、可解释性、BLEU等角度对NLP模型进行评估 情感分析 阅读理解 对话任务 本文摘要 机器翻译 应用！ 文本情感分析 抽取式阅读理解 知识对话 输入任务分类 输出任务分类 统计机器翻译 场 画像对话 单文档 抽取式摘要 多模态情感分析 选择式阅读理解 神经机器翻译 推荐对话 多文档 生成式摘要 自然语言处理模型 数据集 图1.自然语言处理应用场景（本标准规范场景） 图1为本标准规范的自然语言处理模型应用场景，NLP模型的输入类型为文本、音频 或视频等，模型的输出应用场景包括情感分析、阅读理解、对话、文本摘要、机器翻译等。 a）情感分析场景：模型自动识别和提取文本中的倾向、立场、评价、观点等主观信息； 3 YD/T XXXXX—XXXX 阅读理解场景：模型进行文本阅读，然后回答和阅读内容相关的问题； c) 对话场景：模型进行对话理解、对话管理，输出对话回复； 文本摘要场景：模型自动将文本或文本集合转换为包含关键信息的简短摘要； 机器翻译场景：模型将源语言翻译为目标语言。 6情感分析模型评估方法 6.1 情感分析场景分类 情感分析场景可分为文本情感分析、多模态情感分析两类任务： a）文本情感分析：模型的输入为文本，包括句子级情感分类、评价对象级情感分类、 以及评价对象抽取三类子任务； b）多模态情感分析：模型输入为文本、图像、语音或者视频等两种或者两种以上的模 态，包括视频情感分类等子任务。 6.2情感分析模型评估指标 按照不同的子任务分类，情感分析模型评估指标如表1所示。 表1.情感分析模型评估指标 任务类型 子任务 评估指标 准确率P、鲁棒性得分R、可 句子级情感分类 解释性得分I 文本情感分析 评价对象级情感分类 准确率P 评价对象抽取 F1值 多模态情感分析 视频情感分类 准确率P 准确率可作为句子级情感分类、评价对象级情感分类、视频情感分类子任务评估指 标，其计算公式如下： P = #(1) 式中： P一准确率 D1一模型预测正确的样本个数 D一评估数据集总样本个数 b）F1值可作为评价对象抽取子任务评估指标，F1值可通过准确率与召回率计算，其计 算公式如下： D1 P : #(2) 式中： 4 YD/TXXXXX—XXXX P一精确率 D1 一 模型抽取正确的评价对象个数 D一模型抽取的评价对象的总个数 D1 R = 1#(3) D2 式中： R－召回率 D1 模型抽取正确的评价对象个数 D2 测试集中包含的评价对象的总个数 - 2×P×R F1 = #(4) P + R 式中： F1一F1值 P一精确率 R一召回率 c) 鲁棒性得分可作为句子级情感分类子任务的评估指标，其计算公式如下： Di + Si R = #(5) D+ S 式中： R一鲁棒性得分 模型在原始输入文本上预测正确的样本个数 S1 一 样 模型在扰动文本上预测正确的样本个数 D-原 原始输入文本总个数 S-# 扰动文本的总个数 可解释性得分可作为句子级情感分类子任务的评估指标，可解释性得分可通过准确 (p 率与召回率计算，其计算公式如下： D1 P = #(6) D 式中： P一精确率 D1一模型抽取正确的证据字的个数 5