自然语言处理技术及产品评估方法 第2部分：对话系统 Natural language processing technology and product evaluation method—Part 2: dialogue system （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发 布ICS 35.240 CCS L67YD/T XXXX—XXXX I目 次 前 言 ................................................................................ II 引 言 ............................................................................... III 1 范围 ................................................................................. 1 2 规范性引用文件 ....................................................................... 1 3 术语、定义 ........................................................................... 1 4 对话系统评估基本框架 ................................................................. 2 4.1 概述 ........................................................................... 2 5 指标体系及评估方法概述 ............................................................... 2 5.1 指标体系概述 ................................................................... 2 5.2 评估方法概述 ................................................................... 3 6 指标项及评估方法 ..................................................................... 3 6.1 对话类型 ....................................................................... 4 6.2 对话功能 ....................................................................... 5 6.3 对话性能 ....................................................................... 6 6.4 对话体验 ....................................................................... 8 参考文献 .............................................................................. 14 YD/T XXXX—XXXX II前   言 本文件按照 GB/T 1.1-2020《标准化工作导则 第1部分：标准化文件的结构和起草规则 》给出 的规定起草。 本文件是《自然语言处理技术及产品评估方法》系列标准的一部分，该标准的结构和名称 预计如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、北京百度 网讯科技有限公司 、OPPO广东移动通信有限公司 、北京声智科技有限公司 、思必驰科技股份有 限公司、中国电信集团有限公司、中国移动通信集团有限公司、北京理工大学。 本文件主要起草人：董晓飞、张学强、曹峰、张丹、王浩、陆铁文、耿彪、孙叔琦、李婷 婷、李笑如、王小璞、李二敏、杨振宇、陈孝良、李良斌、陈骏、豆家敏、赵龙刚、杨震、孙 佩霞、李强、白翠琴、张伟、杨阳、屈少杰。 YD/T XXXX—XXXX III引   言 0.1 编制目的及标准结构 随着人工智能产业的高速发展，智能产品对人机对话的需求越来越强烈，对话系统技术逐 步在各行业中大规模应用。目前，市场上已经衍生了一系列以对话系统为核心技术的产品或服 务，如：智能客服、智能音箱、智能家居和语音导航等。然而对话系统在实际应用时，受到技 术瓶颈、人声发音、噪声环境、系统配置的影响，其表现效果无法满足人们的实际需求。与此 同时，由于智能对话行业暂无可参考的质量检验标准，导致项目投标和交付时很难全面体现对 话系统的能力，无法有效控制用户对项目抱有的预期。为引导产业健康发展，增强用户对对话 系统产品或服务选择的可信度，为用户采购提供优质服务提供参考，制定对话系统技术相关标 准显得尤为必要。 该系列文件的结构、名称和目的如下： 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基础技 术，可提供情感分析、机器翻译、对话系统等 NLP应用技术的服务平台，从 基础技术 、 应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、对话 功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机 。目的在于可实现语音输入 、自动翻译和语音输出的智能翻译机 ， 从基础功能、 AI核心技术支持能力、安全性与可靠性和附加业务功能等四个维度对智 能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输出或 译文投屏的机器同传系统，从基础功能、 AI核心技术支持能力、工程实现能力、附加 业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种产品 形态的智能客服系统，从基础功能、 AI核心技术支持能力、企业服务能力和系统成熟 度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语音 、 自然语言理解、基础能力、质检能力四个维度进行评估。 本文件是“自然语言处理技术及产品评估方法” 系列文件第 2部分：对话系统，是为对话 系统的研发者和选型者提供评估参考规范。 0.2 相关专利情况说明 本文件的发布机构提请注意，声明符合本文件时，可能涉及到 6.3.2和6.3.3中如下 2项和 对话系统技术相关的专利使用。专利名称如下： CN202110723052.1 ， 评 估 咨 询 对 话 质 量 的 方 法 、 装 置 、 设 备 和 存 储 介 质 ； CN201810713093.0 ，用于跨类型对话的方法、装置、设备以及计算机可读存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 YD/T XXXX—XXXX IV该专利持有人已向本文件的发布机构承诺，他愿意同任何申请人在合理且无歧视的条款和 条件下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相关信 息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上地十街 10号百度大厦 2层 请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识别 这些专利的责任。 YD/T XXXX—XXXX 1自然语言处理技术及产品评估方法 第2部分：对话系统 1　范围 本文件规定了基于自然语言处理基础技术的智能对话系统的评估内容 、方法及要求 ，主 要从对话类型、对话功能、对话性能和对话体验四个维度进行评估。 本文件适用于指导第三方测评机构对智能对话系统的评估、验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 5271.28-2001 信息技术 词汇 第28部分：人工智能 基本概念与专家系统 GB/T 36464.3-2018