ICS 35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/T XXXX-XXXX 智能对话平台开发与服务能力评估方法 Intelligent dialogueplatform development and service capability evaluationmethodm （报批稿） 2024-XX-XX发布 2024-XX-XX实施 发布 中华人民共和国工业和信息化部 YD/T XXXXX-XXXX 前 言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院，北京邮电大学，南京新一代人工智能研究院有限公司，科 大讯飞股份有限公司，北京百度网讯科技有限公司，思必驰科技股份有限公司，中国移动通信有限公司 研究院，上海浦东发展银行，OPPO广东移动通信有限公司，上海智臻智能网络科技股份有限公司，竹间 智能科技（上海）有限公司，深圳追一科技有限公司，在路上（北京）科技有限公司，北京卓信智恒数据 科技股份有限公司，华为技术有限公司，腾讯科技（深圳）有限公司，浙江百应科技有限公司，来也科 技（北京）有限公司，中科世通亨奇（北京）科技有限公司，美的集团（上海）有限公司，国际商业机 器（中国）有限公司，北京希尔贝壳科技有限公司。 本文件主要起草人：王颖、李荪、曹峰、赵丹萍、程祥、双错、王玉龙、董晓飞、张学强、刘权、 梅林海、孙叔琦、张瑜、孟繁宇、李亚楠、黄健、庞翔宇、叶秋禹、许鹏、梁梅莲、蔡坤祥、周磊、王 萌阳、周津、徐沾伟、刘鹏、张荣松、刘瑛、胡珉、吕超、杨洋、李二敏、董世蕊、林英杰、李明超、 刘杰、张晗、张宏伟、刘颖、殷丹平、高峰、周裕健、郭利峰、韩旭、樊威、张媛媛、燕江依、唐甜甜、 邱国霞、郝小颖、向建发、景宝利、张林林、陈俊清、孟凡华、黄宇倪星光、林涵、蒋兵兵、王雅婷、 邓超、于艺波、王彦昕、程新、脱立恒、蔡亚森、卢佳楠、张雄捷、徐建、周科霖、卜辉。 I YD/T XXXXX-XXXX 引 言 智能对话是当下人工智能最核心的分支之一，随着智能化深入生活，其应用需求爆发式增长。智能 对话平台类产品应有覆盖领域广、定制化强、迭代更新快及落地周期短等特点，以低代码或零代码的方 式，为用户提供快速配置及搭建对话系统的平台化服务，一站式提供适用于各行各业多种场景的对话交 互能力。目前，国内外已涌现诸多对话平台类产品，但仍未有规范性文件支撑此类产品能力等级评估， 故此本文件作为首个智能对话平台能力评估指导性准则，填补标准体系空缺，以约束产品质量，推动产 业有序发展。 III YD/T XXXXX-XXXX 智能对话平台开发与服务能力评估方法 1范围 本文件规定了智能对话平台的对话理解能力、对话搭建能力、对话优化能力、对话定制能力和平台 服务等能力要求及相关的评估方法。 本文件适用于指导对智能对话开发平台的设计、开发、应用及服务能力的评估、验收等工作。 2规范性引用文件 2 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T5271.29-2006 信息技术词汇第29部分：人工智能语音识别与合成 GB/T36464.1-2020 信息技术智能语音交互系统第1部分：通用规范 3术语和定义 GB/T5271.29-2006和GB/T36464.1-2020界定的以及下列术语和定义适用于本文件。 3. 1 任务式对话task-basedconversations 为满足用户某一需求而产生的多轮交互方式。 注：机器人通过理解、澄清等方式确定用户意图，继而通过答复、调用API等方式完成该任务。机器人需要理解上 下文信息并作出下一步动作。 3. 2 问答式对话question-and-answerconversations 适用于问题问法多样，但答案相对固定的交互方式。 注：不需要根据用户对话话语中的关键信息来设定不同的答复内容。比如针对各种规则制度、政策法规等信息的问 答技能。 3. 3 闲聊式对话smalltalk conversations 系统能以任意话题与用户进行交流的交互方式，不局限于对话领域。 3. 4 对话意图dialogueintent 人机交互过程中用户的实际意图需求，比如期望机器完成特定任务、或期望得到某个问题的答案等。 3.5 词槽slot 满足用户对话意图时的关键信息或限定条件，可为用户需要提供的筛选条件。 示例：在查询天气时，词槽是地点和时间。例如：“换到中央台”中的“中央台”就是一个“电视台词槽”，它会一 定程度上影响系统对“换台”这个对话意图的执行。 3. 6 1 YD/T XXXXX-XXXX 词典dictionary 对应的词汇工具。 注：每个词槽都需要对应一套词典，技能的专名词识别服务会结合词槽绑定的词典来识别用户问话中的词槽。词典 可自定义配置，当进行词槽识别时，会优识别为自定义词典中的词汇。 3. 7 特征词featurewords 具有某一类特征的词，用于约束某条对话模板的匹配范围。 注：活用特征词机制可以事半功倍的提高对话模板的精度和覆盖度。 3.8 对话模板conversationtemplates 给对话系统按具体语法、句式做出的示范，使系统在某一个特定语法、句式中，理解对话意图，定 位重要信息词及其词槽或定位特征词。 3. 9 对话样本sampleconversation 真实对话场景下用户表达目的的句子，样本中需要表征句子的对话意图、重要信息及其词槽 3.10 问答对pairof questionsandanswers 问题与答案的组合。支持一对一、一对多、多对一和多对多等方式设置问题及答案。 3. 11 标签labe 对问答对进行分类标签化管理，可以按业务分类、问题所属业务部门等维度为问答对设置标签，提 高问答对的管理效率。 4缩略语 下列缩略语适用于本文件。 API：应用编程接（ApplicationProgrammingInterface） FAQ：常见问题（FrequentlyAskedQuestion） NLG：自然语言生成（NaturalLanguageGeneration) NLP：自然语言处理(NaturalLanguageProcessing) SDK：软件开发工具（包SoftwareDevelopmentKit) 5平台概述及功能架构图 5 智能对话平台类产品是指能够开放对话系统开发与构建能力的服务型平台或系统，涵盖提供对话理 解、对话搭建、对话优化、对话定制、对接部署及平台服务六大核心能力，其特点为可实现低代码或零 代码进行对话系统定制、具备对话系统快速优化及选代能力。产品形态包括但不限于对话平台云服务、 对话平台系统、机器人工厂等，其功能框架如图1所示，六个核心能力在总提架构中的作用如下： 对话理解能力：考察该平台的核心对话理解能力，此部分只从对话类型支持范围、对话技能丰富度、 对话理解算法能力等维度进行评估，不涉及流程操作。 对话搭建能力：考察平台是否可以做到搭建简单、调试便捷，主要从对话搭建流程、工程化程度等 维度进行评估。 2 YD/T XXXXX-XXXX 对话优化能力：考察平台优化迭代能力，涉及对话调试、测试和调优能力，同时对数据富集和诊断 分析等能力进行评估。 对话定制能力：考察平台是否为用户开放灵活的系统定制选项，即通过简单勾选或指标设置等方式 进行定制化对话系统构建，如支持用户通过勾选或者指标设置进行多对话语种、多交互模态、多种训练 算法的选择以及多样的个性化属性定制等。 对接部署能力：考察平台是否具备灵活接入接出及部署的高度兼容能力。 平台服务能力：考察平台是否具备便于管理和运营的功能模块，并可提供基础或专业的产品服务， 可以提供包括但不限于数据管理、用户管理、产品文档、培训体系、软件升级、产品可用性承诺、以及 问题和建议反馈处理支持等。 对话搭建 对话优化 对话定制 对接部署 资源调用 对话调试 交互语种定制 资源管理 平台对接 可！ 对话测试 数 交互模态定制 视化搭建 数据建设 据富 对话调优 对话功能 个性化属性 服务部署 集 搭建 定制 诊断分析 语音能力 模型优化 训练算法定制 搭建 对话理解 对话 通用理 任务式对 闲聊式对 推理 特定 类型 解能力 话理解 问答式对话理解 话理解 对话 策略 平台服务 用户管理 用户管理 平台扩展 应用数据统计 可用性保障 图1智能对话平台系统功能框架 评估指标详述 本文件从功能全面性、操作便捷性及交互成熟度等三个维度，设立对话平台开发与服务能力评价指 标，具体包括以下六个部分：对话理解能力、对话搭建能力、对话优化能力、对话定制能力、对接部署 能力及平台服务能力，相关能力项如表2所示。 表2智能对话平台开发与服务能力评估能力项 序号 能力模块 能力项 1 对话类型 2 对话理解 通用理解能力 3 任务式对话理解 3 YD/T XXXXX-XXXX 4 问答式对话理解 5 闲聊式对话理解 9 推理对话 7 特定问答策略 8 资源调用 6 资源管理 10 数据建设 对话搭建 11 可视化搭建 12 对话功能搭建 13 语音能力搭建 14 对话调试 15 对话测试 16 对话调优 17 对话优化 数据富集 诊断分析 18 19 模型优化 20 优化工具 2