自然语言处理技术及产品评估方法 第4部分：机器同传系统 Natural language processing technology and product evaluation method — Part 4: machine simultaneous interpretation system （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发 布ICS 35.240 CCS L67YD/T XXXX—XXXX I 目 次 前 言 ....................................................................... II 引 言 ...................................................................... III 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 ...................................................................... 2 5 机器同传系统基本框架 ........................................................ 2 6 评估方法概述 ................................................................ 2 7 具体指标项及评估方法 ........................................................ 3 7.1 测试环境设定 .......................................................... 3 7.2 机器同传指标体系 ...................................................... 4 7.3 基础功能 .............................................................. 4 7.4 AI核心技术支持能力评估 ............................................... 5 7.5 服务成熟度 ........................................................... 10 7.6 附加业务功能 ......................................................... 12 YD/T XXXXX—XXXX II前 言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》 给出的规定起草。 本文件是 《自然语言处理技术及产品评估方法 》系列标准之一 ，该系列标准的结构和名 称如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传系统； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利 ，本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、南京新一代人工智能研究院有限公司、深圳市 腾讯计算机系统有限公司 、科大讯飞股份有限公司 、北京百度网讯科技有限公司 、北京声智 科技有限公司、北京理工大学。 本文件主要起草人 ：张学强、董晓飞、张丹、曹峰、王浩、 陆铁文、 柴华、姚志鹏、刘 俊华、张睿卿、何中军、吴华、李笑如、陈孝良、李良斌、屈少杰。 YD/T XXXX—XXXX III 引 言 0.1 编制目的及标准结构 同声传译是指在不打断演讲者的情况下对讲话内容进行实时翻译 ，通常应用于外交谈判 与国际会议等重要场合 ，机器同传则是借助计算机实现同声传译 。同传最大的挑战在于对效 率和效果的平衡 ，既要满足译文与原文间隔在规定时间内 ，也须保证听众及时地获取有效信 息。然而，目前市面上的机器同传系统基础功能并不完善 ，支持语种和方向不尽相同 ，翻译 效果和时延也层次不齐 ，在应用场景定制 、演讲人私有资源快速优化等方面存在着较大的差 距，给B端和 G端的用户选择产品带来极大的困惑与挑战。为此，拟开展机器同传相关标 准的制定，对其集成功能、技术效果、服务形式、安全可靠等方面进行规范。 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基 础技术，可提供情感分析、机器翻译、对话系统等 NLP应用技术的服务平台，从 基础技术、应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、 对话功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻 译机，从基础功能、 AI核心技术支持能力、安全性与可靠性和附加业务功能等四 个维度对智能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输 出或译文投屏的机器同传系统，从基础功能、 AI核心技术支持能力、工程实现能 力、附加业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种 产品形态的智能客服系统，从基础功能、 AI核心技术支持能力、企业服务能力和 系统成熟度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语 音、自然语言理解、基础能力、质检能力四个维度进行评估。 本文件是“自然语言处理技术及产品评估方法” 系列文件第 4部分：机器同传系统，是 为机器同传系统的研发者和选型者提供评估参考规范。 0.2 相关专利情况说明 本文件的发布机构提请注意 ，声明符合本文件时 ，可能涉及到 5和7.4.3中如下 2项和 机器同传技术相关的专利使用。专利名称如下： CN201911010911.1 ，语音合成的评估方法、装置、电子设备及可读存储介质； CN201810712539.8 ，用于语音翻译的方法、装置、设备和计算机可读存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 该专利持有人已向本文件的发布机构承诺 ，他愿意同任何申请人在合理且无歧视的条款 和条件下 ，就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 ，相 关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上 地十街 10号百度大厦 2层 YD/T XXXXX—XXXX IV请注意除上述专利外 ，本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识 别这些专利的责任。YD/T XXXX—XXXX 1 自然语言处理技术及产品评估方法 第4部分：机器同传系统 1　范围 本文件规定了可提供语音输入 、自动分句 、机器翻译 、语音输出或译文投屏的机器同传 系统指标要求和评估方法 ，主要包括 机器同传系统基本框架 、评估方法概述和具体指标项及 评估方法，所述机器同传系统不包括只具有转写、听写功能的智能系统。 本文件适用于指导第三方测评机构对机器同传系统的评估、验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 19682-2005 翻译服务译文质量要求 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 21024-2007 中文语音合成系统通用技术规范 3　术语和定义 下列术语和定义适用于本文件。 3.1　 语音识别 speech recognition 将人类的声音信号转化为文字或者指令的技术。 [来源：GB/T 21023-2007 ，3.1] 3.2　 语音合成 text to speech 通过机械的、电子的方法合成人类语言的过程。 [来源：GB/T 21024-2007 ，3.1] 3.3　 机器同传系统 machine simultaneous inter