ICS35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/TXXXXXXXXX 面向跨语言交互场景的机器翻译系统技术 要求和评估方法 Technical requirements and evaluation methods of machine translation systems for cross-lingual interaction scenarios （报批稿） 202X-XX-XX 发布 202X-XX-XX实施 中华人民共和国工业和信息化部 发布 XXXX—XXXXX 1/O 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任 本文件由中国通信标准化协会归口。 本文件起草单位：中国科学院自动化研究所、北京中科凡语科技有限公司、北京百度网讯科技有限 公司、腾讯云计算（北京）有限公司、华为终端有限公司、中国电子科技集团公司信息科学研究院、中 国信息通信研究院、中科凡语（武汉）科技有限公司、北京大学、北京邮电大学、电子科技大学、哈尔 滨工业大学、苏州大学、科大讯飞股份有限公司 本文件主要起草人：向露、翟飞飞、赵阳、邓彪、周玉、史桂华、吴华、何中军、孙萌、黄国平、 张穗云、涂丹丹、徐玥、姜巍、纪威宇、邱玥、曹峰、燕江依、李荪、韩延超、邓志鸿、李子恒、王玉 龙、苏森、张忠宝、刘娇、蓝天、刘瑶、赵妍妍、王中卿、高建清 III XXXX—XXXXX 1/△ 面向跨语言交互场景的机器翻译系统技术要求和评估方法 1范围 本文件给出了面向跨语言交互场景的机器翻译系统框架，规定了机器翻译系统的技术要求和评估方 法。 本文件适用于面向跨语言交互场景的机器翻译系统的构建、应用、实施、验收与维护。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T19682-2005翻译服务译文质量要求 GB/T22239-2019信息安全技术网络安全等级保护基本要求 GB/T35273-2000信息安全技术个人信息安全规范 3术语和定义 下列术语和定义适用于本文件。 3. 1 机器翻译machinetranslation 将一种自然语言（源语言）翻译成另一种自然语言（目标语言）的过程、技术和方法 3. 2 机器翻译系统machinetranslationsystem 一种能够将一种自然语言（源语言）自动翻译成另一种自然语言（目标语言）的计算机系统。 3. 3 跨语言交互场景cross-lingualinteractionscenario 在不同语言使用者之间进行信息交换、沟通或交互的情境。 3. 4 自然语言naturallanguage 人类日常使用的满足人类交流需要而自然演化出来的语言。例如汉语、英语等。 3. 5 源语言sourcelanguage 机器翻译中被翻译的自然语言语种。 3. 6 目标语言targetlanguage 机器翻译中翻译到的语种。 3. 7 词库lexicon XXXX—XXXXX 1/△ 利用数据库技术建立起来的一定范围的词汇总集，具有较强的查询、统计功能。 3.8 术语库termbank 记录专业术语及其相关信息的知识库。 3. 9 语言模态languagemodality 以文本、语音、图像、视频或文档等不同形式呈现或表达的自然语言信息。 3. 10 要素crucial element 对现实世界中具体或抽象的实体（如人、组织、地点以及时间、数量等）的指称，是文本中基本的 信息元素。 4缩略语 下列缩略语适用于本文件。 API：应用程序编程接口（ApplicationProgrammingInterface） BLEU：双语替换评测（BilingualEvaluationUnderstudy） 面向跨语言交互场景的机器翻译系统框架 跨语言交互场景指的是在不同语言使用者之间进行信息交换、沟通或交互的情境。这些场景包括但 不限于在线聊天、电子邮件往来、商务会议、学术研讨、旅游导航、媒体娱乐等。在这些场景中，机器 翻译系统能够实时或近乎实时地将一种语言翻译成另一种语言，帮助用户快速理解并回应对方的信息， 从而消除语言障碍，促进跨文化的交流与合作。 面向跨语言交互场景的机器翻译系统的通用框架如图1所示，包含数据管理、输入模块、机器翻译 系统服务引擎、模型管理、输出模块、运维管理、应用层。机器翻译系统提供各类翻译场景所需的基础 能力，包括数据存储，数据预处理、后处理，外部数据引入，模型训练与推理，多算法管理与集成，质 量评估，模型存储与调用，应用接口管理与运维管理等。系统支持各个模块间及模块内部进行数据、特 征等信息传递及操作。 2 XXXX—XXXXX1/O 应用层 输入模块 机器翻译系统 运 服务引掌 楼 维 管 训算法 型 管 理 理 管 推理算法 优化算法 输出模块 图1面向跨语言交互场景的机器翻译系统框架 6面向跨语言交互场景的机器翻译系统功能概述 6.1数据管理 数据管理模块包含翻译数据和外部知识数据的收集、存储、预处理、后处理、分析、可视化及访问 过程。数据管理具体包括各种模态数据对（如文本翻译平行数据对，语音翻译平行数据对，图像翻译平 行数据对，视频翻译平行数据对，手语翻译平行数据对，图像增强的文本翻译平行数据对，视频增强的 文本翻译平行数据对等）、各种语言的单语数据资源、各种外部知识的数据资源（如平行词典，术语库， 翻译模板库，翻译知识图谱等）的管理和接入，提供数据质量评估、数据标注，以及提供统一的数据管 理工具等。 6.2输入模块 输入模块包含翻译数据和外部知识数据的输入前预处理（如不同分词粒度、专有名词识别与保护）、 多模态数据输入（如图像翻译、语音翻译、视频翻译、手语翻译的多模态融合输入）、多源数据输入（源 语言输入、知识库信息输入、翻译模板库信息输入、术语库信息输入），以及提供方便模型快速读取的 训练批次数据构建算法（如根据训练批次包含输入句子数、包含输入词语数）等。 6.3机器翻译系统服务引擎 机器翻译系统服务引擎包括各种为机器翻译系统服务设计的机器学习算法，例如统计机器学习中的 最大熵模型、Adam优化算法、基于动量的优化算法、基于卷积网络的翻译模型、基于循环网络的翻译模 型、基于自注意力机制的翻译模型、强化学习增强的机器翻译模型、迁移学习增强的机器翻译模型、主 动学习增强的机器翻译模型等，用于进行模型的参数训练和推理。这些引擎支持开源和专有的计算框架 和算法库。它们与常见的开源接口兼容，可以根据商业需求在企业版本中进行增强或优化。 机器翻译系统服务引擎包含机器学习算法库，并提供了强大的算法管理功能，包括算法的注册、存 储、下载、评估、优化、用户身份验证、多版本管理、升级维护和运行时监控等，确保算法的安全可靠 处理。 为满足不同算法的特定需求，机器翻译系统服务引擎同步提供了特征数据选择、提取、构建等功能 6.4模型管理 YD/T XXXXXXXXX 模型管理提供了机器学习模型的开发和存储管理等能力。 模型管理包括现有的深度学习模型库，同时支持模型的导入、导出、升级、发布、迁移以及版本控 制等多项功能。在模型开发方面，模型库提供可视化辅助开发工具、多模型融合开发、模型二次训练、 参数高效微调等多种方式，以支持模型的开发和部署。 6.5输出模块 输出模块包含翻译结果的后处理（如不同分词粒度的融合，不同翻译搜索结果的重排序，特殊词语 的回填）、结合多模态信息的输出（如图像翻译的目标语言回填，语音翻译的语音合成，视频翻译的文 本嵌入和语音合成）、结合多源信息的可解释性输出（如结合关键词语翻译输出、相似语义翻译输出、 歧义词翻译），以及方便模型更新翻译模板数据库、术语库以及与数据管理读写的接口等。 6.6运维管理 运维管理负责数据管理、机器学习引擎和模型库的基本运维工作，包括但不限于安装部署、扩展、 监控、告警、健康检查、问题诊断与故障定位、版本升级与补丁管理、备份与恢复、操作审计等。此外， 它还涵盖了管理功能，包括资源管理、权限管理、用户管理、日志管理、配置管理以及安全管理等方面 的工作。 6.7应用层 应用层面向机器翻译系统，为各类相关应用（例如数据管理、相似语料查询、数据预处理、模型导 出、模型调用、模型微调与升级、文本翻译、离线语音翻译、在线机器同声传译、图片翻译、视频翻译、 手语翻译、图片辅助的文本翻译、视频辅助的文本翻译、篇章翻译、诗词翻译、小说翻译等）提供支持， 按应用需求提供系统资源。 7面向跨语言交互场景的机器翻译系统功能要求 7.1总体要求 面向跨语言交互场景的机器翻译系统应支持各领域在不同交互场景下的应用对数据管理、输入模块、 机器翻译系统服务引擎、模型管理、输出管理、运维管理及应用层接口等方面的要求。总体要求包括： a）机器翻译系统从功能设计上应符合开放性（编解码功能解耦、模型模块分层解耦、各层级可独 立前向及反向传播等）、高可靠（对不同数据模态、带噪声输入、语种未知等情形具有一定的鲁棒性） 和可用性（避免单点故障、对高并发调用有应急处理机制、保证服务等级协议要求等）、统一性（统一的 数据模块的收集、处理流程，统一的算法层训练、测试流程，统一的应用层服务框架和接口框架等）等 核心要求： b）应支持业界主流的深度学习算法、编程语言、计算框架，针对各类使用场景设计应用层及调用 接口，并提供符合