ICS 35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/T×××××××× 基于深度神经网络的音频结构化框架 Framework for audio structuralizing based on deep neural network (报批稿) (ITU-T F.748.19: 2022, Framework for audio structuralizing based on deep neural network, MOD) ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发布 YD/T XXXX—XXXX 前 言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件修改采用ITU-TF.748.19：2022《基于深度神经网络的音频结构化框架》 (Framework for audio structuralizing based on deepneuralnetwork)。 本文件与ITU-TF.748.19：2022相比技术性差异及其原因如下： 本文件与ITU-TF.748.19：2022相比，在结构上有较多调整，两个文件之间的架构编号变化对照 览表见附录A。 本文件与ITU-TF.748.19：2022相比做了下述结构调整： 将音频结构化的背景介绍移到引言部分，并进行适当删减； 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国电信集团有限公司、中国信息通信研究院、中兴通讯股份有限公司、中通服 咨询设计研究院有限公司、北京百度网讯科技有限公司、中国科学院计算技术研究所、深圳市腾讯计算 机系统有限公司。 本文件主要起草人：刘晴、曾然然、林悦、赵德欣、张园、李荪、李秋婷、冯小芳、李笑如、王煜 炜、邹宝山。 III 引言 近年来随着计算机技术、互联网技术和通信技术的发展，视频、音频、图像等多媒体数据 的数量呈爆炸式增长。音频作为多媒体的主要形态之一占有很重要的地位。面对海量的音频 数据，如何充分、有效地利用已有数据，挖掘数据的价值成了一个函待解决的问题。对大量 音频文件进行人工标注和分类是一项十分耗时的工作。随着人的听觉疲劳，人工标注和分类 的准确率也会降低。音频作为一种非语义符号表示，非结构化的二进制流，缺乏明确的结构 化信息和内容语义的描述。为了解决这些问题，本文件规定了一种基于深度神经网络的音频 结构化技术框架，目的是通过提取和存储音频中的结构化信息和语义内容，将非结构化的音 频数据转化为结构化数据，为音频检索和其他多种智能语音应用场景提供服务。音频结构化 系统可以通过建立音频底层结构单元与高层语义内容的关联，实现音频信息深度分析和处理。 IV 基于深度神经网络的音频结构化框架 1范围 本文件规定了基于深度神经网络的音频结构化系统框架，主要描述了音频结构化系统框 架体系结构、处理流程、数据类别、音频处理任务和数据管理方法 本文件适用于指导企业及用户对音频数据进行智能化分析，设计，开发，集成和应用。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的的条款。其中，注日 期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包 括所有的修改单）适用于本文件。 GB/T35295-2017信息技术大数据术语 YD/T4423-2023基于电话信道的数据智能分析和处理技术要求 3术语和定义 GB/T35295-2017界定的以及下列术语和定义适用于本文件。 3. 1 结构化数据structureddata 一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并 且可以使用关系模型予以有效描述。 [来源：GB/T35295-2017，2.2.13] 3. 2 非结构化数据unstructureddata 不具有预定义模型或未以定义方式组织的数据。 [来源：GB/T35295-2017，2.1.25] 3. 3 元数据metadata 通常指描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记 录等功能。本标准特指企业数据结构化后的基础数据集合。 [来源：YD/T4423-2023，3.1.3] 3. 4 语音speech 语音是人类交流的发声形式。 [来源：ITU-TH.703，3.2.3] 1 3. 5 音频结构化audiostructuralizing 一种使非结构化音频数据结构化并提供可解释信息含义的表示形式的方法。 ［来源：ITU-TF.748.19，3.2.1] 缩略语 下列缩略语适用于本文件。 API 应用程序接口 ApplicationProgramInterface ASR 自动语音识别 Automatic Speech Recognition CNN 卷积神经网络 Convolutional Neural Network 长短期记忆 LSTM Long Short-Term Memory MFCC 梅尔频率倒谱系数 Mel Frequency Cepstral Coefficients PLP 感知线性预测 Perceptual Linear Prediction RNN 循环神经网络 Recurrent Neural Network TDNN 时延神经网络 Time Delay Neural Network 5 音频结构化系统技术框架 5. 1 概述 音频结构化系统是一种综合运用音频处理、深度学习和大数据技术的音频数据分析和管 理系统。该系统具备对音频数据进行高效分析、整理和管理的功能，同时为外部系统和下游 应用程序提供开放的服务接口。系统总体技术框架如图1所示。 原始音频 基于深度神经网络的音频处理子系统 元数据提取子系统 外部系统 预处理 特征提取 深度神经网络模型 元数据 智能数据 业务数据 数据集成和存储子系统 数据收集 数据集成 数据存储 数据能力开放子系统 微服务 数据接口 APls 图1 音频结构化系统技术框架 2 5.2元数据提取子系统 元数据提取子系统是指从音频文件中提取基本特征的计算机系统。 5.3基于深度神经网络的音频处理子系统 该子系统的功能是利用深度学习技术对原始音频进行结构化分析，支持解析和提取相应 的结构化数据。基于深度神经网络的音频处理子系统需满足以下要求： a）应支持音频预处理。如语音增强、降噪等； b) 应支持特征提取。特征通常是按时间序列排列的一维或多维特征向量组。例如，MFCC 是39维特征向量，PLP是13维特征向量。通常按照25-30ms提取一次特征，不同的任 务将选择不同的相对特征； c 应支持基于深度神经网络的建模。可支持的深度神经网络包括CNN、LSTM、RNN、TDNN 等。开发人员可以根据数据集和任务，选择或设计合适的神经网络来执行模型训练 和提取结构化数据。 5.4外部系统 外部系统是指除了音频自身属性之外，包含的有价值信息的音频数据系统。例如，存储 呼叫语音数据的业务平台，包括呼叫号码、被叫号码、呼叫持续时间、呼叫时间、呼叫ID 等数据。 5.5数据集成和存储子系统 在完成数据清理、关联和匹配元数据、智能数据和来自其他系统的数据之后，通过数据 库表关联和知识图谱等技术，生成集成数据。对数据集成和存储子系统的要求如下： a）应支持关联来自多个业务维度的数据，形成丰富的集成数据； b) 应支持集成数据和原始音频数据的长期存储。当数据量不断积累时，采用大数据存 储技术来保障外部检索和查询的效率。 5.6数据能力开放子系统 对数据能力开放子系统的要求如下： a）应支持以微服务、数据接口或API的形式向外部系统提供服务； b) 应支持提供结构化的音频大数据能力，以便于检索、查询、统计、分析、推理等业 务场景的使用。以语音识别任务为例，可以选择直接开放其语音识别功能，或者将 识别结果与其他系统的元数据或其他联合任务的结构化数据相结合，从而形成新的 结构化数据能力。 6音频结构化系统中的数据类型 6.1元数据 元数据是指音频文件中的基础特征，包括编码格式、分辨率、音频生成时间、文件大小、 数据源等。 6.2智能数据 智能数据是指根据不同场景和任务，基于深度学习算法从原始音频中提取的信息。如通 过自动语音识别技术，提取的语义文本；通过声纹识别和语音分离技术，提取出分段标识符、 时间戳和声纹特征向量。 3 6.3业务数据 外部系统中的业务数据可以作为数据集成和存储子系统的输入来源。除原始音频数据和 衍生数据外，其他数据来源也可以为音频提供额外信息。例如，客户服务平台存储的呼叫语 音业务数据可以提供呼叫号码、被叫号码、呼叫持续时间、呼叫时间、呼叫ID等信息。 6.4集成数据 集成数据由三部分组成：元数据、结构化数据和业务数据。以将客户服务系统为例，将 业务数据与说话内容、声纹等智能数据相结合，可以判断对话内容是否涉及欺诈，并验证声 音是否为说话者本人。 音频结构化系统中的数据类型如图2所示。 集成数据 元数据 智能数据 业务数据 编码格式，分辨率，音频生 说话内容，说话人ID，时间 呼叫号码，被叫号码，呼叫 成时间，文件大小，数据源 截，置信度，分类ID，特征 时长，呼叫时间，呼叫ID等 等 向量等 图2音频结构化系统中的数据类型 7基于深度神经网络的音频处理任务 7.1概述 根据任务的实现方法，音频处理任务分为两类：独立任务和多任务。独立任务旨在解决 单个业务需求。多任务学习在训练（推理）过程中