ICS 35.240.70 GB L 67 中华人民共和国国家标准 GB/T 35589---2017 信息技术 大数据 技术参考模型 Information technology--Big data--Technical reference model 2017-12-29 发布 2018-07-01实施 中华人民共和国国家质量监督检验检疫总局 发布 中国国家标准化管理委员会 GB/T 35589-2017 目 次 前言 范围 规范性引用文件 术语和定义 3 缩略语 大数据参考架构的目的和目标 ：大数据参考架构概述 大数据参考架构的组成 7.1 系统协调者 7.2 数据提供者 7.3大数据应用提供者 7.3.1 概述 7.3.2 收集 7.3.3 预处理 7.3.4 分析 7.3.5 可视化 7.3.6 访间 7.4 大数据框架提供者 7.4.1 概述 7.4.2 基础设施 7.4.3 平台 7.4.4 处理框架 7.4.5 信息交互/通信 7.4.6 资源管理 7.5 数据消费者 7.6 安全和隐私 7.7 管理 GB/T 35589-2017 前言 本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：中国电子技术标准化研究院、浪潮软件集团有限公司、华为技术有限公司、成都勤 智数码科技股份有限公司、中国互联网络信息中心、国家信息中心、同方股份有限公司、中标软件有限公 司、清华大学、山东中创软件商用中间件股份有限公司、浪潮电子信息产业股份有限公司、闪联信息技术 工程中心有限公司、华东师范大学、北京世纪互联宽带数据中心有限公司、北京亚信智慧数据科技有限 公司、北京大学、中国人民大学、中兴通讯股份有限公司、北京百分点信息科技有限公司。 本标准主要起草人：梅宏、高林、代红、吴东亚、杜小勇、车品觉、吴建明、赵菁华、陈海、张群、卫凤林、 赵俊峰、黄先芝、王建华、杨莉莉、傅玉生、孔宁、吕欣、昊晨、董军平、吴吉庆、王朝坤、王建民、何忠胜、 苏志远、吴楠、赵江、张维华、吴永和、周行健、陈利仓、李冰、曹昊嘉、王静、徐洋、张展新、李易、符海芳、 朱松、刘宇峰、吴志刚、张安文、王东、胡选来。 学兔兔www.bzfxw.com 学兔兔www.bzfxw.com GB/T35589-2017 信息技术大数据# 技术参考模型 1范围 本标准描述了大数据的参考架构，包括角色、活动和功能组件以及它们之间的关系， 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T35295信息技术：·大数据：术语 3术语和定义 GB/T35295界定的以及下列术语和定义适用于本文件， 3.1 大数据参考架构 big data reference architecture 种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。 注：比较普遍认同的大数据参考架构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和 数据消费者等5个逻辑功能构件。 3.2 系统协调者 system orchestrator 大数据参考架构中的一种逻辑功能构件，定义所需的数据应用活动并将它们整合到可运行的垂直 系统中。 注：系统协调者可以是人、软件或这二者。 3.3 数据提供者 data provider 大数据参考架构中的一种逻辑功能构件，将新的数据或信息引入大数据系统。 3.4 大数据应用提供者 big data application provider 大数据参考架构中的一种逻辑功能构件，执行数据生命周期操作，以满足系统协调者定义的需求以 及安全和隐私保护需求。 3.5 大数据框架提供者bigdataframeworkprovider 大数据参考架构中的一种逻辑功能构件，建立一种计算框架，在此框架中执行转换应用，同时保护 数据完整性和隐私。 3.6 数据消费者 data consumer 大数据参考架构中的一种逻辑功能构件，是使用大数据应用提供者提供的应用的未端用户或其他 1 学兔兔www.bzfxw.com GB/T 35589--2017 系统。 3.7 数据科学家 data scientist 数据科学专业人员；他们具有足够的业务需求管理机制方面的知识、领域知识、分析技能以及用于 管理数据生命周期中每个阶段的端到端数据过程的软件和系统工程知识。 4. 缩略语 下列缩略语适用于本文件。 BDRA：大数据参考架构(BigDataReferenceArchitecture) POSIX：可移植操作系统接口（PortableOperatingSystemInterface) 5：大数据参考架构的目的和目标 本标准中的BDRA提供了三个体系架构，用于有效描述大数据角色、活动和功能组件。 BDRA目的包括： 为各种利益相关者提供一种交流大数据技术的通用语言； 鼓励大数据实践者遵守通用标准、规范和模式； 为解决相似的问题集提供致的技术实现方法。 BDRA的目的是为了方便对大数据复杂性操作的认识。它不代表个特定的大数据系统的系统 架构；相反，它是一种工具，使用通用的架构来描述、讨论和开发特定系统的架构。 BDRA是一个通用的大数据系统概念模型，对于讨论大数据需求、结构和操作，它是一种有效的工 具。该模型不依赖于任何特定的产品和服务供应商，也不定义规范的解决方案。 BDRA支持以下标准化目标： 在个与供应商和技术无关的大数据高层概念模型语境下，增进对大数据构件、处理过程及系 统的理解； 为政府部门、相关机构和其他用户在理解、讨论、分类和比较大数据解决方案的过程中提供技 术参考; 促进对大数据互操作性、可移植性、可重用性和可扩展性的备选标准的分析。 6大数据参考架构概述 本标准定义的BDRA为大数据标准化提供了基本参考点，为大数据系统的基本概念和原理提供了 个总体架构，见图1。 学兔兔www.bzfxw.com GB/T 35589-2017 信息价值链 系统协调者 大数据应用提供者 务 分析 可视化 消 收策 访间 大数据框架提供者 信 处理框架： ：提供计算和分析 息技术价 批处理 交互 流处理 平台：提供数据组织与分布 息交宜 值 资 索引存储 链 源 通 文件系统 理 信 框 安 基础设施：提供网络、计算、存储 全 架 虚拟资源 和 除私 物理资源 角色 活动 组件 图1大数据参考架构 BDRA围绕代表大数据价值链的两个维度组织展开：信息价值链（水平轴）和信息技术价值链（垂 直轴）。信息价值链表现大数据作为一种数据科学方法对从数据到知识的处理过程中所实现的信息流 价值。信息价值链的核心价值通过数据收集、预处理、分析、可视化和访问等活动实现。信息技术价值 链表现大数据作为种新兴的数据应用范式对信息技术产生的新需求所带来的价值。信息技术价值链 的核心价值通过为大数据应用提供存放和运行大数据的网络、基础设施、平台、应用工具以及其他信息 技术服务实现。大数据应用提供者位于两个价值链的交叉点上，大数据分析及其实现为两个价值链上 的大数据利益相关者提供特定价值。 BDRA提供了个构件层级分类体系，用于描述BDRA中的逻辑构件以及定义逻辑构件的分类。 BDRA中的逻辑构件被划分为3个层级，从高到低依次为角色、活动和组件。最顶层级的逻辑构件是代 表大数据系统中存在的5个角色，包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供 者、数据消费者5个角色。另外两个非常重要的逻辑构件是安全和隐私以及管理，它们为大数据系统的 5个角色提供服务和功能。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行 每个活动需要的功能组件。 该架构可以用于表示由多个大数据系统组成的堆叠式或链式系统，其中…个系统的数据消费者可 以作为后面个系统的数据提供者 该架构持各种商业环境，包括紧密集成的企业系统和松散耦合的垂直行业，有助于理解大数据系统 如何补充并有别于已有的分析、商业智能、数据库等传统的数据应用系统， 3 学兔兔www.bzfxw.com GB/T35589--2017 7：大数据参考架构的组成 7.1：系统协调者 系统协调者职责在于规范和集成各类所需的数据应用活动，以构建一个可运行的垂直系统。 作项能正常运行。负责为其他组件分配对应的物理或虚拟节点并对各组件的运行情况进行监控，并通 过动态调配资源等方式来确保各组件的服务质量水平达到所需要求。 系统协调者的功能可由管理员、软件或二者的组合以集中式或分布式的形式实现。 7.2 数据提供者 数据提供者的职责是将数据和信息引入到大数据系统中，供大数据系统发现、访问和转换。 其具体活动包括： 收集、固化数据。 创建描述数据源的元数据。 发布信息的可用性和访问方法。 确保数据传输质量。 数据提供者和大数据应用提供者的接口涉及3个阶段：开始、数据传输和终止。 7.3：大数据应用提供者 7.3.1概述 大数据应用提供者的职责是通过在数据生命周期中执行的组特定操作，来满足由系统协调者规 定的要求，以及安全性、隐私性要求。 大数据应用提供者包括收集、预处理、分析、可视化和访问5个活动。 7.3.2收集 负责处理与数据提供者的接口和数据引入。 7.3.3预处理 包括数据验证、清洗、标准化、格式化和存储。 7.3.4分析 基于数据科学家的需求或垂直应用的需求，确定处