ICS 35.240.99 CCS L 67 37 山 东 省 地 方 标 准 DB37/T 4529—2022 海洋大数据分级存储技术规范 Technical specification for hierarchical storage of ocean big data 2022-07-25 发布 2022-08-25 实施 山东省市场监督管理局 发 布 DB37/T 4529—2022 目 次 前言 ................................................................................. II 1 范围 ............................................................................... 1 2 规范性引用文件 ..................................................................... 1 3 术语和定义 ......................................................................... 1 4 缩略语 ............................................................................. 1 5 数据分级 ........................................................................... 2 5.1 分级要素 ....................................................................... 2 5.2 定级规则 ....................................................................... 2 5.3 分级等级及存储要求 ............................................................. 2 6 分级存储技术要求 ................................................................... 3 6.1 基本要求 ....................................................................... 3 6.2 分级存储实现 ................................................................... 3 6.3 数据迁移 ....................................................................... 3 7 分级存储管理要求 ................................................................... 4 7.1 7.2 7.3 7.4 设备管理 资源管理 策略管理 监控运维 ....................................................................... ....................................................................... ....................................................................... ....................................................................... 4 5 5 5 参考文献 .............................................................................. 6 I DB37/T 4529—2022 前 言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省海洋局提出并组织实施。 本文件由山东省海洋标准化技术委员会归口。 II DB37/T 4529—2022 海洋大数据分级存储技术规范 1 范围 本文件规定了海洋大数据的数据分级以及分级存储的技术要求和管理要求。 本文件适用于10 PB级以上海洋大数据的分级存储与管理。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 35295—2017 信息技术 大数据 术语 3 术语和定义 GB/T 35295—2017界定的以及下列术语和定义适用于本文件。 3.1 大数据 big data 具有数据巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处 理技术进行有效组织、存储、计算、分析和管理的数据集。 [来源：GB/T 37973—2019，3.1] 3.2 海洋大数据 ocean big data 具有大数据特征的海洋领域数据集。 3.3 数据分级 data classification 按照存储效能的分级规则对大数据进行定级。 3.4 分级存储 hierarchical storage 采用相应等级的存储要求对大数据进行存储。 3.5 迁移策略 migration strategy 根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。 注： 包括迁移触发条件、源存储设备、目标存储设备等。 4 缩略语 下列缩略语适用于本文件。 CPU：中央处理单元（Central Processing Unit） ETL：数据提取、转换和加载（Extract-Transform-Load） 1 DB37/T 4529—2022 IOPS：每秒读写次数（Input Output Operations Per Second） ORC：列式存储（Optimized Row Columnar） PB：拍字节，1PB=2的50次方字节（Petabyte） RCFile：列存储文件（Record Columnar File） SQL：结构化查询语言（Structured Query Language） 5 数据分级 5.1 分级要素 海洋大数据分级定级主要考虑的要素为海洋大数据的访问频率，即根据海洋大数据访问量从高到低 来判断，可分为高频率访问的海洋大数据、一般频率访问的海洋大数据、低频率访问的海洋大数据。 5.2 定级规则 海洋大数据分级等级分为三级、二级、一级，应按照表1进行海洋大数据的定级。 表1 海洋大数据等级条件及判定规则 等级条件 三级等级条件： 高频率访问的海洋大数据。 判定规则 判定等级 数据访问频次从高到低，排序前10 %部分数据。 三级 二级等级条件： 数据访问频次从高到低，排序前10 %～30 %部分 一般频率访问的海洋大数据。 数据。 一级等级条件： 访问频率较低，或不经常被访问的海洋大数据，或归 档的历史海洋大数据。 数据访问频次从高到低，排序30 %～100 %部分 数据。 二级 一级 注： 根据对海洋大数据访问周期的统计结果，结合本机构的实际情况，对三级、二级、一级等级的存储空间比例 进行适当调整。 5.3 分级等级及存储要求 相应等级的海洋大数据的存储应符合表2的规定。 表2 海洋大数据分级等级及存储要求 数据分级等级 分级存储要求 三级海洋大数据的存储应符合以下要求： 1) 应实现数据实时访问，访问延迟应小于5 ms； 三级 2) 可扩展性：应采用可扩展的存储架构，当存储资源不足时应具备在线扩展能力，且不影响原存储 系统的正常运行； 3) 可靠性：多种手段保护数据，确保数据100 %不丢失，保证业务99.999 99 %高可用。 二级海洋大数据的存储应符合以下基本要求： 二级 1) 可实现数据实时访问，访问延迟应小于100 ms； 2) 可扩展性：具备一定的在线存储容量扩充能力，且不影响原存储系统的正常运行； 3) 可靠性：多种手段保护数据，确保数据100 %不丢失，保证业务99.999 9 %高可用。 2 DB37/T 4529—2022 表 2 海洋大数据分级等级及存储要求 数据分级等级 分级存储要求 一级海洋大数据的存储应符合以下基本要求： 一级 1) 可实现数据延迟访问，访问延迟不高于5 min； 2) 可扩展性：应支持离线扩展能力，且不影响原存储系统的正常运行； 3) 可靠性：确保数据100 %不丢失，保证业务99.999 9 %高可用。 6 分级存储技术要求 6.1 基本要求 海洋大数据存储的基本要求： a) 应提供结构化、非结构化、半结构化数据存储和处理等功能； b) 应支持分布式存储，包括分布式文件存储、分布式结构化数据存储、分布式列式数据存储、 分布式图数据存储； c) 应提供时序数据存储功能； d) 应提供实时数据存储功能； e) 应支持批处理计算功能，包括离线批量数据处理、在线批量数据处理等功能； f) 应支持实时流处理/计算功能； g) 宜提供数据压缩存储功能，支持压缩存储格式，包括文本格式、RCFile、ORC 等； h) 宜提供多副本存储功能，并确保数据存储完整性和多副本一致性； i) 宜提供多种编程语言和脚本语言进行数据处理功能。 6.2 分级存储实现 海洋大数据的分级存储实现： a) 应事先明确海洋大数据的数据分级等级，分级等级的判定应根据 5.2 的要求开展； b) 应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋 大数据分级等级及存储要求应符合 5.3 的要求； c) 海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏 数据、冗余数据的清洗、去噪、过滤等； d) 应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级 的存储设备或系统，包括以下两种方式： 1) 归档的历史海洋大数据可直接拷贝至磁带库/光盘库等存储介质中； 2) 采用数据抽取方式将