ICS 35.040 CCS A 24 山 37 东 省 地 方 标 准 DB37/T 4234—2020 特种设备大数据平台数据交换技术规范 2020 - 12 - 04 发布 2021 - 01 - 01 实施 山东省市场监督管理局 发 布 DB37/T 4234—2020 目 次 前言 ................................................................................. II 1 范围 ............................................................................... 1 2 规范性引用文件 ..................................................................... 1 3 术语和定义 ......................................................................... 1 4 缩略语 ............................................................................. 1 5 数据交换工作流程 ................................................................... 2 6 数据交换技术架构 ................................................................... 2 7 数据交换技术要求 ................................................................... 3 8 数据交换安全要求 ................................................................... 6 9 数据质量保障要求 ................................................................... 6 附录 A（资料性） 数据接口规范 JSON Schema 示例 ........................................ 7 附录 B（资料性） 数据接口规范 XML Schema 示例 ......................................... 8 I DB37/T 4234—2020 前 言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省市场监督管理局提出、归口并组织实施。 本文件起草单位：山东特检鲁安工程技术服务有限公司、济南市特种设备检验研究院、青岛市电梯 安全应急和监控中心。 本文件主要起草人：刘丽梅、李磊、李观松、高洪刚、薄照宾、刘泉江、苏兴明、吴旋、房建斌。 II DB37/T 4234—2020 特种设备大数据平台数据交换技术规范 1 范围 本文件规定了特种设备大数据平台数据交换的工作流程、技术架构、技术要求、安全要求和数据质 量保障要求。 本文件适用于特种设备大数据平台与相关业务系统、服务平台及监测管理平台等的数据交换。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 35295 信息技术 大数据 术语 GB/T 37973 信息安全技术 大数据安全管理指南 GB/T 37721 信息技术 大数据分析系统功能要求 TSG Z0002 特种设备信息化工作管理规则 3 术语和定义 GB/T 35295、GB/T 37973、GB/T 37721界定的以及下列术语和定义适用于本文件。 3.1 大数据 big data 具有数量巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处 理技术进行有效组织、存储、计算、分析和管理的数据集。 [来源：GB/T 37973－2019，3.1] 3.2 大数据平台 big data platform 采用分布式存储和计算技术，提供大数据的访问和处理，支持大数据应用安全高效运行的软硬件集 合。 [来源：GB/T 37973－2019，3.3] 3.3 结构化数据 structured data 存储在数据库里，可以用二维表结构表示的数据。 [来源：GB/T 37721－2019，3.2] 3.4 非结构化数据 unstructured data 除了结构化数据之外的没有明确结构约束的数据。 [来源：GB/T 37721－2019，3.3] 4 缩略语 1 DB37/T 4234—2020 下列缩略语适用于本文件。 JSON：JavaScript 对象标记(JavaScript Object Notation) SOAP：简单对象访问协议(Simple Object Access Protocol) XML：可扩展标记语言(Extensible Markup Language) 5 数据交换工作流程 5.1 特种设备大数据平台数据交换工作流程，主要包括数据采集、数据交换及数据应用三个环节，见 图 1。 5.2 数据采集，是特种设备大数据平台的数据来源，主要途径包括特种设备物联网、特种设备应用系 统、特种设备服务平台获取。 5.3 数据交换，经过数据采集环节采集到的所有数据，经过数据模拟系统验证满足数据安全质量保障 要求后，正式进行数据交换。数据安全质量保障要求，见本文件第 8、9 章。 5.4 数据应用，利用大数据技术和方法，对交换数据进行加工处理形成标准化数据，并实现数据管理、 数据共享及和数据服务。 图1 特种设备大数据平台数据交换工作流程图 6 数据交换技术架构 6.1 特种设备大数据平台数据交换技术架构见图 2。 6.2 数据采集，特种设备物联网，包括电梯、气瓶、锅炉等在线物联网实时数据的采集；业务应用包 括特种设备的制造、安装、使用、监督管理、检验检测、应急处置等信息系统的业务信息数据的采集； 外部服务包括企业服务平台等。 6.3 数据交换，通过物联网网关或通讯协议、消息中间件以及 Web 服务接口三种方式实现数据的交换： a) 物联网网关及通讯协议，主要实现电梯物联网、气瓶物联网、锅炉物联网等实时数据可以直 接交换到交换数据库； b) 消息中间件以及 Web 服务接口主要实现特种设备制造、充装、使用、监督管理、检验检测、 应急处置等各信息数据的交换及外部服务信息数据的交换； c) 消息中间件以及 Web 服务接口，也可以交换特种设备物联网交换到相关业务系统及服务平台 的信息数据的交换。 6.4 数据应用，对交换数据库数据进行大数据 ETL 处理形成标准化数据，并对数据实现数据管理、数 据共享及数据服务；数据共享，是将特种设备大数据平台标准化的数据，向国家级平台实现数据共享； 同时通过山东省数据开放平台进行注册并提供开放接口的形式，对外部服务实现数据共享。 2 DB37/T 4234—2020 图2 数据交换技术架构 7 数据交换技术要求 7.1 数据交换策略 特种设备大数据平台提供实时交换、定时交换两种交换方式，全量交换、增量交换两种交换形式。 7.1.1 交换方式 7.1.1.1 实时数据交换 实时交换是指数据产生后即时进行的数据交换，适用于高频率、对时效性敏感的交换场景。如电梯、 气瓶、锅炉等特种设备物联网感知层获取的实时信息数据，将感知的时序数据即时交换到特种设备大数 据平台的数据交换。 7.1.1.2 定时批量数据交换 定时批量数据交换是指按照设定时间进行的数据交换，适用于低频率、对数据变更时效性不敏感的 交换场景。如特种设备相关业务系统及服务平台等数据的交换，可以按照每日、每周或每月定期进行数 据交换。 7.1.2 交换形式 7.1.2.1 全量交换 全量交换是指一次性将所有数据交换到目标节点的交换方式，一般适用于低频率（每天、周、月等）、 对数据变更时效性不敏感的交换场景。如特种设备注册登记及业务变更等数据的交换。 7.1.2.2 增量交换 3 DB37/T 4234—2020 增量交换是指获取增量数据并交换到目标节点的交换方式，适用于高频率、对数据变更时效性敏感 的交换场景。如特种设备检验检测等数据的交换。 7.1.2.3 数据关系标识 全量交换及增量交换时，交换数据需具有完整的数据关系标识。 7.2 数据交换方法 7.2.1 物联网网关/通讯协议交换 7.2.1.1 适用于电梯、气瓶及锅炉等特种设备物联网感知数据交换实时性要求较高的数据交换。特种 设备物联网感知设备，将感知的时序数据通过物联网网关/通讯协议实时交换到交换数据库并实现数据 持久化。交换方法如图 3 所示。 图3 通讯网关交换示意图 7.2.1.2 物联网感知设备，包括传感器、RFID 电子标签、摄像头及二维码等。 7.2.1.3 物联网网关/通讯协议，即物联网感知数据的交换网络，包括物联网网关设备及 WIFI、4G 等 无线或有线网络。 7.2.2 消息中间件交换 7.2.2.1 适用于特种设备检验检测信息等数据交换实时性要求较高、小批量的数据交换，是资源提供 方主动以增量数据的方式推送数据到数据管理平台，具有数据交换及时、安全、准确性高特点。交换方 法如图 4 所示。 图4 消息中间件交换示意图 7.2.2.2 7.2.2.3 7.2.2.4 7.2.2.5 资源提供方以增量方式提供数据，将增量数据（包括增删改的数据）发布到消息队列中。 数据管理平台从消息队列中接收到资源提供方提供的数据，并进行标准化处理。 数据管理平台将加工处理过的标准化数据持久化到数据库中。 数据管理平台将标准化的数据以广播的方式发送到资源需求方的消息队列中。 4 DB37/T 4234—2020 7.2.2.6 资源需求方从消息队列中接收标准化的数据。 7.2.3 Web 服务接口交换 7.2.3.1 适用于特种设备制造信息、充装信息、使用信息、监督管理信息、应急处置信息等定时、大 批量的数据交换。资源使用方通过主动请求的方式获取资源提供方数据信息的情形。交换方法如图 5 所示。 图5 Web 服务交换示意图 7.2.3.2 服务提