ICS 35.240 CCSL70 DB4208 荆门 東市地方 标准 DB 4208/T59—2024 代替DB4208/T59-2017 荆门城市大数据采集规范 Data acquisition criterion of Big Data in Jingmen city 2024-02-01发布 2024-03-01实施 荆门市市场监督管理局发布 DB4208/T59—2024 目 次 前言 引言.. 1范围 2 规范性引用文件， 3 术语和定义 4总体架构， 4.1 数据采集工作流程. 5 4.2数据采集处理架构. 4.2.1数据采集系统. 4.2.2消息服务 4.2.3数据交换管理中心 4.2.4任务系统... 4.2.5运行与监控 4.3数据采集网络架构. 4.3.1数据采集逻辑架构 4.3.2数据采集物理部署， 4.4采集过程数据分析.. 4.4.1数据类型， 4.4.2数据质量.. 4.4.3数据存储.. 5技术规范 5.1数据采集方案选择. 5.1.1 数据库接人方式. 5.1.2 文件接人方式， 10 5.1.3API接人方式. 5.1.4 网页接入方式 5.1.5 流式接入方式. 5.1.6消息接人方式 13 5.2数据采集周期 5.3数据采集更新机制 5.3.1全量抽取 13 5.3.2增量抽取， 13 5.4数据采集实施 5.4.1数据采集实施流程 14 5.4.2 任务分解.. 15 5.4.3 数据采集监控 16 DB4208/T59—2024 II DB4208/T59—2024 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件代替DB4208/T59-2017,与DB4208/T59-2017相比，除文件编号按照新要求更新外，主要技 术参数未发生变化。 本文件由荆门市电子政务信息中心（荆门市大数据中心）提出。 本文件由荆门市行政审批局归口。 本文件起草单位：荆门市电子政务信息中心（荆门市大数据中心）。 本文件主要起草人：胡玉荣、罗传军、肖立刚、杨金龙、刘波、田原、陆焱、王娅纷、熊士杰、陈 永锋、李祥琴、游明坤、赖旭、武永成、董尚燕、张牧、吴际林、刘珊艳、余建国、方靖、庄小林。 本文件于2017年5月首次发布。 本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：（0724）2376309，邮箱： [email protected]；对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心（荆门市大数据 中心），联系电话：（0724）2376119，邮箱：[email protected] III DB4208/T59—2024 引言 党中央、国务院高度重视大数据发展。国务院《促进大数据发展行动纲要》明确指出要“建立标准 规范体系，推进数据采集、政府数据开放、指标口径、分类目录、交换接口、访问接口、数据质量、数 据交易、技术产品、安全保密等关键共性标准的制定和实施。” 荆门市以国家大数据战略为指导，遵循“务求实效、急用先行”的原则，首次制定五个大数据标准 规范。标准规范的制定，对建设荆门城市大数据中心，规范数据处理流程，满足大数据中心建设和管理 的需要，促进“智慧荆门”建设具有重要意义。五个标准规范包括荆门城市大数据术语、荆门城市大数 据采集规范、荆门城市大数据清洗规范、荆门城市大数据比对规范和荆门城市大数据共享规范。荆门城 市大数据术语分为总论、数据采集、数据清洗、数据比对、数据共享和应用服务六大类，规定了荆门城 市大数据中心建设领域的术语和定义，其余四个标准规范则规定大数据中心数据采集、清洗、比对和共 享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然后通过数据整合（包括数 据清洗和数据比对），将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。 五个标准规范的制定是荆门市电子政务信息中心（荆门市大数据中心）和全市信息行业人员的共同 愿望，具有鲜明的地方特色和时代特征，填补了荆门市大数据技术应用领域的一项空白，在湖北省乃至 国内具有较高的参考利用价值和指导意义。标准规范在使用过程中还需要不断完善，其中未涉及到的内 容遵循相关国家标准。 IV DB4208/T59—2024 荆门城市大数据采集规范 1范围 本文件规定了荆门城市大数据中心数据采集过程中应遵循的原则和要求。 本文件适用于荆门市大数据中心建设过程中数据采集的技术要求和规范。 2规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T5271.17信息技术词汇第17部分：数据库 GB/T17532术语工作计算机应用词汇 GB/T20520 信息安全技术公钥基础设施时间戳规范 GB/T22239 信息安全技术信息系统安全等级保护基本要求 GB/T25647 电子政务术语 GB/T 29262 信息技术面向服务的体系结构（SOA）术语 DB4208/T58 3荆门城市大数据术语 3术语和定义 GB/T5271.17、GB/T17532、GB/T20520、GB/T25647、GB/T29262和DB420800/T58确立的以及下 列术语和定义均适用于本文件。为了便于使用，以下重复列出了上述标准中的某些术语和定义，未标明 引用的均出自DB4208/T58。 3.1 元数据metadata 关于数据和数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和 数据易变性的数据。 [GB/T5271.17-2010,定义17.06.05] 3.2 分布式存储distributedstorage 通过计算机网络将物理上分散的存储资源构成一个虚拟的存储设备，集中管理数据的一种存储方 式。 3.3 流式stream 1 DB4208/T59—2024 利用非结构化的流数据实现的一种无需完全下载便可以浏览数据，即一边下载一边浏览的数据组织 方式。 3.4 中心汇聚库centerconvergencedatabase 主要用于存储和管理来自源系统最新数据的数据库。其数据结构类似于源系统，数据按来源部门或 业务领域进行分类，一旦新的数据进入，则旧的数据就被置换。 3.5 大数据中心bigdatacenter 主要用于信息资源的存储和管理，可包括中心汇聚库、部门数据库、公共基础信息库等。 3.6 数据映射datamapping 在两个不同的数据模型之间，建立彼此数据元的对应关系，最终使数据格式满足大数据中心数据标 准的过程。 3.7 日志数据库logdatabase 存储和管理数据处理信息的数据库。如清洗日志数据库，用于记录清洗过程中依次执行的各种操作 和数据。 3.8 结构化数据structureddata 数据元素之间具有统一和确定关系的数据，可以存储在数据库里，采用二维表结构逻辑表达与实现， 如关系数据库的数据表。 3.9 非结构化数据un-structureddata 数据元素之间没有统一和确定关系的数据，其数据组织方式比结构化数据灵活，如视频、音频、图 像、文本等。 3.10 半结构化数据semi-structureddata 介于结构化数据和非结构化数据之间，一般是自描述的，数据结构和内容混合在一起的数据，如 HTML文档、电子邮件等。 3.11 社会舆情数据 public sentiment data 2