全网唯一标准王
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660499.5 (22)申请日 2021.12.3 0 (71)申请人 中国民航信息网络股份有限公司 地址 100085 北京市顺 义区后沙峪镇裕民 大街7号 (72)发明人 芦浩博 孙琼巍 黄彩虹  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 郄晨芳 (51)Int.Cl. G06F 16/16(2019.01) G06F 21/60(2013.01) G06Q 50/30(2012.01) (54)发明名称 数据处理方法及装置、 存 储介质及电子设备 (57)摘要 本发明提供一种数据处理方法及装置、 存储 介质及电子设备, 该方法包括: 抓取数据源上传 至中转平台中的数据文件, 其中, 数据文件中包 含信用黑名单旅客的数据; 对数据文件进行预校 验, 并在数据文件通过预校验时, 确定数据文件 的文件类型; 对 数据文件进行与文件类型对应的 入库校验, 并在数据文件通过入库校验时, 将数 据文件中的信用黑名单旅客的数据导入预设的 黑名单数据库中。 通过对数据文件进行预校验和 入库校验, 可 以将不满足要求的数据文件筛除, 最后将通过预校验和入库校验的数据文件中的 信用黑名单旅客的数据导入黑名单数据库中, 实 现了对信用黑名单旅客的数据的集中管理, 解决 了信用黑名单旅客的数据分散问题。 权利要求书2页 说明书17页 附图6页 CN 114328413 A 2022.04.12 CN 114328413 A 1.一种数据处 理方法, 其特 征在于, 包括: 抓取数据源上传至中转平台中的数据文件, 其中, 所述数据文件中包含信用黑名单旅 客的数据; 对所述数据文件进行预校验, 并在所述数据文件通过预校验时, 确定所述数据文件的 文件类型; 对所述数据文件进行与所述文件类型对应的入库校验, 并在所述数据文件通过入库校 验时, 将所述数据文件中的信用黑名单旅客的数据导入预设的黑名单 数据库中。 2.根据权利要求1所述的方法, 其特 征在于, 所述对所述数据文件进行 预校验, 包括: 判断所述数据文件的文件名是否满足预设的文件名命名规范; 在所述数据文件的文件名满足文件名命名规范时, 确定所述数据文件的文件格式是否 为标准格式; 在所述数据文件的文件格式为标准格式时, 对所述数据文件中的各个文件字段进行校 验, 并在每 个文件字段均通过 校验时, 确定所述数据文件通过 校验。 3.根据权利要求1所述的方法, 其特 征在于, 所述确定所述数据文件的文件类型, 包括: 获取所述数据文件的文件名; 判断所述文件名中的文件标识是否为全量标识; 若所述文件名中的文件标识为全量标识, 则确定所述数据文件的文件类型为全量数据 文件; 若所述文件名中的文件标识不为全量标识, 则确定所述文件名中的文件标识为增量标 识, 并确定所述数据文件的文件类型为增量数据文件。 4.根据权利要求1所述的方法, 其特征在于, 所述将所述数据文件中的信用黑名单旅客 的数据导入预设的黑名单 数据库中, 包括: 从所述数据文件中提取满足预设的临时表结构的临时表数据, 并将所述临时表数据保 存至预设的临时库中; 从所述数据文件中提取满足预设的正式表结构的正式表数据, 并将所述正式表数据保 存至预设的正式库中; 从所述临时表数据和所述正式表数据提取满足预设的黑名单表结构的信用黑名单旅 客数据, 并将所述信用黑名单旅客数据保存在黑名单 数据库中。 5.根据权利要求1所述的方法, 其特 征在于, 还 包括: 当所述数据文件未通过预校验时, 生成所述数据文件的校验失败文件, 并将所述校验 失败文件保存至所述中转平台。 6.一种数据处 理装置, 其特 征在于, 包括: 抓取单元, 用于抓取数据源上传至 中转平台中的数据文件, 其中, 所述数据文件中包含 信用黑名单旅客的数据; 预校验单元, 用于对所述数据文件进行预校验, 并在所述数据文件通过预校验时, 确定 所述数据文件的文件类型; 入库单元, 用于对所述数据文件进行与所述文件类型对应的入库校验, 并在所述数据 文件通过入库校验时, 将所述数据文件中的信用黑名单旅客的数据导入预设的黑名单数据 库中。权 利 要 求 书 1/2 页 2 CN 114328413 A 27.根据权利要求6所述的装置, 其特 征在于, 所述预 校验单元, 包括: 第一判断子单 元, 用于判断所述数据文件的文件名是否满足预设的文件名命名规范; 第一确定子单元, 用于在所述数据文件的文件名满足文件名命名规范时, 确定所述数 据文件的文件格式是否为标准格式; 校验子单元, 用于在所述数据文件的文件格式为标准格式时, 对所述数据文件中的各 个文件字段进行 校验, 并在每 个文件字段均通过 校验时, 确定所述数据文件通过 校验。 8.根据权利要求6所述的装置, 其特 征在于, 所述预 校验单元, 包括: 获取子单 元, 用于获取 所述数据文件的文件名; 第二判断子单 元, 用于判断所述文件名中的文件标识是否为全量标识; 第二确定子单元, 用于若所述文件名中的文件标识为全量标识, 则确定所述数据文件 的文件类型为全量数据文件; 第三确定子单元, 用于若所述文件名中的文件标识不为全量标识, 则确定所述文件名 中的文件标识为增量标识, 并确定所述数据文件的文件类型为增量数据文件。 9.一种存储介质, 其特征在于, 所述存储介质包括存储的指令, 其中, 在所述指令运行 时控制所述存 储介质所在的设备 执行如权利要求1~5任意 一项所述的数据处 理方法。 10.一种电子设备, 其特征在于, 包括存储器, 以及一个或者一个以上的指令, 其中一个 或者一个以上指令存储于存储器中, 且经配置以由一个 或者一个以上 处理器执行如权利要 求1~5任意 一项所述的数据处 理方法。权 利 要 求 书 2/2 页 3 CN 114328413 A 3

.PDF文档 专利 数据处理方法及装置、存储介质及电子设备

文档预览
中文文档 26 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共26页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法及装置、存储介质及电子设备 第 1 页 专利 数据处理方法及装置、存储介质及电子设备 第 2 页 专利 数据处理方法及装置、存储介质及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-19 04:15:45上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。