全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211130951.1 (22)申请日 2022.09.16 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 周建 覃鹏 陈大平 李威  王泽龙 刘增文 康伟洲 吴晓文  (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) (54)发明名称 数据处理方法、 数据查询方法、 装置和电子 设备 (57)摘要 本申请提供一种数据处理方法、 数据查询方 法、 装置和电子设备, 涉及大数据数据处理技术 领域。 该方法包括: 获取待处理的第一实时数据 的数据类型, 根据第一实时数据, 确定待更新的 目标字段和对 数据库进行查询的行键, 在数据类 型为统计类型的情况下, 根据目标字段和行键, 查询数据库的列族中存储的批量数据和第二实 时数据, 以确定目标字段对应的目标值, 根据第 一实时数据和目标值, 对第二实时数据进行更 新。 本申请中通过在数据库中同时存储批量数据 和实时数据, 避免了批量数据更新时覆盖实时数 据, 进而从批量数据或第二实时数据中确定目标 值, 则提高了进行实时数据更新的基准数据的准 确性, 从而提高了实时数据处 理的准确性。 权利要求书3页 说明书13页 附图4页 CN 115470225 A 2022.12.13 CN 115470225 A 1.一种数据处 理方法, 其特 征在于, 包括: 获取待处 理的第一实时数据的数据类型; 根据所述第一实时数据, 确定待更新的目标字段和对数据库进行查询的行键; 在所述数据类型为统计类型的情况下, 根据所述目标字段和行键, 查询数据库的列族 中存储的批量数据和第二实时数据, 以确定所述目标字段对应的目标值; 根据所述第一实时数据和所述目标值, 对所述第二实时数据进行 更新。 2.如权利要求1所述的方法, 其特征在于, 所述根据所述目标字段和行键, 查询数据库 的列族中存 储的批量数据和第二实时数据, 以确定所述目标字段对应的目标值, 包括: 根据所述行键, 查询数据库的列族中存储的批量数据中和所述目标字段对应的第 一数 据的时间, 以及查询数据库的列族中存储的所述第二 实时数据中和所述目标字段对应的第 二数据的时间; 将所述第一数据的时间和所述第 二数据的时间进行比对, 以从所述第 一数据或所述第 二数据中确定所述目标值。 3.如权利要求2所述的方法, 其特征在于, 所述根据所述行键, 查询数据库的列族中存 储的批量数据中和所述目标字段对应的第一数据的时间, 以及查询数据库的列族中存储的 所述第二实时数据中和所述目标字段对应的第二数据的时间, 包括: 确定所述第一实时数据对应的服 务类型; 根据所述 服务类型, 确定所述数据库中的目标列族; 根据所述行键, 查询所述目标列族中存储的批量数据中和所述目标字段对应的第 一数 据的时间, 以及查询所述目标列族中存储的所述第二 实时数据中和所述目标字段对应的第 二数据的时间。 4.如权利要求2所述的方法, 其特征在于, 所述将所述第 一数据的时间和所述第 二数据 的时间进行比对, 以从所述第一数据或所述第二数据中确定所述目标值, 包括: 在所述第一数据的时间早于所述第 二数据的时间的情况下, 将所述第 二数据作为所述 目标值; 在所述第一数据的时间晚于所述第 二数据的时间的情况下, 将所述第 一数据作为所述 目标值。 5.如权利要求1所述的方法, 其特 征在于, 所述方法, 还 包括: 在所述数据类型为状态类型的情况 下, 根据第一实时数据, 对第二实时数据进行 更新。 6.如权利要求2所述的方法, 其特征在于, 所述根据所述第一实时数据和所述目标值, 对所述第二实时数据进行 更新, 包括: 根据所述第一实时数据中目标字段的第一 值和所述目标值, 确定更新 值; 采用所述更新 值, 更新所述第二实时数据中所述目标字段的数据; 采用所述第 一实时数据的时间, 更新所述第 二实时数据中所述目标字段的数据对应的 时间。 7.如权利要求1 ‑6任一项所述的方法, 其特 征在于, 所述方法, 还 包括: 获取所述批量数据的第一存活时长和所述第二实时数据的第二存活时长; 在所述批量数据的第一存活时长大于所述设定时长的情况 下, 删除所述匹配数据; 在所述第二实时数据的第 一存活时长大于所述设定时长的情况下, 删除所述第 二实时权 利 要 求 书 1/3 页 2 CN 115470225 A 2数据。 8.一种数据查询方法, 其特 征在于, 所述方法, 包括: 获取终端设备发送的数据查询请求; 根据所述数据查询 请求携带的查询参数, 查询数据库以得到批量数据中的第 一候选查 询数据和实时数据中的第二候选查询数据; 所述实时数据是采用权利要求1 ‑7中任一所述 的数据处 理方法更新得到的; 根据所述第 一候选查询数据的时间和所述第 二候选查询数据的时间, 确定目标查询数 据; 将所述目标查询数据发送至所述终端设备。 9.如权利要求8所述的方法, 其特征在于, 所述根据 所述第一候选查询数据的时间和所 述第二候选查询数据的时间, 确定目标查询数据, 包括: 将所述第一 候选查询数据的时间和所述第二 候选查询数据的时间进行比较; 若所述第一候选查询数据的时间早于所述第 二候选查询数据的时间, 则将第 二候选查 询数据作为所述目标查询数据; 若所述第一候选查询数据的时间晚于所述第 二候选查询数据的时间, 则将第 一候选查 询数据作为所述目标查询数据。 10.一种数据处 理装置, 其特 征在于, 包括: 获取模块, 用于获取待处 理的第一实时数据的数据类型; 确定模块, 用于根据所述第一实时数据, 确定待更新的目标字段和对数据库进行查询 的行键; 查询模块, 用于在所述数据类型为统计类型的情况下, 根据 所述目标字段和行键, 查询 数据库的列族中存 储的批量数据和第二实时数据, 以确定所述目标字段对应的目标值; 更新模块, 用于根据所述第一实时数据和所述目标值, 对所述第二实时数据进行 更新。 11.如权利要求10所述的装置, 其特 征在于, 所述 查询模块, 具体用于: 根据所述行键, 查询数据库的列族中存储的批量数据中和所述目标字段对应的第 一数 据的时间, 以及查询数据库的列族中存储的所述第二 实时数据中和所述目标字段对应的第 二数据的时间; 将所述第一数据的时间和所述第 二数据的时间进行比对, 以从所述第 一数据或所述第 二数据中确定所述目标值。 12.如权利要求1 1所述的装置, 其特 征在于, 所述 查询模块, 具体还用于: 确定所述第一实时数据对应的服 务类型; 根据所述 服务类型, 确定所述数据库中的目标列族; 根据所述行键, 查询所述目标列族中存储的批量数据中和所述目标字段对应的第 一数 据的时间, 以及查询所述目标列族中存储的所述第二 实时数据中和所述目标字段对应的第 二数据的时间。 13.如权利要求1 1所述的装置, 其特 征在于, 所述 查询模块, 具体用于: 在所述第一数据的时间早于所述第 二数据的时间的情况下, 将所述第 二数据作为所述 目标值; 在所述第一数据的时间晚于所述第 二数据的时间的情况下, 将所述第 一数据作为所述权 利 要 求 书 2/3 页 3 CN 115470225 A 3

PDF文档 专利 数据处理方法、数据查询方法、装置和电子设备

文档预览
中文文档 21 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、数据查询方法、装置和电子设备 第 1 页 专利 数据处理方法、数据查询方法、装置和电子设备 第 2 页 专利 数据处理方法、数据查询方法、装置和电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:39:59上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。