全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210717472.3 (22)申请日 2022.06.23 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 柳阳  (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 汪阮磊 (51)Int.Cl. G06F 16/55(2019.01) G06F 16/583(2019.01) G06F 16/215(2019.01) G06N 20/00(2019.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 基于深度学习的图像数据清洗方法、 及其相 关装置 (57)摘要 本申请提供一种基于深度学习的图像数据 清洗方法、 及其相关装置, 该方法包括: 获取待清 洗的图像属性的训练样本集合; 对训练样本集合 进行聚类分析, 得到多个分类集合, 其中, 每个分 类集合中包括多个训练样本; 将多个 分类集合中 各分类集合中的多个训练样本划分为训练集、 验 证集以及测试集; 获取预设的满足预设要求的预 测模型, 预设要求为采用验证集进行验证的误差 率小于预设阈值; 基于预测模型和测试集, 确定 多个分类集合中各分类集合中的异常样本; 对异 常样本所在的分类集合进行数据清洗。 本申请实 施例实现了更好的数据清洗效果。 权利要求书2页 说明书10页 附图3页 CN 115098718 A 2022.09.23 CN 115098718 A 1.一种基于深度学习的图像数据清洗方法, 其特 征在于, 所述方法包括: 获取待清洗的图像属性的训练样本集 合; 对所述训练样本集合进行聚类分析, 得到多个分类集合, 其中, 每个分类集合中包括多 个训练样本; 将所述多个分类集合中各分类集合中的多个训练样本划分为训练集、 验证集以及测试 集; 获取预设的满足预设要求的预测模型, 所述预设要求为采用所述验证集进行验证的误 差率小于预设阈值; 基于所述预测模型和所述测试集, 确定多个分类集 合中各分类集 合中的异常样本; 对所述异常样本所在的分类集 合进行数据清洗 。 2.根据权利要求1所述的基于深度学习的图像数据清洗方法, 其特征在于, 所述基于所 述预测模型和所述测试集, 确定多个分类集 合中各分类集 合中的异常样本, 包括: 基于所述预测模型获取 所述测试集中各训练样本的预测标签结果; 获取所述测试集中各训练样本的实际标签结果; 基于所述预测标签结果和实际标签结果, 确定多个分类集合中各分类集合中的异常样 本。 3.根据权利要求1所述的基于深度学习的图像数据清洗方法, 其特征在于, 所述获取预 设的满足预设要求的预测模型, 包括: 利用所述训练集训练基于深度学习的初始预测模型, 得到第一预测模型; 基于所述验证集和所述第一预测模型, 确定满足预设要求的预测模型。 4.根据权利要求1所述的基于深度学习的图像数据清洗方法, 其特征在于, 在对所述训 练样本集 合进行聚类分析, 得到多个分类集 合之前, 所述方法还 包括: 对所述训练样本集 合进行图像质量增强处 理, 得到图像质量增强后的训练样本集 合。 5.根据权利要求1所述的基于深度学习的图像数据清洗方法, 其特征在于, 在对所述异 常样本所在的分类集 合进行数据清洗之后, 所述方法还 包括: 对进行数据清洗后的分类集合中的训练样本输入预设的满足预设要求的预测模型中, 得到目标 预测标签结果; 对所述目标 预测标签结果进行验证。 6.根据权利要求1所述的基于深度学习的图像数据清洗方法, 其特征在于, 所述对所述 训练样本集 合进行聚类分析, 得到多个分类集 合, 包括: 提取所述训练样本集 合中的训练样本的特 征数据; 根据所述特 征数据将所述训练样本集 合中的训练样本划分到不同的分类集 合中。 7.根据权利要求6所述的基于深度学习的图像数据清洗方法, 其特征在于, 在根据 所述 特征数据将所述训练样本集合中的训练样本划分到不同的分类集合中之后, 所述方法还包 括: 获取所述分类集 合的领域属性; 基于所述领域属性, 确定所述分类集 合的误报等级; 基于所述 误报等级, 确定针对所述分类集 合的数据清洗方式。 8.一种基于深度学习的图像数据清洗装置, 其特 征在于, 所述装置包括:权 利 要 求 书 1/2 页 2 CN 115098718 A 2第一获取 单元, 用于获取待清洗的图像属性的训练样本集 合; 第一聚类分析单元, 用于对所述训练样本集合进行聚类分析, 得到多个分类集合, 其 中, 每个分类集 合中包括多个训练样本; 第一划分单元, 用于将所述多个分类集合中各分类集合中的多个训练样本划分为训练 集、 验证集以及测试集; 第二获取单元, 用于获取预设的满足预设要求的预测模型, 所述预设要求为采用验证 集进行验证的误差率小于预设阈值; 第一确定单元, 用于基于所述预测模型和所述测试集, 确定多个分类集合中各分类集 合中的异常样本; 第一数据清洗单 元, 用于对所述异常样本所在的分类集 合进行数据清洗 。 9.一种服 务器, 其特 征在于, 所述 服务器包括: 一个或多个处 理器; 存储器; 以及 一个或多个应用程序, 其中所述一个或多个应用程序被存储于所述存储器中, 并配置 为由所述处理器执行以实现权利要求1至7中任一项所述的基于深度学习的图像数据清洗 方法。 10.一种计算机可读存储介质, 其特征在于, 其上存储有计算机程序, 所述计算机程序 被处理器进 行加载, 以执行权利要求 1至7任一项 所述的基于深度学习的图像数据 清洗方法 中的步骤。权 利 要 求 书 2/2 页 3 CN 115098718 A 3

.PDF文档 专利 基于深度学习的图像数据清洗方法、及其相关装置

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于深度学习的图像数据清洗方法、及其相关装置 第 1 页 专利 基于深度学习的图像数据清洗方法、及其相关装置 第 2 页 专利 基于深度学习的图像数据清洗方法、及其相关装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:58:25上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。