(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210294719.5 (22)申请日 2022.03.23 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 高斌斌　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 语义分割方法、 装置、 电子设备及存 储介质 (57)摘要 本申请提供一种语义分割方法、 装置、 电子 设备及存储介质， 可应用于云技术、 人工智能、 智 慧交通、 辅助 驾驶、 工业缺陷质检等各种场景， 该 方法包括： 获取支撑图像和待分割的查询图像； 将支撑图像和查询图像输入语义 分割网络， 得到 查询图像的语义分割结果； 语义 分割网络为基于 标注有第一样本类别标注结果的少量几张样本 支撑图像和标注有第二样本类别标注结果的样 本查询图像， 对 预设语义分割网络中的第一分支 网络和第二 分支网络进行训练得到。 本申请实施 例基于第一分支网络和第二分支网络进行训练 得到语义分割网络， 但在测试过程中使用第一分 支网络就能够提高查询图像的语义分割精度， 因 无需第二分支网络所以也未增加额外增加系统 资源的消耗。 权利要求书3页 说明书18页 附图8页 CN 114821045 A 2022.07.29 CN 114821045 A 1.一种语义分割方法， 其特 征在于， 所述方法包括： 获取支撑图像和待分割的查询图像； 将所述支撑图像和所述查询图像输入语义分割网络， 得到所述查询图像的语义分割结 果； 其中， 所述语义分割网络为基于标注有第 一样本类别标注结果的样本支撑图像和标注 有第二样本类别标注结果的样本查询图像， 对 预设语义分割网络中的第一分支网络和 第二 分支网络进行训练得到， 所述第一分支网络用于对比学习所述样本支撑图像的第一样本图 像特征和所述样本查询图像的第二样本图像特征， 所述第二分支网络用于对比学习至少两 个第二样本子图像特征， 所述至少两个第二样本子图像特征为对所述第二样本图像特征中 的样本背景图像特 征进行聚类得到 。 2.根据权利要求1所述的语义分割方法， 其特征在于， 所述支撑图像标注有类别标注结 果， 所述将所述支撑图像和所述查询图像输入语义分割网络， 得到所述查询图像的语义分 割结果， 包括： 基于所述语义分割网络对所述支撑图像的第一图像特征和所述类别标注结果进行全 局平均池化处理， 得到所述支撑图像的前景区域对应的前景原型； 所述前景区域为所述类 别标注结果所在的区域； 基于所述语义分割网络 融合所述前景原型和所述查询图像的第 二图像特征， 得到 融合 特征； 基于所述语义分割网络对所述融合特 征进行编码， 得到所述语义分割结果。 3.根据权利要求1所述的语义分割方法， 其特征在于， 所述语义分割网络的训练方法包 括： 获取所述样本支撑图像和所述样本查询图像； 基于所述第一分支网络对所述第一样本图像特征和所述第二样本图像特征进行对比 学习， 得到所述样本查询图像的第一样本语义分割结果； 基于所述第 二分支网络对所述至少两个第 二样本子图像特征进行对比学习， 得到所述 样本查询图像的第二样本语义分割结果； 根据所述第 一样本语义分割结果、 所述第 二样本语义分割结果和所述第 二样本类别标 注结果， 对所述预设语义分割网络中的网络参数进行更新， 直至所述网络参数满足预设条 件， 得到所述语义分割网络 。 4.根据权利要求3所述的语义分割方法， 其特征在于， 所述至少两个第 二样本子图像特 征的获取 方法包括： 将所述样本查询图像中， 除所述第二样本类别标注结果所在区域之外的区域， 作为所 述样本查询图像的样本背景区域； 获取所述第二样本图像特 征中， 与所述样本背景区域对应的所述样本背景图像特 征； 基于所述样本背景图像特征中的特征之间的距离， 对所述样本背景图像特征进行聚 类， 得到所述至少两个第二样本 子图像特 征。 5.根据权利要求3所述的语义分割方法， 其特征在于， 所述基于所述第 一分支网络对所 述第一样本图像特征和所述第二样本图像特征进 行对比学习， 得到所述样本查询图像的第 一样本语义分割结果， 包括：权　利　要　求　书 1/3 页 2 CN 114821045 A 2将所述第一样本图像特 征和所述第一样本类别标注结果， 输入所述第一分支网络； 基于所述第一分支网络对所述第一样本图像特征和所述第一样本类别标注结果进行 全局平均池化处理， 得到所述样本支撑图像的样本前景区域对应的样本前景原型； 所述样 本支撑图像的样本前 景区域为所述第一样本类别标注结果所在的区域； 基于所述第 一分支网络 融合所述样本前景原型和所述第 二样本图像特征， 得到第 一样 本融合特 征； 基于所述第 一分支网络对所述第 一样本融合特征进行编码， 得到所述第 一样本语义分 割结果。 6.根据权利要求5所述的语义分割方法， 其特征在于， 所述基于所述第 一分支网络 融合 所述样本前 景原型和所述第二样本图像特 征， 得到第一样本融合特 征， 包括： 基于所述第一分支网络将所述样本前景原型的尺寸扩展至所述第二样本图像特征的 尺寸， 得到扩展后的样本前 景原型； 基于所述第一分支网络对所述扩展后的样本前景原型和所述第二样本图像特征进行 融合， 得到所述第一样本融合特 征。 7.根据权利要求3所述的语义分割方法， 其特征在于， 所述基于所述第 二分支网络对所 述至少两个第二样本子图像特征进行对比学习， 得到所述样本查询图像的第二样本语义分 割结果， 包括： 将所述至少两个第二样本 子图像特 征输入所述第二分支网络； 基于所述第二分支网络对所述至少两个第二样本子 图像特征和所述第二样本类别标 注结果进 行全局平均池化处理， 得到所述至少两个第二样本子图像特征各自对应的样本背 景原型； 基于所述第二分支网络融合所述至少两个第二样本子图像特征和所述至少两个第二 样本子图像特 征各自对应的样本背景原型， 得到第二样本融合特 征； 基于所述第 二分支网络对所述第 二样本融合特征进行编码， 得到所述第 二样本语义分 割结果。 8.根据权利要求7所述的语义分割方法， 其特征在于， 所述基于所述第 二分支网络 融合 所述至少两个第二样本子图像特征和所述至少两个第二样本子图像特征各自对应的样本 背景原型， 得到第二样本融合特 征， 包括： 基于所述第二分支网络将每个样本背景原型的尺寸扩展至对应的第二样本子图像特 征的尺寸， 得到所述每 个样本背景原型对应的扩展后的样本背景原型； 对所述每个样本背景原型对应的扩展后的样本背景原型以及对应的第二样本子图像 特征进行融合， 得到所述第二样本融合特 征。 9.根据权利要求3至8中任一项所述的语义分割方法， 其特征在于， 所述根据所述第一 样本语义分割 结果、 所述第二样本语义分割 结果和所述第二样本类别标注结果， 对所述预 设语义分割网络中的网络参数进行更新， 直至所述网络参数满足预设条件， 得到所述语义 分割网络， 包括： 基于所述第一样本语义分割结果和所述第二样本类别标注结果， 确定第一损失值； 基于所述第二样本语义分割结果和非类别标注结果， 确定第二损 失值； 所述非类别标 注结果表征 所述第二样本类别标注结果与1的差值；权　利　要　求　书 2/3 页 3 CN 114821045 A 3