(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989101.0 (22)申请日 2022.08.17 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 刘霖　李良炜　杜晓辉　张静　 刘娟秀　郝如茜　王祥舟　刘永　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 陈一鑫 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 16/36(2019.01) (54)发明名称 一种基于图卷积神经网络的室内物体零样 本检测方法 (57)摘要 本发明公开了一种基于图卷积神经网络的 室内物体零样本检测方法， 该方法主要应用于缺 样、 少样情况下室内物体检测项目。 算法设计了 一种U形结构的图卷积神经网络， 实现了一种基 于中心‑邻域相似度的图网络下采样层。 发明中 所涉及的算法解决了室内物体检测领域中缺乏 目标样本的问题， 减少对人工标注的需求， 扩大 了检测范围， 提升 了检测效率。 权利要求书2页 说明书5页 附图2页 CN 115359344 A 2022.11.18 CN 115359344 A 1.一种基于图卷积神经网络的室内物体零样本检测方法， 该 方法包括： 步骤1： 从大型开源数据集中筛选与室内物体相关类别的图片， 制作室内物体数据集， 作为训练过程中的不可 见类； 步骤2： 删除ImageNet数据集中与室内物体相关的类别得到ImageNetD数据集， 作为训 练过程的可见类； 获取ImageNetD数据集中各个类别的词向量和室内物体数据集中各个类 别的词向量； 步骤3： 基于步骤2中获取的词向量以及专家定义的类别间的关系， 构 建包含ImageNetD 和室内物体数据集类别在内的知识图谱G0； 步骤4： 使用经过预训练的卷积神经网络在步骤1中ImageNetD数据 集上进行微调， 取出 最后一层分类 器的权重 步骤5： 构建ZS ‑GraphUNet图卷积神经网络； 步骤6： 将步骤3中的室内物体知识图谱G0作为输入， 步骤4中分类器的权重 作为标 签 对ZS‑GraphUNet图卷积神经网络进行训练； 步骤7： 将图像输入到训练好的ZS ‑GraphUNet模型， 模型进行 前向传播计算； 步骤8： 输出检测结果。 2.如权利要求1所述的一种基于图卷积神经网络的室内物体零样本检测方法， 其特征 在于， 步骤2的具体步骤为： 步骤2‑1： 在Wikipedia上爬取各个类别的文本描述制作基于室内物体语料库， 包含 1635个类别在内的16 35段文本； 步骤2‑2： 根据语料库构建共现词频矩阵X， 矩阵中的每一个元素xij代表单词i和上下文 单词j在语料库中特定大小的上 下文窗口内共同出现的次数； 步骤2‑3： 构建词向量和共现词频矩阵X之间的近似关系： 其中， 上式的ωi和ωj分别是最终要求解的中心和 背景词向量； 而bi和bj是两个词向量 的偏置项； 步骤2‑4： 基于AdaGrad梯度下降方法， 对矩阵X中的所有非零元素进行随机采样， 最小 化损失函数 获取中心词向量的最优解ωi， 学习率为0.05， 训练轮次为10 0： 其中， V代表语料库中单词的类别总数； 权 重函数f(Xij)的定义为： 3.如权利要求1所述的一种基于图卷积神经网络的室内物体零样本检测方法， 其特征 在于， 步骤4的具体步骤为： 步骤4‑1： 将在ImageNet数据集上进行预训练的ResNet50神经网络模型在ImageNetD 数 据集上进行微调，权　利　要　求　书 1/2 页 2 CN 115359344 A 2步骤4‑2： 将4‑1中微调后的ResNet50取出最后一层分类器的权重 将该权重作为真 实标签 将ResNet5 0剩下的部分作为特 征提取器。 4.如权利要求1所述的一种基于图卷积神经网络的室内物体零样本检测方法， 其特征 在于， 步骤5的具体步骤为： 步骤5‑1： 搭建ZS ‑GraphUNet网络结构模型， 采用一种U形结构的图卷积神经网络， 网络 的基础模块包括图卷积层、 图池化层、 图上采样层， 输入知识图谱G0， 经过一层图卷积层生 成G1， G1经图池化层进行下采样得到G11； G11经一层图卷积层得到G21， G21下采样得到G22， G22经 过一层图卷积得到G31； G31经过图上采样层得到G32， 并恢复到G21的形状， 将两者对应节点间 的特征相加后 得到融合后的特征G42； 相同的， G31和G1间执行特征融合得到G43； G43经过一层 图卷积层得到目标分类 器 5.如权利要求1所述的一种基于图卷积神经网络的室内物体零样本检测方法， 其特征 在于， 步骤6的具体步骤为： 步骤6‑1： 将步骤3中的知识图谱 G0作为输入， 输出目标分类器 步骤4得到的分类器 权重 作为真实标签 步骤6‑2： 将输出 进行L2正则化， 调整输出到相应的范围； 步骤6‑4： 损失函数采用带掩膜的Leaky ‑ReLu损失， 最小化目标分类器 中可见类分 类器权重和真实标签 的差距。 6.如权利要求1所述的一种基于图卷积神经网络的室内物体零样本检测方法， 其特征 在于， 步骤8的具体步骤为： 步骤8‑1： 将室内物体数据集的图片输入步骤4中的特征提取器进行前向计算， 输出图 片的视觉特征； 步骤8‑2： 将步骤8 ‑1中提取的图片特征输入训练得到的目标分类器 经过一次 softmax， 得到图片在每 个类别上的概 率分布； 步骤8‑3： 输出概 率分布最大的类别即为 零样本分类的结果。权　利　要　求　书 2/2 页 3 CN 115359344 A 3