(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211282155.X (22)申请日 2022.10.19 (71)申请人 广州华多网络科技有限公司 地址 511442 广东省广州市番禺区南村镇 万达广场B1栋24层 (72)发明人 王锋　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06V 30/413(2022.01) G06Q 30/06(2012.01) (54)发明名称 商品命名实体识别方法及其装置、 设备、 介 质、 产品 (57)摘要 本申请涉及一种商品命名实体识别方法及 其装置、 设备、 介质、 产品， 所述方法包括： 采用实 体识别模型中的编码网络提取商品信息中商品 图像的图像特征信息和描述文本的文本特征信 息； 采用实体识别模型中的概率回归网络根据编 码网络生成的图像特征信息和文本特征信息确 定图文匹配概率； 采用实体识别模 型中的融合网 络构造图文综合信息， 使图文综合信息包含文本 特征信息与图像 关键信息的融合结果， 图像关键 信息为图像特征信息与图文匹配概率的乘积； 采 用实体识别模型中的条件随机场网络根据图文 综合信息识别出命名实体。 通过引入图文匹配概 率， 丰富命名实体预测所需的参考信息， 可以提 升命名实体识别的准确度。 本申请可以提升商品 命名实体识别的准确度。 权利要求书3页 说明书16页 附图6页 CN 115470794 A 2022.12.13 CN 115470794 A 1.一种商品命名实体识别方法， 其特 征在于， 包括： 采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和 描述文本的文本特 征信息； 采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和 所述文本特 征信息确定所述商品图像与所述描述文本之间的图文匹配概 率； 采用所述实体识别模型中的融合网络构造图文综合信 息， 使所述图文综合信 息包含所 述文本特征信息与图像关键信息的融合结果， 所述图像关键信息为所述图像特征信息与所 述图文匹配概 率的乘积； 采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。 2.根据权利要求1所述的商 品命名实体识别方法， 其特征在于， 采用预设的实体识别模 型中的编 码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息， 包 括： 获取商品信息中的商品图像和描述文本， 所述商品图像为商品的默认展示图片， 所述 描述文本包括所述商品的商品标题； 采用所述编码网络 中的图像编码器提取所述商 品图像的深层语义信 息， 获得图像特征 表示； 采用所述编码网络 中的文本编码器提取所述描述文本的深层语义信 息， 获得文本特征 信息； 采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息 相关联的特 征信息， 获得图像特 征信息。 3.根据权利要求2所述的商 品命名实体识别方法， 其特征在于， 采用所述编码网络 中的 注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息， 获得图像 特征信息， 包括： 将所述文本特征信息作为查询向量， 将所述图像特征表示作为值向量和键向量， 输入 所述注意力层； 由所述注意力层利用所述 查询向量从键向量中查询出其中的关键特 征向量； 由所述注意力层将所述关键特 征向量归一 化为权重向量； 将所述值向量匹配所述权 重向量获得图像特 征信息。 4.根据权利要求1所述的商 品命名实体识别方法， 其特征在于， 采用所述实体识别模型 中的融合网络构造图文综合信息， 包括： 采用所述融合网络 中的线性层计算所述图像特征信 息与所述图文 匹配概率的乘积， 获 得图像关键信息； 采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融 合， 获得融合特征信息， 并计算所述融合特征信息与所述图像关键信息的元素积， 获得图文 优选信息； 采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文 综合信息 。 5.根据权利要求1至4中任意一项所述的商品命名实体识别方法， 其特征在于， 采用预 设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的权　利　要　求　书 1/3 页 2 CN 115470794 A 2文本特征信息之前， 包括： 获取数据集， 所述数据集中包括多个商品相对应的商品信息， 每个商品信息包括同一 商品的商品图像和描述文本， 以及存在于所述描述文本中的多个命名实体； 将所述编码网络与 所述概率 回归网络构建为图文 匹配识别模型， 采用所述数据集中同 一商品的商品图像和描述文本构造正样本， 不同商品的商品图像和描述文本构造负样本， 对所述图文匹配识别模型实施训练至收敛， 使其适于根据商品图像和描述文本获得将两者 预测为正样本的图文匹配概 率； 以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模 型的训练样本， 以所述商品信息中相对应的命名实体作为监督标签， 在固化所述概率回归 网络的权 重的条件下对所述实体识别模型实施训练至收敛。 6.根据权利要求1至4中任意一项所述的商品命名实体识别方法， 其特征在于， 采用所 述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后， 包括： 将识别出的命名实体作为据以获得 该命名实体的商品信息相对应的商品的商品标签； 响应于用户搜索指令， 获得用户关键词； 根据所述用户关键词与所述商 品标签的匹配关系， 获得携带与 所述用户关键词相匹配 的商品标签的商品信息列表； 将所述商品信息列表推送给 所述的用户。 7.根据权利要求1至6中任意一项所述的商品命名实体识别方法， 其特征在于， 采用所 述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后， 包括： 将识别出的命名实体作为商品关键词库中的关键词； 响应于用户搜索指令， 获得用户关键词； 从所述商 品关键词库中查询出与 所述用户关键词相匹配的关键词， 根据匹配出的关键 词重构所述用户关键词， 获得重 定向文本； 根据重定向文本执 行商品搜索， 获得相应的商品信息列表推送给 所述的用户。 8.一种商品命名实体识别装置， 其特 征在于， 包括： 特征提取模块， 设置为采用预设的实体识别模型中的编码网络提取商品信 息中商品图 像的图像特 征信息和描述文本的文本特 征信息； 概率获取模块， 设置为采用所述实体识别模型中的概率 回归网络根据 所述编码网络生 成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹 配概率； 特征融合模块， 设置为采用所述实体识别模型中的融合网络构造 图文综合信息， 使所 述图文综合信息包含所述文本特征信息与图像关键信息的融合结果， 所述图像关键信息为 所述图像特 征信息与所述图文匹配概 率的乘积； 实体标注模块， 设置为采用所述实体识别模型中的条件随机场网络根据 所述图文综合 信息识别出命名实体。 9.一种商品命名实体识别设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理 器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所 述的方法的步骤。 10.一种非易失性可读存储介质， 其特征在于， 其以计算机可读指令的形式存储有依据权　利　要　求　书 2/3 页 3 CN 115470794 A 3