(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006989.8 (22)申请日 2022.08.22 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 张宁豫　程思源　毕祯　梁孝转　 陈华钧　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) (54)发明名称 基于Transformer的大模型知 识图谱表示方 法 (57)摘要 本发明公开了一种基于Tran sformer的大模 型知识图谱表示方法， 包括： (1)从知 识图谱随机 采样包含中心三元组的子图， 构建掩码子图序 列； (2)利用Tran sformer提取掩码子图序列中节 点的嵌入表示， 提取时， 以邻接矩阵的多维幂次 方作为结构信息， 并将结构信息的编码向量添加 到Transformer的注意力机制中， 以得到掩码节 点的嵌入表示； (3)利用分类器对掩码节点的嵌 入表示进行词义预测， 以得到词义预测结果； (4) 构建损失函数并优化模型参数； (5)利用参数优 化的模型进行知识图谱的补全。 该方法能给充分 捕获知识 图谱中的结构信息以及上下文语义信 息。 权利要求书3页 说明书7页 附图1页 CN 115357728 A 2022.11.18 CN 115357728 A 1.一种基于Transformer的大模型知识图谱表示方法， 其特 征在于， 包括以下步骤： 步骤1， 从知识图谱随机采样包含中心三元组的子图， 将子图中非三元组的实体节点和 实体节点之 间的关系均作为上下文节点， 将中心 三元组与对应的上下文节点序列化以得子 图序列， 同时构建子图序列的邻接矩阵， 对子图序列中的中心 三元组中任意节 点掩码， 得到 掩码子图序列； 步骤2， 利用Transformer提取掩码子图序列中节点的嵌入表示， 提取时， 以邻接矩阵的 多维幂次方作为结构信息， 并将结构信息的编码向量添加到Transformer的注 意力机制中， 以得到掩码节点的嵌入表示； 步骤3， 利用分类 器对掩码节点的嵌入表示进行词义预测， 以得到词义预测结果； 步骤4， 根据词义预测结果与候选节点的词义真值构建监督损失， 同时基于正负样本采 样构建一致性正则化损失， 并基于监督损失一致性正则化损失优化Transformer和分类器 的参数； 步骤5， 针对待补全的知识图谱， 利用参数优化的Transformer和分类器的参数预测缺 失节点的词义预测结果， 利用该词义预测结果进行知识图谱的补全。 2.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 子图序列表示为 其中， 表示中心三元组， 分别表示头实体节点、 头实体和尾实体之间的关系节点、 尾实体节点， ν1, ν2, ν3,…, νn均为上下文节点， 将中心三元组 中任意节点掩码 处理后， 得到掩码 子图序列xmask， 假设被掩码节点 为尾实体节点， 则掩码子图序列xmask表示为: 3.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 利用Transformer提取掩码子图序列中节点的嵌入表示时， 采用注意力机制计算注意力权 重时， 通过以下 方式添加结构信息的编码向量： 其中， αij表示根据第i个隐藏向量和第j个隐藏向量hj计算的注意力权重， WQ和Wk表示注 意力机制中Q通道和K通道中线性变换的权重矩阵， d表示特征向量的维度， φ(i,j)表示结 构信息的编码向量值， fstructure(·)表示线性编码操作， 分别表示归一化邻 接矩阵 的一次方， 二次方， …， 幂次方， m为可调参数， 取值 为1‑5。 4.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 构建的监 督损失表示 为： 权　利　要　求　书 1/3 页 2 CN 115357728 A 2其中， 字符c代表候选节点集合， 其中包括了实体节点以及关系节点， 字符s表示为知识 图谱中的特定采样子图， 表示被采样的掩码子图序列， 表示候选节点的真值标 签， 表示掩码子图序列关于候选节点的词义预测结果。 5.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 构建的一 致性正则化损失表示 为： 其中， ct和ct‑1是前后两个epoch中输入正样本中掩码节点的嵌入表示， cj表示采样负样 本掩码节点的嵌入表 示， sim(·)代表余弦相似度， τ是超参数， 负样 本是与正样 本不同的指 其他中心三元组的掩码子图序列。 6.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 所述掩码子图序列被输入至Transformer之前需要经 过向量初始化， 具体过程表示 为： h′＝h+zsemantic 其中， h表示对序列中单个词的随机初始化， zsemantic表示利用预训练语言模型对单个词 的语义嵌入向量， h ′表示单个词的最终向量初始化。 7.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 步骤5中， 接收待补全的知识图谱， 从知识图谱中提取包含待补全三元组， 并构建待补全三 元组序列和对应的邻接矩阵后， 利用参数优化的Transformer 提取缺失节 点的嵌入表 示， 利 用分类器对缺失节点的嵌入表示进行词义预测， 以得到词义预测结果， 依据词义预测结果 对三元组中的缺失内容进行补全。 8.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 在进行知识图谱补全时， 构建包含缺 失三元组的k个子图序列及 对应的邻接矩阵， 并预测对 应的k个缺失节点的嵌入表示， 然后对多个嵌入表示进行合并， 得到合并嵌入表示， 利用分 类器对合并嵌入表示进行词义预测， 得到词义预测结果； 其中， 合并嵌入表示 hk表示第k个子图序列中缺失节点的嵌入表示。 9.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 所述大模 型知识图谱表示方法用于电商知识图谱的补 全， 电商知识图谱中， 实体表示用户、 商品等， 关系表示用户与商品之 间的购买关系， 用户和用户之 间的相识关系， 以及用户和商 品之间的商品维度关系、 品类维度关系， 其中， 商品维度关系包含了相似商品关系以及商品 描述关系， 品类维度关系包 含商品所属类目的层级关系， 所述大模型知识图谱表示方法利用步骤1 ‑5的步骤来预测电商知识图谱中新用户或商 品， 利用新用户或商品补全电商知识图谱。 10.根据权利要求1所述的基于Transformer的大模型知识图谱表示方法， 其特征在于， 所述大模型知识图谱表示方法用于蛋白质知识图谱的补全， 在蛋白质知识图谱中， 实体表 示蛋白质、 蛋白质功能， 关系表示蛋白质与蛋白质功能之前的连接 关系， 表示蛋白质是否具 有相应的蛋白质功能， 关系还表示蛋白质与蛋白质之间的相互作用， 所述大模型知识图谱表示方法利用步骤1 ‑5的步骤来预测蛋白质知识图谱中新蛋白质权　利　要　求　书 2/3 页 3 CN 115357728 A 3