(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210179715.2 (22)申请日 2022.02.25 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 蔡国永　兰天　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 陆梦云 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/284(2020.01) G06F 40/253(2020.01) G06F 16/35(2019.01)G06N 3/04(2006.01) (54)发明名称 一种基于多头注意力和词共现的方面级情 感分析方法 (57)摘要 本发明公开了一种基于多头注意力和词共 现的方面级情感分析方法， 包括如下步骤： 1） 获 得文本嵌入表示和目标词嵌入表示； 2） 生成目标 词表示； 3） 构建词共现矩阵； 4） 获得最终的文本 表示； 5） 得到目标词的情感极性预测结果。 这种 方法提升了模型在方面级情感分析任务中的性 能， 捕捉能力强。 权利要求书2页 说明书8页 附图1页 CN 114492458 A 2022.05.13 CN 114492458 A 1.一种基于多头注意力和词共现的方面级情感分析 方法， 其特 征在于， 包括如下步骤： 1)获得文本嵌入表示和目标词嵌入表示： 采用预训练的BERT模型对文本和目标词进行 编码， 分别得到文本嵌入表示和目标词嵌入表示； 2)生成目标词表示： 利用两种注意力编码器来分别建模文本的隐藏状态和句法结构， 生成文本表示， 以及建模目标词和文本之间的语义交 互和依赖信息， 生成目标词表示； 3)构建词共现矩阵， 并通过多层图卷积神经网络将词共现矩阵分别与步骤2)得到的文 本特征表示和目标词特 征表示融合， 生成文本特 征表示和目标词特 征表示； 4)获得最终的文本表示： 通过自注意力机制对步骤3)得到的文本特征表示和目标词特 征表示进行全局特 征捕捉， 获得最终的文本表示； 5)得到目标词的情 感极性预测结果： 对步骤3)得到的文本特征表示和目标词特征以及 步骤4)得到的最终文本表示进行平均池化和归一化操作， 得到目标词的情感极性预测结 果。 2.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤1)中所述的预训练的BERT模型把文本序列和目标词序列作为输入， 并将序列中的 每个单词都映射为一个词向量， 最终得到融合左右上下文信息的文本嵌入表示和目标词嵌 入表示。 3.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤2)中所述的两种注意力编码器为内联多头注意力编码器和互联多头注意力编码 器， 通过内联多头注意力编码器计算文本中单词之间的相互影响， 捕捉文本的内部相关信 息， 得到构建了内部依赖信息的本文特征表示； 通过互联多头注意力编码器对目标词进行 上下文感知建模， 重点捕捉 目标词与上下文词之间的依赖信息， 得到包含上下文信息的目 标词特征表示。 4.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤3)中所述的构建词共现矩阵的具体步骤如下： 3.1)根据现有的公开数据集， 构建一个全局词共现图； 3.2)根据数据集中的每一条评论句子， 构建一个局部词共现图； 3.3)根据文本中的单词为每条评论得到一个词共现矩阵。 5.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤3)中所述的多层图卷积神经网络将步骤2)得到的文本特征表示和目标词特征表 示 作为输入， 在每层的卷积之前都对特征表示进行位置关系处理， 而后将处理过的特征表示 与词共现矩阵进行 卷积， 得到融合词共现信息的文本特 征表示和目标词特 征表示。 6.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤4)中所述的通过多头自注意力机制将目标词特征表示作为查询矩阵， 将文本特征 表示作为键矩阵和值矩阵， 获得最终的文本表示。 7.根据权利要求1所述的基于多头注意力和词共现的方面级情感分析方法， 其特征在 于， 步骤5)中所述的对文本特征表 示和目标词特征以及最 终文本表示进 行平均池化和归一 化操作， 得到目标词的情感极性预测结果的具体步骤如下： 5.1)将步骤4)得到的最终文本表示与步骤3)得到的两个特征表示一同施加平均池化 操作， 并将平均池化的结果 拼接起来得到最后的综合文本表示；权　利　要　求　书 1/2 页 2 CN 114492458 A 25.2)将综合文本表示映射到分类空间中； 5.3)通过softmax函数归一化后得到情感极性分布， 将概率最高的标签作为最终的预 测结果。权　利　要　求　书 2/2 页 3 CN 114492458 A 3