(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362526.9 (22)申请日 2022.04.07 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 刘辉　马祥　 (74)专利代理 机构 重庆忠言智汇 专利代理事务 所(普通合伙) 50290 专利代理师 何君苹 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06F 40/205(2020.01) G06F 40/253(2020.01) G06F 40/284(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于LSTM和语法距离的方面级情感分 析方法 (57)摘要 本发明公开了一种基于LSTM和语法距离的 方面级情感分析方法， 包括S1:特征输入： 使用 GloVe预训练模型对词向量进行映射， 再分别让 方面词和上下文词经过Bi ‑LSTM， 得到方面词和 上下文的隐藏表示； S2:语义特征提取： 采用图卷 积网络和mLSTM分别提取方面词和上下文的语义 特征； S3:方面词和上下文词语义交互阶段:将S2 提取到的方面词和上下文的特征进行一个点积 注意力操作； S4:情感预测阶段: 对S3中得到的特 征进行一个最大池化操作后， 再通过softmax操 作得到最终预测的情感极性。 提升了方面词与重 要上下文正确匹配的概率， 并通过引入语法距离 权重代替相对距离， 进一步在语 法层面上提取与 方面词语 法关联程度大的上下文， 最终提升了方 面级情感分析的准确率。 权利要求书3页 说明书10页 附图1页 CN 114662503 A 2022.06.24 CN 114662503 A 1.一种基于LSTM和语法距离的方面级情感分析 方法， 其特 征在于， 包括以下步骤： S1:特征输入： 使用GloVe预训练模型对词向量进行映射， 再分别让方面词和上下文词 经过Bi‑LSTM， 得到方面词和上 下文的隐藏表示； S2:语义特 征提取： 采用图卷积网络和mLSTM分别提取 方面词和上 下文的语义特 征； S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个 点积注意力操作； S4:情感预测阶段:对S3中得到 的特征进行一个最大池化操作后， 再通过softmax操作 得到最终预测的情感极性。 2.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于： 步骤S1 中， 使用GloVe预训练模 型， 将待进 行情感分析的句子中每个词转换为词向量， 并 采用Bi‑LSTM得到方面词和上 下文词的隐藏表示。 3.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于： 步骤S2中， 采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征， 具体包括： 将 步骤S1中得到的方面词的 隐藏表示同上下文词逐一地计算关联程度， 得到方面词对于上下 文词的注意力向量， 并将该注意力向量与上下文词的隐藏表示拼接起来， 作为mLSTM的输 入， 得到含有 更多方面信息的上下文词的特征表示； 然后使用spaCy进 行语法依赖分析得到 语法依赖树， 并引入语法距离作为位置权重， 使得在语法依赖树上与方面词距离更近的上 下文词获得更大的权重， 同时与上下文词的最终表示和经过语法依赖树构建的邻接矩阵一 同作为图卷积网络的输入， 经由图卷积网络获取不相 邻单词之 间的依赖关系并获取到丰富 的语法特征； 然后经过方面掩盖层过滤掉 非方面词， 得到方面词的 隐藏表示； 然后将得到的 上下文词表示、 方面词表示和语法距离 权重进行信息交 互， 用于方面级情感分析。 4.根据权利要求3所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于： 所述的模型包括mLSTM层， 位置 权重层， 图卷积层， 方面掩盖层和信息交 互层。 5.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于， 所述的mLSTM层计算过程包括： 将通过Bi ‑LSTM得到的方面词和上下文词的隐藏表示 和 逐一的计算 二者之间的关联性， 表达式为： 其中， αkj是用来编码上 下文词 和方面词 之间的的注意权 重， 表达式为： 其中， ekj， 用来获取 上下文词 与不同方面词之间的关联， 表达式为：权　利　要　求　书 1/3 页 2 CN 114662503 A 2其中,we和所有的参数矩阵W*均为可学习的权重矩阵。 是由mLSTM产生的第k个位置 的隐藏状态； 然后将上下文中第k个 单词的关于方面词的注意力权重ak与上下文中第k个单词的隐藏 状态 融合起来， 作为mLSTM的输入mk。 经过mLSTM得到含有方面信息的上 下文表示 6.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于， 步骤S2中， 引入语法距离权重代替相等距离， 使 得与方面词的语法关联更大的上下文词 能够获得更大 的权重， 优化图卷积网络的输入， 经过图卷积网络得到含有丰富语法特征 的 句子表示后， 又通过 方面掩盖层过 滤掉非方面词， 得到方面表示。 7.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法， 其特征在 于， 语法距离 权重由语法依赖树得到， 其表达式为： 其中， di,a为上下文中第k个单词 与方面词的语法距离， dmax表示DS,a中语法距离的最 大值。 然后位置权重层将语法距离权重与上下文的最终表示作为输入， 得到位置权重层的 输出： 其中 将位置权重层的输出Hpm、 上下文的隐藏表示Hm和句子依赖树的邻接矩阵Aij作为图卷积 网络的输入。 假设图卷积网络为 L层， 则图卷积网络更新 规则的表达式为： 其中， 为第l层图卷积网络的第i个节点的隐藏表示, 表示第(l ‑1)层的第j个节 点的隐藏表示； Aij是n*n的邻接矩阵， 由句法依赖树得到； Aij＝1表示节点i和节点j之间有 连接； 自环设定为1； Wl是权重矩阵， bl为偏差项， Wl和bl都是可训练的； 表示 与第i个节点相关联的边数； 最后得到L层图卷积网络的隐藏表示 为 方面掩盖层只让方面的隐藏表示通过， 而对于非方面的单词， 则不能通过； 经过方面掩 盖层的隐藏表示 为 其表达式为：权　利　要　求　书 2/3 页 3 CN 114662503 A 3