(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210222416.2 (22)申请日 2022.03.07 (71)申请人 桂林旅游学院 地址 541006 广西壮 族自治区桂林市雁山 镇良丰路26号 (72)发明人 罗建华　朱宇翔　朱新华　陈意山　 (74)专利代理 机构 南宁东智知识产权代理事务 所(特殊普通 合伙) 45117 专利代理师 裴康明 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于BERT神经网络与多语义学习的方 面级情感分析方法 (57)摘要 本发明公开了一种基于BERT神经网络与多 语义学习的方面级情感分析方法， 涉及人工智能 中的自然语言识别处理领域。 首先， 充分利用 BERT神经网络模型广泛的预训练和后训练， 有效 解决方面级情感分析中语料数量小的问题。 其 次， 提出了一个基于BERT神经网络的多语义学习 模型， 该模型由左语义、 右 语义、 方面目标语义和 全局语义学习模块组成。 进而， 为捕获每个上下 文词和方面目标之间的语义依赖性， 提出了一种 基于BERT神经网络和多头注意力机制的方面感 知增强方法。 最后， 提出了一种基于线性变换和 多头注意力的二级语义融合与互补方法， 以更有 效的方法解决自然语言识别处理中的方面级情 感分析问题。 权利要求书4页 说明书12页 附图2页 CN 114579707 A 2022.06.03 CN 114579707 A 1.一种基于BERT神经网络与多语义学习的方面级情 感分析方法， 其特征在于包括以下 步骤： S1.将待评测的评语句子分为左序列、 右序列、 全局序列和方面目标序列， 并将左序列、 右序列和全局序列分别输入到一个参数共享的BERT神经网络模型中进 行处理， 得到相应的 左语义、 右语义和全局 语义的隐藏表示， 以及将方面目标序列输入到一个参数独立的BERT 模型中进行处 理， 得到方面目标语义的隐藏表示； S2.对方面目标语义的隐藏表示进行平均池化处理， 得到平均方面语义向量， 并将平均 方面语义向量与左语义、 右语义和全局语义中的每一个隐藏状态相连接， 并分别在左语义、 右语义和全局语义上通过线性变换和多头注意力合并处理， 得到方面感知增强的左语义、 右语义和全局语义表示； S3.使用基于线性变换和多头注意力的二级语义融合， 将方面感知增强的左语义、 右语 义和全局语义进行合并， 得到最终的综合语义表示； S4.对综合语义表示进行平均池化， 得到评语句子的最终情 感表示， 并将评语的最终情 感表示通过线性变换计算评语在所有情感极性上的预测得分和概率， 根据概率的高低确定 评语句子关于指定方面目标的情感极性； 所述BERT神经网络是指Google  AI Language提出的Bidirectional  Encoder   Representati ons from Transformers(BERT)语言模型。 2.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方 法， 其特征在于： 所述步骤S1具体包括： S1.1以方面目标词为中心将待评测的评语句子分为左序列、 右序列、 全局序列和方面 目标序列， 并以BERT的分类符[CLS]作为开始符号、 以BERT的分离符[SEP]作为分隔符和结 束符形成输入表示； 其中， 全局序列sg的结构为： “[CLS]+评语句子+[SEP]+方面目标词+[SEP] ”， 且 dw为BERT神经网络模型中字词编码的维度， n为全局序列的字词长度， 所述 “字 词”是指文本经Bert的分词器Tokenzier分离出的语言片段； 左序列sl为位于方面目标词左 侧且包含方面 目标词在内的评语字词子序列， 并且根据全局序列的长度， 在右侧补充多个 结束符[SEP]， 使得左序列的字词长度与全局序列的字词长度相等， 即 右序列sr 为位于方面目标词右侧且包含方面目标词在内的评语字词子序列， 并且根据评语句子的字 词长度， 在左侧补充多个分类符[CLS]， 使得右序列的字词长度与评语句子的字词长度相 等， 然后再根据全局序列的长度， 在右侧补充多个结束符[SEP]， 使得右序列的字词长度与 全局序列的字词长度相等， 即 方面目标序列 st的结构为： “[CLS]+方面目标词+ [SEP]”， 且 m为方面目标序列的字词长度； S1.2将左序列sl、 右序列sr、 全局序列sg分别输入到一个参数共享的BERT模型进行学习 和编码， 得到左语义、 右语义和全局语义的隐藏表示Hl、 Hr和Hg， 计算过程如下： 权　利　要　求　书 1/4 页 2 CN 114579707 A 2其中， sharedBERT( ·)表示一个参数共享的BERT模型， d是BERT模型中隐藏单元的数 量； S1.3将方面目标序列 st输入到一个参数独立的BERT模型进行学习和编码， 得到方面目 标的隐藏表示Ht， 计算过程如下； 其中， indieBERT( ·)表示一个参数独立的BERT模型。 3.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方 法， 其特征在于： 所述步骤S2具体包括： S2.1对方面目标语义的隐藏表示Ht使用平均池化操作， 生成平均方面语义向量 计 算过程如下： 其中， avePo oling(·)表示平均池化操作， 表示 中的第i个元 素， 计算过程如下： 其中， Average( ·)表示求平均值的函数， 表示 中第i行、 第j列 的元素； S2.2计算方面感知增强的全局语义表示 过程如下： (1)将平均方面语义向量 与全局语义的隐藏表示Hg中的每一个隐藏状态相连接， 得到 与方面目标相连的全局语义表示Hgt， 计算过程如下： 其中， [X1： X2]表示矩阵X1， 按行拼接， 是一个有着n个1的向量， 是一个将 重复n次的线性变换， [； ]表示连接操作； (2)通过一个线性变换层， 将与方面目标相连的全局语义表示Hgt进行浓缩， 得到与方面 目标相融的全局语义表示 计算过程如下： 其中， 是线性变换层中的权重矩阵， 是线性变换层中的偏置向 量； (3)使用一个多头注意力共同关注 中不同位置的信息， 得到方面感知增强的全局 语义表示 计算过程如下： 权　利　要　求　书 2/4 页 3 CN 114579707 A 3