(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210195759.4 (22)申请日 2022.02.25 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 广州启辰电子科技有限公司 (72)发明人 马千里　冯华文　郑彦魁　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06Q 50/00(2012.01) (54)发明名称 基于扰动改良的自注意力机制社交网络文 本情感分析方法 (57)摘要 本发明涉及一种基于扰动改良的自注意力 机制社交网络文本情感分析方法， 用于在网络中 分析文本表达的情感。 步骤如下： 将网络文本数 据中的句子用分词工具切分为词， 并用词嵌入矩 阵将每个词转化为词向量； 将词向量输入预训练 语言模型(BERT ‑base)中得到每个词的隐层状态 (特征表示)； 将词的隐层状态输入分类器获得句 子的分类概率分布； 将每个词的隐层状态和句子 的分类概率 分布进行扰动改良， 得到注意力监督 信息； 用注 意力监督信息二次训练预训练语言模 型； 将词向量输入改良训练后的语 言模型得到隐 层状态， 并用分类 器输出最终分类结果。 权利要求书3页 说明书8页 附图3页 CN 114626372 A 2022.06.14 CN 114626372 A 1.一种基于扰动改良的自注意力机制网络文本情感分析方法， 其特征在于， 所述社交 网络文本情感分析 方法包括以下步骤： S1、 将用户话语文本数据中的每个句子切分为词序列w＝(w1， w2， ...， wi， ...， wN)， wi表 示词序列中的第i个词， 1≤i≤N， 并将每个词用词向量表示X＝[x1， x2， ...， xi， ...， xN]， 其 中， xi是词向量X中的第i个元素， 表示wi对应的词向量， N为词的个数， 表示实 数域； S2、 将词向量X＝[x1， x2， ...， xi， ...， xN]输入BERT ‑base中得到每个词的编码表示H＝ (h1， h2， ...， hi， ...， hN)和对应的注意力权重A＝( α1， α2， ...， αi， ...， αN)， 其中， hi是编码表 示H中的第i个元素， 表示xi对应的BERT ‑base中的输出， αi是注意力权重A中的 第i个元素， 表示xi对应的注意力权重， αi∈(0， 1)， 所述BERT ‑base为预训练语言模型， 由12 层Transformer单元和12层多头注意力组成， 将762维 的词向量X＝[x1， x2， ...， xi， ...， xN] 编码为H＝(h1， h2， ...， hi， ...， hN)， 并输出12层多头注意力的注意力权重， 将该12层注意力 权重平均池化后得到A＝( α1， α2， ...， αi， ...， αN)； S3、 将词的编码表示H＝(h1， h2， ...， hi， ...， hN)输入分类器中分类， 得到在M个类别上的 概率分布P＝(p1， p2， ...， pk， ...， PM)以及对应的one ‑hot分类结果Y＝(y1， y2， ...， yk， ...， yM)， 其中， pk是概率分布P中的第k个元素， 表示当前句子属于第k个类别的概率， yk是one‑ hot分类结果Y中的第k个元素， yk＝0表示当前句子不属于第k个类别， yk＝1表示当前句子属 于第k个类别， pk∈[0， 1]， yk∈{0， 1}， 1≤k≤M， M 为待分类文本的类别总数， 类别是根据对文 本分类具体的需求人为设定的； S4、 将每个词的词向量表示X＝[x1， x2， ...， xi， ...， xN]、 每个词的编码表示H＝(h1， h2， ...， hi， ...， hN)和在各个类别上的概率分布P＝(p1， p2， ...， pk， ...， PM)进行扰动改良， 得到注意力监督信息A ′＝( α′1， α′2， ...， α′i， ...， α′N)， α′i是注意力监督信息A ′中的第i个 元素， 表示xi对应的注意力监 督信息， α ′i∈(0， 1)； S5、 用注意力监督信息A ′＝( α′1， α′2， ...， α′i， ...， α′N)监督所述BERT ‑base进行二次训 练； S6、 将词向量X＝[x1， x2， ...， xi， ...， xN]输入经过二次训练的BERT ‑base得到隐层状态， 并用分类 器输出最终分类结果。 2.根据权利要求1所述的基于扰动改良的自注意力机制网络文本情感分析方法， 其特 征在于， 所述 步骤S4中扰动改良过程如下： S41、 对每个词的词向量表示X＝[x1， x2， ...， xi， ...， xN]加上高斯分布的噪声Θ＝[θ1， θ2， ...， θi， ...， θN]进行扰动， 其中， θi是高斯分布的噪声Θ中的第i个元素， 表示xi对应的噪 声， θi服从高斯分布， 期望为0， 方差为 得到扰动后的词向量表示X ′＝ [x′i， x′2， ...， x′i， ...， x′N]， 其中， x ′i是扰动后的词向量表示X ′中的第i个元素， 表示xi对 应的扰动 后的词向量， x ′i＝xi+θi； S42、 将扰动后的词向量表示X ′＝[x′1， x′2， ...， x′i， ...， x′N]输入BERT ‑base， 得到扰动 后的词的编码表示H ′＝(h′i， h′2， ...， h′i， ...， h′N)， 其中， h ′i是扰动后的词的编码表示H ′ 中的第i个元素， 表示x ′i对应的BERT ‑base中的输出， 将词的编码表示H ′＝ (h′1， h′2， ...， h′i， ...， h′N)输入分类器得到在各个类别上的概率分布P ′＝(p′1， p′2， ...，权　利　要　求　书 1/3 页 2 CN 114626372 A 2p′k， ...， p′M)， 其中， p ′k是概率分布P ′中的第k个元素， 表示扰动后的句子属于第k个类别的 概率； S43、 对噪声Θ＝[θ1， θ2， ...， θi， ...， θN]进行训练， 得到扰动 半径分布σ ＝(σ1， σ2， ...， σi， ...， σN)， 其中， σi是扰动半径σ 中的第i个元素， 表示xi对应的扰动半径， 其中， 扰动改良 的损失函数为： 其中， λ1为控制扰动后的句子语义不变的超参数， λ2为控制扰动后的句子分类结果不变 的超参数， λ3为控制噪声扰动最大化的超参数， 表示在 的前提下扰动 后的词向量表示X ′关于概率分布P的条件熵之和， 条件熵 其中， p(x ′i， pk)表示(x′i， pk)的联合概率分布， p(x ′i|pk)表示x′i关于pk的条件概率分 布， 化简上述损失函数， 得到： 其中， 和 分别表示编码表示H和概 率分布P的方差； S44、 根据S43中训练得到的扰动半径分布σ＝(σ1， σ2， ...， σi， ...， σN)， 通过 σm a x表示扰动半径分布σ中的最大值 ， 得到注意力中间信息 其中， 是注意力中间信息 的第i个元 素， 将注意力中间信 息 由第一softmax映射函数得到注意力监督信息A ′＝( α′1， α′2， ...， α′i， ...， α′N)， 所述第 一softmax映射 函数为 3.根据权利要求1或2所述的基于扰动改良的自注意力 机制网络文本情感分析方法， 其 特征在于， 所述用户话语文本数据包括中文数据或英文数据。 4.根据权利要求1或2所述的基于扰动改良的自注意力 机制网络文本情感分析方法， 其 特征在于， 所述 二次训练的损失函数为： Losstotal＝Lossclassificati on+δ*Lossattention， 其 中 ，L o s sc l a s s i f i c a t i o n为 文 本 分 类 的 交 叉 熵 损 失 函 数 ，即 其中， Pkj∈权　利　要　求　书 2/3 页 3 CN 114626372 A 3