(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210159796.X (22)申请日 2022.02.22 (71)申请人 广东外语外贸大学 地址 510006 广东省广州市番禺区小谷围 广州大学城外环东路178号 (72)发明人 彭三城　曹丽红　周咏梅　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 许菲菲 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/194(2020.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于BERT、 LS TM和宽度学习的跨领域情 绪分类方法 (57)摘要 本发明公开一种基于BERT、 LSTM和宽度学习 的跨领域情绪分类方法， 包括以下步骤： (1)获取 商品评论数据， 并对这些评论数据进行预处理； (2)使用BERT对文本进行向量化表示； (3)采用 LSTM对数据进行特征提取， 获取领域不变特征和 领域特有特征向量； (4)采用最大均值差异 MMD来 度量领域不变特征和分布之间的差异； (5)构建 基于DIF的领域不变分类器和基于DSF的领域特 有分类器； (6)将上述两种分类器进行协同训练， 输出分类结果。 本发明融合了BERT、 LSTM和宽度 学习的优点， 使得系统能有效地获取源领域的特 征， 从而提高对目标领域的情绪分类效果。 权利要求书4页 说明书9页 附图1页 CN 114647725 A 2022.06.21 CN 114647725 A 1.一种基于BERT、 LSTM和宽度学习的跨领域情绪分类方法， 其特 征在于包括以下步骤： (1)获取商品评论数据， 并对这些评论数据进行 预处理； (2)使用BERT对文本进行向量 化表示； (3)采用LSTM对数据进行 特征提取， 获取 领域不变特征和领域特有特 征向量； (4)采用最大均值差异M MD来度量领域 不变特征 和 分布之间的差异； (5)构建基于DIF的领域 不变分类 器和基于D SF的领域特有分类 器； (6)将上述两种分类 器进行协同训练， 输出分类结果。 2.根据权利 要求1所述的一种基于BERT、 LSTM和宽度学习的跨领域情绪分类方法， 其特 征在于： 所述 步骤(2)为： 采用BERT对 源领域样本Xs和目标领域带标签样本Xtl进行编码表示如下： 其中 和 分别表示对Xs和Xtl采用BERT所生成的领域不变特征的向量， 和 分别表示对Xs和Xtl采用BERT所生成的领域特有特征的向量， BERTinv和BERTspec分别表示采 用BERT对DIF和DSF进行编码操作； 表示有Ns个样本的源领域带标签数据集， 其中 表示源领域中第i个句子， 表示源领域中第i个带标签的one ‑hot编码； 表示有Ntl个样本的目标领域带标签数据集， 其中 表示目标领域中第i个句 子， 表示目标领域中第i个带标签的one ‑hot编码； 表示有Ntu个样本的目标 领 域无标签数据集， 其中 表示目标 领域中第i个句子， 且Ntu远远大于Ntl； 和 表示相 应的模型参数， l表示文本 长度。 3.根据权利 要求1所述的一种基于BERT、 LSTM和宽度学习的跨领域情绪分类方法， 其特 征在于： 所述 步骤(3)具体为： 采用LSTM对领域 不变特征和领域特有特 征进行提取： 其中 和 分别表示源和目标的领域不变特征， 且分别 表示对 和 采用LSTM所 生成的向量； 和 分别表示源和目标的领域特有 特征， 且分别表示对 和 采用权　利　要　求　书 1/4 页 2 CN 114647725 A 2LSTM所生成的向量； LSTMinv和LSTMspec分别表示采用LSTM对DIF和DSF进行编码操作； 和 表示相应的参数， q表示特 征输出的维度。 4.根据权利 要求1所述的一种基于BERT、 LSTM和宽度学习的跨领域情绪分类方法， 其特 征在于： 所述 步骤(4)具体为： 步骤4‑1： 采用最大均值差异MMD来度量领域不变的特征 和 分布之间的差异； 具体 的操作如下： 和 分布之间相应的损失函数表示如下： 通过最小化Lsim可以减少源领域和目标领域特征分布的差异， 从而实现对领域不变特 征的提取； 步骤4‑2： 采用负的最大均 值差异MMD来度量领域特有特征 和 分布之间的差异， 相应的损失函数 可表示如下： 通过最小 化Ldiff可以使得源领域和目标领域特征分布的尽可能不同以有效地提取目标 领域的特有特 征。 5.根据权利 要求1所述的一种基于BERT、 LSTM和宽度学习的跨领域情绪分类方法， 其特 征在于： 所述 步骤(5)具体为： 步骤5‑1： 构建基于DIF的领域 不变分类 器(DIC) 将LSTM所提取的特征进行非线性映射以生成宽度学习BL的多组增强节点， 即对 和 进行非线性映射， 生成ninv组增强节点； 第i组增强节点表示如下： 其中 表示非线性激活函数， 和 分别表示固定的随机生成的权 重和偏置； 因此， ninv组增强节点的集合可表示为 则DIC的估计输出表示 如下： 其中 表示DIC的输出层权 重， Ainv表示DIC的全部 输入特征； 步骤5‑2： 构建基于D SF的领域特有分类 器(DSC) 由于DSC只需对目标领域的样本实现分类， 因此， 只对 进行非线性映射操作， 生成 nspec组增强节点即可； 第j组增强节点表示如下： 其中 和 分别表示固定的随机生成的权 重和偏置； 因此， nspec组增强节点的集合可表示为 则DSC的估计输出表权　利　要　求　书 2/4 页 3 CN 114647725 A 3