(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210073.8 (22)申请日 2022.03.03 (71)申请人 平安普惠企业管理有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 沈佳　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 黄耀威 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/35(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 意图识别模型的训练方法、 装置、 模型及电 子设备 (57)摘要 本申请公开了一种意图识别模型的训练方 法、 装置、 模型及电子设备， 所述方法包括： 获取 原始意图识别模型， 其中， 原始意图识别模型包 括第一语义识别模型和第二语义识别模型， 第一 语义识别模型和第二语义识别模型分别连接全 连接网络， 其中， 第一语义识别模型通过领域训 练数据集预训练得到； 在原始意图识别模型中输 入通用训练数据进行训练， 将第一语义识别模型 的输出的内容与第二语义识别模型的输出的内 容融合， 得到融合向量； 并使融合向量进入全连 接网络， 以获取通用训练数据的相似概率， 并根 据相似概率对所述原始意图识别模型进行参数 调整， 得到最终的意图识别模型。 本申请对特定 领域文本的意图识别更加准确， 提高了人机对话 时用户的使用体验感。 权利要求书2页 说明书12页 附图3页 CN 114462423 A 2022.05.10 CN 114462423 A 1.一种意图识别模型的训练方法， 其特 征在于， 所述方法包括： 获取原始意图识别模型， 其中， 所述原始意图识别模型包括第一语义识别模型和第二 语义识别模型， 所述第一语义识别模型和第二语义识别模型分别连接全连接网络， 其中， 所 述第一语义识别模型通过 领域训练数据集预训练得到； 在所述原始意图识别模型中输入通用训练数据进行训练， 将所述第 一语义识别模型的 输出的内容设置为第一语义向量， 将所述第二语义识别模型的输出的内容设置为第二语义 向量； 将所述第一语义向量和所述第二语义向量融合， 得到融合向量； 并使所述融合向量进 入所述全连接网络， 以获取所述通用训练数据的相似概率， 并根据所述相似概率对所述原 始意图识别模型进行参数调整， 得到最终的意图识别模型。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一语义识别 模型包括第 一BERT模型 和第一神经网络； 所述第一语义识别模型通过 领域训练数据集预训练得到， 包括： 在所述第一语义识别模型的所述第一神经网络的输出层后设置有后置 Embeding层； 对所述领域训练数据集中的第一预设比例语料进行随机遮盖处 理； 采用处理后的领域训练数据集， 基于自监 督方法对所述第一语义识别模型进行训练； 在训练结束后， 去掉后置Embeding层， 将更新后的第一BERT模型和第一神经网络作为 所述第一语义识别模型。 3.根据权利要求1所述的方法， 其特征在于， 所述第 一语义识别 模型包括第 一BERT模型 和第一神经网络； 所述第二语义识别模型包括第二BERT模型和第二神经网络； 所述在所述原始意图识别模型中输入通用训练数据集进行训练， 将所述第 一语义识别 模型的输出的内容设置为第一语义向量， 将所述第二语义识别模型的输出的内容设置为第 二语义向量， 包括： 从所述通用训练数据集中随机 选取两句语料， 得到目标训练语料； 将所述目标训练语料分别输入所述第 一语义识别模型和所述第 二语义识别模型， 将所 述第一神经网络输出的内容设置为第一语义向量， 以及将所述第二神经网络输出的内容设 置为第二语义向量； 其中， 所述第一语义向量表征所述目标训练语料在领域内的语义特征， 所述第二语义向量表征 所述目标训练语料通用的语义特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一语义向量和所述第 二语义 向量融合， 得到融合向量， 包括： 若所述第一语义向量和所述第 二语义向量为一维向量， 则将所述第 二语义向量的各元 素按照原始顺序连接到所述第一语义向量的最后一个元素之后， 得到融合向量； 若所述第 一语义向量和所述第二语义向量为矩阵， 则根据指定拼接形式， 将所述第二语义向量的各 元素按照原 始顺序放置 到所述第一语义向量之后的相应位置上， 得到融合向量。 5.根据权利要求1所述的方法， 其特征在于， 在所述获取原始意图识别模型的步骤之 前， 所述方法还 包括： 获取基于领域的训练语料， 所述基于领域的训练语料包括人机对话产生的语料、 从所 述通用训练数据集中分离得到的语料； 对所述训练语料依次进行 数据清洗、 分词处 理、 去停用词处 理， 得到领域训练数据集。权　利　要　求　书 1/2 页 2 CN 114462423 A 26.根据权利要求1所述的方法， 其特征在于， 所述对所述训练语料依次进行数据清洗、 分词处理、 去停用词处 理， 包括： 采用正则表达 式， 基于预设匹配规则， 对所述训练语料进行匹配， 以去除所述训练语料 的非常规字符； 基于jieba库的全 模式或精准模式， 对所述训练语料进行分词处 理； 调用领域纠 错字典， 所述领域纠 错字典中包含对应的原始文本词语和目标文本词语， 采用原始文本词语对分词处理后的领域训练数据集进 行匹配， 将匹配出的原始文本词语替 换为目标文本词语。 7.根据权利要求1～6中任一项所述的方法， 其特征在于， 在所述原始意图识别模型中 输入通用训练数据集进行训练的步骤之前， 所述方法还 包括： 对所述通用训练数据集中的第二预设比例语料的词语顺序进行调换处 理。 8.一种意图识别模型的训练装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取原始意图识别模型， 其中， 所述原始意图识别 模型包括第 一语义识 别模型和 第二语义识别模型， 所述第一语义识别模型和第二语义识别模型分别连接全连接 网络， 其中， 所述第一语义识别模型通过 领域训练数据集预训练得到； 处理单元， 用于在所述原始意图识别模型中输入通用训练数据集进行训练， 将所述第 一语义识别模型的输出的内容设置为第一语义向量， 将所述第二语义识别模型的输出的内 容设置为第二语义向量； 更新模型， 用于将所述第 一语义向量和所述第 二语义向量融合， 得到融合向量； 并使所 述融合向量进入所述全连接网络， 以获取所述第一语义向量和所述第二语义向量的相似概 率， 并根据所述相似概率对所述原始意图识别模型进行参数调整， 得到最终的意图识别模 型。 9.一种意图识别模型， 其特征在于， 所述原始意图识别模型包括第一语义识别模型和 第二语义识别模型， 所述第一语义识别模型和第二语义识别模型分别连接全连接网络， 其 中， 所述第一语义识别模型通过 领域训练数据集预训练得到； 其中， 所述第一语义识别 模型包括第一BERT模型和第一神经网络； ， 所述第二语义识别 模型包括第二BERT模型和第二神经网络 。 10.一种电子设备， 包括： 处理器； 以及 被安排成存储计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器 执行所述权利要求1～7 所述方法。权　利　要　求　书 2/2 页 3 CN 114462423 A 3