(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738417.2 (22)申请日 2022.06.27 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 黄翰　刘浩龙　吴宁　曾庆醒　 颜学明　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 面向数据智能的孪生网络结构搜索方法及 语义匹配方法 (57)摘要 本发明提供了面向数据智能的孪生网络结 构搜索方法及语义匹配方法。 包括以下步骤： 根 据目标任务构建孪生网络模型； 其中， 所述孪生 网络模型包括五个网络结构， 所述网络结构由若 干个操作节 点连接组成； 定义所述网络结构的搜 索空间， 所述搜索空间由多个操作节点组成； 设 定所述孪生网络模型运行约束条件； 控制器在给 定所述搜索空间上进行采样得到网络模型， 对所 述网络模型和所述控制器进行训练， 更新网络权 重参数直至收敛， 并在训练过程中保证所述网络 模型满足所述运行约束条件； 根据更新后的网络 权重参数， 确定目标孪生网络模型。 该方法能自 适应构建出最优的孪生网络模型， 有效降低了人 工搜索的成本和难度， 可用于文本 语义匹配 。 权利要求书2页 说明书7页 附图2页 CN 115114401 A 2022.09.27 CN 115114401 A 1.面向数据智能的孪生网络结构搜索方法， 其特 征在于， 包括以下步骤： 根据目标任务构建孪生网络模型， 所述孪生网络模型的网络结构包括输入层、 编码层、 聚合层、 交互层和输出层， 输入层用于把离散的文本序列映射到连续的数字向量中， 从输入 层中能够得到词嵌入向量， 编 码层用于结合文本上下文的语义信息和文本对之 间的语义关 联， 生成句 子嵌入向量， 聚合层用于对输入层和编码层得到的词嵌入向量和句 子嵌入向量 聚合起来得到全局的语义推理信息， 交互层用于融合聚合层输出 的句子语义推理信息， 生 成能辨别文本对之 间语义相关度的特征向量， 输出层用于将最终的特征向量输入到 分类器 中得到预测的类别标签； 定义所述孪生网络模型的搜索空间， 所述搜索空间包括多个操作节点； 设定所述孪生网络模型的运行约束条件； 控制器在给定所述搜索空间上进行采样得到孪生网络模型， 对所述孪生网络模型和所 述控制器进行训练， 更新网络权重参数直至 收敛， 并在训练过程中保证所述孪生网络模型 满足所述 运行约束条件； 根据更新后的网络权重参数， 确定目标孪生网络模型， 所述目标孪生网络模型用于对 文本语义进行匹配。 2.根据权利要求1所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 所述网 络结构的搜索空间中， 网络结构 中的编码层和聚合层为待搜索网络结构， 分别对应不同的 搜索空间； 所述编码层搜索空间内的操作节点集合分为两大种类， 包括自编码操作节点集合和跨 句子编码 操作节点 集合； 所述自编码操作节点集合包含了卷积神经网络层、 循环神经网络层、 最大池化层、 多头 注意力机制层、 跳跃连接层和零化层； 所述跨句子编码操作节点集合包含了点积注意力机 制层、 拼接层、 逐点相乘层、 逐点相加层、 逐点相减层； 所述聚合层搜索空间内的操作节点集合包含了最大池化层、 平均池化层、 自注意力机 制池化层。 3.根据权利要求2所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 所述更 新网络权重参数中， 所述搜索空间中相同类型 的操作节点共享同一份网络权重参数； 编码 层搜索空间中卷积神经网络层包括多种不同大小的积核， 共享同一份网络权重参数， 循环 神经网络层中的各网络层共享同一份网络权重参数， 多头注意力机制层包含四头和八头的 注意力机制层， 且四头和八头的多头注意力机制层共享同一份网络 权重参数。 4.根据权利要求1所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 所述运 行约束条件 包括所述孪生网络模型的预测速度和运行 所占资源要满足设定的阈值。 5.根据权利要求1所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 所述在 训练过程中保证所述网络模型满足所述 运行约束条件， 包括： 若所述孪生网络模型不能满足所述 运行约束条件， 则将损失值置零； 若所述网络模型都能满足所述 运行约束条件， 则损失值保持不变。 6.根据权利要求1所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 所述控 制器在给定所述搜索空间上进 行采样得到网络模型的采样过程中， 控制器在编 码层搜索空 间中挑选多个操作节点并进行 连接， 在聚合层搜索空间中挑选一个操作节点。权　利　要　求　书 1/2 页 2 CN 115114401 A 27.根据权利要求1 ‑6任一所述的面向数据智能的孪生网络结构搜索方法， 其特征在于， 对孪生网络模型和控制器进行训练时， 所述孪生网络模型在验证集上除了学习one ‑hot真 实标签外， 还学习 大型预训练模型在验证集上 的预测输出； 所述孪生网络模型在验证集上 的损失值包括真实标签评分和大 型预训练模型的预测输出评分两 部分。 8.一种文本语义匹配方法， 其特 征在于， 包括以下步骤： 获取用于文本语义匹配的训练数据； 采用权利要求1 ‑7任一项所述孪生网络结构搜索方法进行训练， 得到用于文本语义匹 配的目标孪生网络模型； 采用目标孪生网络模型对待处理的文本对数据进行匹配预测， 得到文本语义匹配结 果。 9.一种存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行时实 现如权利要求1 ‑7任一所述的面向数据智能的孪生网络结构搜索方法或实现权利要求8所 述的文本语义匹配方法。 10.一种设备， 包括处理器和用于存储处理器可执行程序的存储器， 其特征在于， 所述 处理器执行存储器存储的程序时， 实现权利要求1 ‑7任一所述的面向数据智能的孪生网络 结构搜索方法或实现权利要求8所述的文本语义匹配方法。权　利　要　求　书 2/2 页 3 CN 115114401 A 3