(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210501427.4 (22)申请日 2022.05.09 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 尉德利　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06F 40/289(2020.01) G06V 30/262(2022.01)G06N 20/00(2019.01) G06V 20/62(2022.01) (54)发明名称 用于压缩语义理解模型的方法、 装置、 设备、 介质和产品 (57)摘要 本公开提供了用于压缩语义理解模型的方 法、 装置、 设备、 介质和产品， 涉及人工智能技术 领域， 具体为深度学习、 图像处理、 计算机视觉技 术领域， 可应用于OCR等场景。 具体实现方案为： 获取目标模 型； 确定目标模型对应的剪枝配置信 息； 基于剪枝配置信息和目标模 型中各个词向量 的重要性分数， 从各个词向量中删除目标词向 量， 得到初始压缩模型； 响应于确定初始压缩模 型满足预设的模 型收敛条件， 将初始压缩模型确 定为目标压缩模 型。 本实现方式可以降低语义理 解模型的计算 量， 从而降低语义理解 耗时。 权利要求书3页 说明书10页 附图5页 CN 114817473 A 2022.07.29 CN 114817473 A 1.一种用于 压缩语义理解模型的方法， 包括： 获取目标模型； 确定所述目标模型对应的剪枝配置信息； 其中， 所述剪枝配置信息用于配置对语义文 本的删除比例； 基于所述剪枝配置信 息和所述目标模型中各个词向量的重要性分数， 从所述各个词向 量中删除目标词向量， 得到初始压缩模 型； 其中， 所述各个词向量为所述语义文本中各个词 语对应的向量； 响应于确定所述初始压缩模型满足预设的模型收敛条件， 将所述初始压缩模型确定为 目标压缩 模型。 2.根据权利要求1所述的方法， 还 包括： 响应于确定所述初始压缩模型不满足所述预设的模型收敛条件， 调 整所述初始压缩模 型的模型参数， 直至所述初始压缩 模型满足所述预设的模型收敛 条件。 3.根据权利要求1所述的方法， 还 包括： 获取样本数据和样本标签； 将所述样本数据输入所述初始压缩 模型， 得到模型输出 数据； 响应于确定所述样本标签与 所述模型输出数据之间的差异值小于预设的阈值， 确定所 述初始压缩 模型满足所述预设的模型收敛 条件。 4.根据权利要求1所述的方法， 其中， 所述确定所述目标模型对应的剪枝配置信息， 包 括： 确定所述目标模型对应的初始剪枝配置集 合； 对所述初始剪枝配置集合执行以下搜索步骤： 基于所述初始剪枝配置集合中各个初始 剪枝配置的验证准确 率， 从所述初始剪枝配置集合中确定至少一个目标剪枝配置； 基于预 设的压缩计算 量比例， 对所述至少一个目标剪枝配置进行扩充， 得到目标剪枝配置集 合； 响应于确定当前迭代次数达到预设的次数阈值， 基于所述目标剪枝配置集合， 生成所 述剪枝配置信息 。 5.根据权利要求 4所述的方法， 还 包括： 响应于确定所述当前迭代次数未达到所述预设的次数阈值， 将所述初始剪枝配置集合 更新为所述 目标剪枝配置集合， 并对更新后的所述初始剪枝配置集合执行所述搜索步骤， 直至所述当前迭代次数达 到所述预设的次数阈值。 6.根据权利要求1所述的方法， 还 包括： 确定与所述目标模型对应的目标自注意力图； 基于所述目标自注意力图， 确定所述目标模型中各个词向量之间的依赖信息； 基于所述依赖信息， 确定所述重要性分数。 7.根据权利要求6所述的方法， 还 包括： 获取初始自注意力图； 基于预设的稀疏化正则项和预设的稀疏化强度， 对所述初始自注意力图进行稀疏化处 理， 得到所述目标自注意力图。 8.根据权利要求1至7任一项所述的方法， 其中， 所述基于所述剪枝配置信息和所述目 标模型中各个词向量的重要性分数， 从所述各个词向量中删除目标词向量， 得到初始压缩权　利　要　求　书 1/3 页 2 CN 114817473 A 2模型， 包括： 基于所述剪枝配置信息， 确定目标剪枝比例； 按照所述重要性分数由低至 高的顺序， 从所述各个词向量中删除符合所述目标剪枝比 例的数量个目标词向量， 得到所述初始压缩 模型。 9.一种用于 压缩语义理解模型的装置， 包括： 模型获取 单元， 被配置成获取目标模型； 配置确定单元， 被配置成确定所述目标模型对应的剪枝配置信 息； 其中， 所述剪枝配置 信息用于配置对语义文本的删除比例； 初始压缩单元， 被配置成基于所述剪枝配置信 息和所述目标模型中各个词向量的重要 性分数， 从所述各个词向量中删除目标词向量， 得到初始压缩模型； 其中， 所述各个词向量 为所述语义文本中各个词语对应的向量； 目标压缩单元， 被配置成响应于确定所述初始压缩模型满足预设的模型收敛条件， 将 所述初始压缩 模型确定为目标压缩 模型。 10.根据权利要求9所述的装置， 其中， 所述目标压缩单 元进一步被配置成： 响应于确定所述初始压缩模型不满足所述预设的模型收敛条件， 调 整所述初始压缩模 型的模型参数， 直至所述初始压缩 模型满足所述预设的模型收敛 条件。 11.根据权利要求9所述的装置， 还 包括： 模型验证单元， 被配置成获取样本数据和样本标签； 将所述样本数据输入所述初始压 缩模型， 得到模型输出数据； 响应于确定所述样本标签与所述模型输出数据之间的差异值 小于预设的阈值， 确定所述初始压缩 模型满足所述预设的模型收敛 条件。 12.根据权利要求9所述的装置， 其中， 所述配置确定单 元进一步被配置成： 确定所述目标模型对应的初始剪枝配置集 合； 对所述初始剪枝配置集合执行以下搜索步骤： 基于所述初始剪枝配置集合中各个初始 剪枝配置的验证准确 率， 从所述初始剪枝配置集合中确定至少一个目标剪枝配置； 基于预 设的压缩计算 量比例， 对所述至少一个目标剪枝配置进行扩充， 得到目标剪枝配置集 合； 响应于确定当前迭代次数达到预设的次数阈值， 基于所述目标剪枝配置集合， 生成所 述剪枝配置信息 。 13.根据权利要求12所述的装置， 其中， 所述配置确定单 元进一步被配置成： 响应于确定所述当前迭代次数未达到所述预设的次数阈值， 将所述初始剪枝配置集合 更新为所述 目标剪枝配置集合， 并对更新后的所述初始剪枝配置集合执行所述搜索步骤， 直至所述当前迭代次数达 到所述预设的次数阈值。 14.根据权利要求9所述的装置， 还 包括： 分数确定单元， 被配置成确定与所述目标模型对应的目标自注意力图； 基于所述目标 自注意力图， 确定所述目标模型中各个词向量之间的依赖信息； 基于所述依赖信息， 确定所 述重要性分数。 15.根据权利要求14所述的装置， 还 包括： 稀疏处理单元， 被配置成获取初始自注意力图； 基于预设的稀疏化正则项和预设的稀 疏化强度， 对所述初始自注意力图进行稀疏化处 理， 得到所述目标自注意力图。 16.根据权利要求9至15任一项所述的装置， 其中， 所述初始压缩单 元进一步被配置成：权　利　要　求　书 2/3 页 3 CN 114817473 A 3