(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211069556.7 (22)申请日 2022.09.01 (71)申请人 贵州大学 地址 550025 贵州省贵阳市花溪区贵州大 学花溪北校区科技处 (72)发明人 李少波　杨明宝　周鹏　王堃　 张黔富　张钧星　 (74)专利代理 机构 贵阳中新专利商标事务所 52100 专利代理师 胡绪东 (51)Int.Cl. G06F 16/9535(2019.01) G06N 20/20(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种多模型融合知识蒸馏推荐 模型 (57)摘要 本发明公开了一种多模型融合知识蒸馏推 荐模型， 包括集成学习模块和学生模块， 集成学 习模块使用全连接层将DeepFM模型、 DIN模型和 MMDIN模型的预测结果进行加权投票， 得到最终 的预测结果， 其中， 加权投票权重大小采用梯度 下降法进行自适应调整， 学生模块采用浅层DIN 结构， 使用软标签对学生模型收敛进行指导。 本 发明增加全连接层， 对三个深度学习模型 DeepFM、 DIN、 MMDIN模型的优 点进行集成， 并使用 梯度下降法对全 连接层参数进行更新。 对模型的 参数进行初始化， 并对参数变化范围施加限制， 使得集成模型更快更好得收敛并模拟各个模型 进行投票的场景。 权利要求书1页 说明书4页 附图1页 CN 115481316 A 2022.12.16 CN 115481316 A 1.一种多模型融合知识蒸馏推荐模型， 其特征在于： 包括集成学习 模块和学生模块， 集 成学习模块使用全连接层将DeepFM模型、 DIN模型和MMDIN模型的预测结果进行加权投票， 得到最终的预测结果， 其中， 加权投票权重大小采用梯度下降法进 行自适应调整， 集成学习 模块的输入和预测值传输学生模型进 行训练， 学生模块采用浅层DIN结构， 使用软标签对学 生模型收敛进行指导。 2.根据权利要求1所述的一种 多模型融合知识蒸馏推荐模型， 其特征在于： 对全连接层 的参数进 行指定初始化、 施加约束， 并设定变化率对参数变化速率进 行规定， 参数计算方法 如公式(1)所示： 其中， V表示当前参数值， P表示上一个参数值， R表示变化率， Vmin表示参数限定的最小 值， Vmax表示参数限定的最大值； 同时， 设计新的激励函数， 激励函数计算方法如公式(2)所示： 其中， x是输入， y是输出， b是初始因子， k是正比调节系数； 新的激励函数使得各个子模型输出的定义域为[0,1]时， 集成后的模型的输出值域也 是[0,1]， 即最终的输出评分范围。 3.根据权利要求1或2所述的一种多模型融合知识蒸馏推荐模型， 其特征在于： 学生模 块知识蒸馏模型的损失函数设计如公式(3)所示： Lsum＝L1α +L2(1‑α )               (3) 其中， Lsum表示总损失， L1表示soft  value与模型预测值之 间的损失， L2表示真实值与预 测值之间的损失， α 是蒸馏系数。 4.根据权利要求1所述的一种 多模型融合知识蒸馏推荐模型， 其特征在于： 梯度 下降法 参数更新公式： θ ＝θ‑α(h(x)‑y)x             (4) 式中， θ表示需要更新的参数； α表示学习率， 是一个超参数； h(x)表示上一个神经元的 输出； y表示真实值； x表示输入。权　利　要　求　书 1/1 页 2 CN 115481316 A 2一种多模型融合知识 蒸馏推荐模型 技术领域 [0001]本发明属于推荐优化模型技 术领域， 涉及一种多模型融合知识蒸馏推荐模型。 背景技术 [0002]随着人类迈入信息时代， 人们每时每刻都生产着大量的信息， 也花着大量的时间 进行互联网信息浏览。 怎么样让用户从海量的互联网信息中， 找到用户感兴趣的信息， 便成 了当下研究的一个重要课题。 同样， 在航空装备制 造产业中， 也面临着如何从海量服务中， 找到更好的上游服务商的问题。 航空装备制 造云服务平台， 吸引了大量航空装备制 造服务 商家入驻， 如何让用户从大量的制造云服务中， 获取到自己感兴趣的信息， 便成为平台开 发 者的重要研究内容， 推荐算法是解决这 一问题的重要途径。 [0003]为了让用户能更好得获得自己感兴趣的信息， 从机器学习到深度学习， 专家学者 们提出各种各样的方法。 [0004]然而， 研究学者们在将具有各种不 同优点的推荐模型集成到一起， 从而增强模型 推荐效果的研究较少， 集成后的推荐模 型参数量较大； 单一的推荐模 型预测效果较差、 深度 学习推荐模型集 成困难、 集 成方法缺乏参数自适应能力； 集成后模型过大， 导致模型存储空 间过大、 模型推理速度过慢； 集成模型的激励函数无法模拟模 型投票的场景， 将输入和输出 都压缩到[0,1]之间， 需要自己设计激活函数进行模拟。 发明内容 [0005]本发明要解决的技术问题是： 提供一种多模型融合知识蒸馏推荐模型， 以解决现 有技术中存在的技 术问题。 [0006]本发明采取的技术方案为： 一种多模型融合知识蒸馏推荐模型， 包括集成学习模 块和学生模块， 集成学习模块使用全连接层将DeepFM模型、 DIN模型和MMDIN模型的预测结 果进行加权投票， 得到最 终的预测结果， 其中， 加权投票权重大小采用梯度下降法进 行自适 应调整， 集成学习模块的输入和预测值传输学生模型进行训练， 学生模块采用浅层DIN结 构， 使用软 标签对学生模型收敛进行指导。 [0007]对全连接层的参数进行指定初始化、 施加约束， 并设定变化率对参数变化速率进 行规定， 参数计算方法如公式(1)所示： [0008] [0009]其中， V表示当前参数值， P表示上一个参数值， R表示变化率， Vmin表示参数限定的 最小值， Vmax表示参数限定的最大值； [0010]同时， 设计新的激励函数， 激励函数计算方法如公式(2)所示： [0011] 说　明　书 1/4 页 3 CN 115481316 A 3