(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211170908.8 (22)申请日 2022.09.23 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 (72)发明人 王孝诚　吴斌　王柏　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06F 16/9535(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于集合的自顶向下的自适应阶数特征交 叉的方法 (57)摘要 本申请提出了一种基于集合的自顶向下的 自适应阶数特征交叉的方法， 涉及数据处理技术 领域， 其中， 该方法包括： 获取特征全集， 其中， 特 征全集包括数值特征、 类目特征、 序列特征、 图特 征； 将特征全集输入神经网络， 输出每个特征属 于每个集合的概率， 之后采用基于软阈值的剪枝 方案， 根据每个特征属于每个集合的概率进行剪 枝， 生成第一特征子集； 根据第一特征子集采用 软阈值的方式再次进行剪枝， 生成第二特征子 集； 对第二特征子集进行特征交叉， 得到点击率 预测结果， 其中， 点击率预测结果为用户点击项 目的概率。 采用上述方案的本申请解决了如何进 行特征交叉以提高推荐的准确度和速度的技术 问题。 权利要求书2页 说明书8页 附图3页 CN 115510320 A 2022.12.23 CN 115510320 A 1.一种基于集合的自顶向下的自适应阶数特征交叉的方法， 其特征在于， 包括以下步 骤： 获取特征全集， 其中， 所述特 征全集包括数值特 征、 类目特 征、 序列特 征、 图特征； 将所述特征全集输入神经网络， 输出每个特征属于每个集合的概率， 之后采用基于软 阈值的剪枝方案， 根据每 个特征属于每 个集合的概率进行剪枝， 生成第一特 征子集； 根据所述第一特 征子集采用软阈值的方式再次进行剪枝， 生成第二特 征子集； 对所述第 二特征子集进行特征交叉， 得到点击率预测结果， 其中， 所述点击率预测结果 为用户点击项目的概 率。 2.如权利要求1所述的方法， 其特征在于， 所述数值特征包括用户年龄、 文章平均阅读 时间， 所述类目特征包括用户ID、 商品ID， 所述序列特征包括： 用户在过去一个时间段内所 浏览过的商品序列， 所述图特 征包括用户和商品之间的拓扑邻居特 征。 3.如权利要求1所述的方法， 其特征在于， 所述神经网络为基于拓展再挤压的神经网 络， 所述第一特 征子集包括两个特 征： 输入的置换不变性， 输入元 素个数可变性。 4.如权利要求1所述的方法， 其特征在于， 所述根据 所述第一特征子集采用软阈值的方 式再次进行剪枝， 包括： 利用导出键矩阵与所述第一特 征子集计算得到多组注意力得分； 根据每一组注意力得分， 应用软阈值的方式再次进行剪枝， 得到第二特 征集合。 5.如权利要求1所述的方法， 其特征在于， 所述对所述第二特征子集进行特征交叉， 包 括： 对所述第二特 征子集， 采用加性 函数得到每一个特 征子集的交叉 结果； 将所述交叉结果通过深度神经网络构建出该特征子集的高阶交叉向量， 之后将每个特 征子集产生的高阶交叉向量进行拼接， 得到拼接结果； 将所述拼接结果输入到所述深度神经网络中， 得到最终的点击率预测结果。 6.一种基于集合的自顶向下的自适应阶数特征交叉的装置， 其特征在于， 包括获取模 块、 特征子集生成模块、 集 合注意力剪枝模块、 预测模块， 其中， 所述获取模块， 用于获取特征全集， 其中， 所述特征全集包括数值特征、 类目特征、 序列 特征、 图特征； 所述特征子集生成模块， 用于将所述特征全集输入神经网络， 输出每个特征属于每个 集合的概率， 之后采用基于软阈值的剪枝方案， 根据每个特征属于每个集合的概率进行剪 枝， 生成第一特 征子集； 所述集合注意力 剪枝模块， 用于根据 所述第一特征子集采用软阈值的方式再次进行剪 枝， 生成第二特 征子集； 所述预测模块， 用于对所述第二特征子集进行特征交叉， 得到点击率预测结果， 其中， 所述点击率预测结果 为用户点击项目的概 率。 7.如权利要求6所述的装置， 其特征在于， 所述数值特征包括用户年龄、 文章平均阅读 时间， 所述类目特征包括用户ID、 商品ID， 所述序列特征包括： 用户在过去一个时间段内所 浏览过的商品序列， 所述图特 征包括用户和商品之间的拓扑邻居特 征。 8.如权利要求6所述的装置， 其特征在于， 所述神经网络为基于拓展再挤压的神经网 络， 所述特 征子集包括两个特 征： 输入的置换不变性， 输入元 素个数可变性。权　利　要　求　书 1/2 页 2 CN 115510320 A 29.如权利要求6所述的装置， 其特 征在于， 所述 集合注意力剪枝模块， 具体用于： 利用导出键矩阵与所述第一特 征子集计算得到多组注意力得分； 根据每一组注意力得分， 应用软阈值的方式再次进行剪枝， 得到第二特 征集合。 10.如权利要求6所述的装置， 其特 征在于， 所述预测模块， 具体用于： 对所述第二特 征子集， 采用加性 函数得到每一个特 征子集的交叉 结果； 将所述交叉结果通过深度神经网络构建出该特征子集的高阶交叉向量， 之后将每个特 征子集产生的高阶交叉向量进行拼接， 得到拼接结果； 将所述拼接结果输入到所述深度神经网络中， 得到最终的点击率预测结果。权　利　要　求　书 2/2 页 3 CN 115510320 A 3