(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211417807.6 (22)申请日 2022.11.14 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 陈兴国　李扬　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于循环神经网络的序列重排方法 (57)摘要 本发明公开了一种基于循环神经网络的序 列重排方法， 包括训练过程和排序过程两部分。 通过在正确序列的相关数据集上学习知识， 由于 乱序数据依旧保留序列特征， 因此选择循环神经 网络模型学习序列信息； 将训练好的循环神经网 络模型应用在乱序数据集上， 首先固定第一个时 间步的数据顺序并输入模型中， 得到相应的预测 结果后， 基于预先定义的评价指标， 搜索输入时 间步的下一个时间步的在样本维度上的所有顺 序组合， 找出指标最优的组合将其作为对应时刻 重排之后的正确顺序， 以此类推直到最后一个时 刻被排序好为止。 相较于现有技术， 本发明能够 尽可能的将乱序数据重新排序成接近原始数据 的形式。 权利要求书2页 说明书7页 附图3页 CN 115526300 A 2022.12.27 CN 115526300 A 1.一种基于循环神经网络的序列重排方法， 其特 征在于， 包括训练过程和排序过程： 训练过程包括如下步骤： 步骤1.1选择一序列正确的数据集， 该数据集可以是同类型数据集或相似任务下得到 的数据集， 也可以是相接 近的数据集； 步骤 1.2将序列正确的数据集组织成监 督数据集形式； 步骤1.3对监 督数据集中的数据做预处 理； 步骤1.4选择特定的循环神经网络模型并使用深度学习框架构造， 同时构造优化器， 损 失函数以及训练过程的监 督和保存代理； 步骤1.5对循环神经网络模型进行训练； 步骤1.6选用不同的参数配置， 分别训练循环神经网络模型， 并将训练好的循环神经网 络模型在测试集上运行， 评估 模型效果； 排序过程包括如下步骤： 步骤2.1固定乱序数据中所有序列的第一个时间步样本数据； 步骤2.2将第一个时间步样本数据输入循环神经网络模型， 得到对未来一个时间步的 预测； 步骤2.3搜索乱序数据中对应于预测时间步数据的所有可能组合， 对比不同组合下数 据序列和预测数据 序列之间的差距， 选择差距最小的排序组合作为重排序列； 步骤2.4重复上述 排序步骤， 直到最后一个时间步。 2.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.2中 针对不同的序列正确的数据集， 具有不同的处 理方式： 若数据量足够， 则监督数据集的输入为历史一个时间步的数据， 输出为该时间步之后 一个时间步的数据， 序列数据则变为一系列数据项， 随后根据比例将监督数据集划分为训 练集和测试集， 其中， 训练集保持正确顺序， 测试集需要被打乱并记录能够将乱序整理为正 序的下标用于之后评价模型重排的效果； 若数据量有限， 则需要将序列正确的数据集组织成不同预测尺度的监 督数据集。 3.根据权利要求2所述的基于循环神经网络的序列重排方法， 其特征在于， 步骤1.5具 体包括： 对于数据量足够的情况， 使用正常的训练过程即可； 对于数据量有限的情况， 采取课程学习的方式， 将历史一个时间步数据预测未来一时 间步时刻视为难度最低的任务， 历史k个时间步数据预测未来一时间步数据视为难度最高 的任务， 将模型依次在k个任务上训练， 直到模型收敛， 则训练结束。 4.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤2.1中 的乱序数据在样本维度上乱序， 时间维度上并不乱序。 5.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.3中 对监督数据集中的数据做预处理的方法包括最大最小值标准化、 归一化方法及z ‑score方 法。 6.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.6中 的模型效果取决于乱序重排后数据与正序数据之间的差距， 可以根据硬相似度权　利　要　求　书 1/2 页 2 CN 115526300 A 2获得， 其中， 表示能将乱序数据恢复成正序的样本下标矩阵， 表示模型重排得到的样本下标矩阵， 函数对比输入是否相等， 并统计相 等下标 个数。 7.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.6中 的模型效果取决于乱序重排后数据与正序数据之间的差距， 可以根据软相似度 获得， 其中， 表示真实数据集， 表示重排后的数据集， 表示两个数据集中每 个值是否对应相等， 并统计相等 值个数。 8.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.6中 的模型效果取决于乱序重排后数据与正序数据之间的差距， 可以根据L1相似度 其中， 表示真实数据集， 表示重排后的数据集，    计算真实数据集和重 排数据集逐 元素相减绝对值之和。 9.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.6中 的模型效果取决于乱序重排后数据与正序数据之间的差距， 可以根据L2相似度 其中， 表示真实数据集， 表示重排后的数据集，  计算真实数据集和重 排数据集逐 元素相减平方和。 10.根据权利要求1所述的基于循环神经网络的序列重排方法， 其特征在于： 步骤1.6 中 的模型效果取决于乱序重排后数据与正序数据之间的差距， 可以根据inf范数相似度   获得， 其中， 表示真实数据集， 表示重排后的数 据集，   计算真实数据集和重排数据集中最大值差距的绝对值。权　利　要　求　书 2/2 页 3 CN 115526300 A 3