(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111299512.9 (22)申请日 2021.11.04 (71)申请人 国网江苏省电力有限公司苏州供电 分公司 地址 215000 江苏省苏州市 劳动路555号 (72)发明人 孟凡军　王震宇　潘裕庆　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 代理人 吴芳 (51)Int.Cl. H04L 47/2425(2022.01) G06N 20/00(2019.01) (54)发明名称 一种用于电力信息网络路由流量的控制方 法 (57)摘要 本发明公开了一种用于电力信息网络路由 流量的控制方法， 包括抓取流量数据并创建数据 集； 预处理数据集X， 预处理包括对无序数据进行 调整； 建立网络环境并创建智 能体， 且令智 能体 与网络环 境进行交互， 包括利用智能体 分配优先 级即执行动作， 在智能体执行动作yk后， 对智能 体赋予奖励bk与网络环境的下一个状态zk′， 并 将四元组(zk,yk,bk,zk′)放入至经验池U中； 对经 验池U中的四元组(zk,yk,bk,zk′)进行采样， 再更 新智能体； 通过更新后的智能体对待检测的流量 数据进行处理， 得到对应的优先级， 进而基于优 先级控制电力信息网络的路由流量。 本发明提供 的能够为流量数据分配合理的优 先级， 从而保证 电力网络系统的传输效率及质量。 权利要求书3页 说明书7页 附图1页 CN 114039927 A 2022.02.11 CN 114039927 A 1.一种用于电力 信息网络路由流 量的控制方法， 其特 征在于， 包括以下步骤： S1、 抓取流 量数据并创建数据集； S2、 预处理所述数据集X， 所述预处 理包括对无序数据进行调整； S3、 建立网络环境并创建智能体， 且令所述智能体与网络环境进行交互， 包括以下步 骤： S31、 利用所述智能体根据下式分配优先级即执 行动作： 式中， yk为所述智能体当前执行的动作， 且yk∈Y， 所述Y包括低优先级、 中优先级及高优 先级， argmax为 预定义的参 数， zk为所述网络环境的当前状态， 且 zk从所述数据集X中获得， ζ 为独立高斯噪声， 为策略网络； S32、 在所述智能体执行动作yk后， 对所述智能体赋予奖励bk与所述网络环境的下一个 状态zk′， 并将四元组(zk,yk,bk,zk′)放入至经验池U中， 重 复执行S31至S32直至得到所述数 据集X中所有的zk对应的yk， 即得到所有的四元组(zk,yk,bk,zk′)； S33、 对经验 池U中的四元组(zk,yk,bk,zk′)进行采样， 再 更新智能体； S4、 通过更新后的智能体对待检测的流量数据进行处理， 得到对应的优先级， 进而基于 所述优先级控制电力 信息网络的路由流 量。 2.如权利要求1所述的用于电力信息网络路由流量的控制方法， 其特征在于， 步骤S1中 的流量数据包括数据ID、 数据IP地址、 协议类型、 累计字节数。 3.如权利要求2所述的用于电力信息网络路由流量的控制方法， 其特征在于， 在步骤S2 中， 所述对无序数据进行调整的方法包括： 对所述流量数据中的数据IP地址和协议类型进行独热编码， 得到的数据如下式： z＝(x1,x2,...,xn) 式中， z为数据， n 为数据z连接在一 起的维度， xi为数值。 4.如权利要求3所述的用于电力信 息网络路由流量的控制方法， 其特征在于， 所述智能 体包括目标网络和策略网络 。 5.如权利要求4所述的用于电力信 息网络路由流量的控制方法， 其特征在于， 所述策略 网络包括输入层、 全连接层及输出层， 所述输入层被配置为输入所述xi， 所述输出层被配置 为输出所述yk即优先级； 所述输入层包括16个节点， 所述全连接层包括第一层全连接层和第二层全连接层， 所 述第一层全连接层和第二层全连接层均包括25 6个节点。 6.如权利要求4所述的用于电力信 息网络路由流量的控制方法， 其特征在于， 所述控制 方法还包括通过下式对所述智能体赋予奖励bk： bk＝‑netlag*Sumsize 式中， bk为赋予所述智能体的奖励， netla g为网络延迟系数， Sum size为累计字节数。 7.如权利要求6所述的用于电力信 息网络路由流量的控制方法， 其特征在于， 所述控制 方法还包括通过下式对经验 池U中的(zk,yk,bk,zk′)进行采样：权　利　要　求　书 1/3 页 2 CN 114039927 A 2式中， M(i)为采样后的数据， i为经验池U中第i个 四元组， mi为第i条数据采样的权重， k 为经验池U中的数据总数， mj为第j条数据采样的权重， α 为优先级采用的比率， bk为奖励， γ 为衰减因子， zk为所述网络环境的当前状态， 且zk从所述数据集X中获得， zk′为所述网络环 境的下一个状态， yk为所述智能体当前执行的动 作， 且yk∈Y， 所述Y包括低优先级、 中优先级 及高优先级， ζ为独立高斯噪声， 为目标网络， 和 为策略网络， ε为 正数， Ai为优势函数， 其 通过下式确定： 式中， bk为奖励， γ为衰减因子， argmax为预定义的参数， zk为所述网络环境的当前状 态， 且zk从所述数据集X中获得， zk′为所述网络环境的下一个状态， yk为所述智能体当前执 行 的 动 作 ，且 yk∈ Y ，所 述 Y 包 括 低 优 先 级 、中 优 先 级 及 高 优 先 级 ， 为目标网络， 和 为策略网络， ζ为独立高 斯噪声。 8.如权利要求7所述的用于电力信息网络路由流量的控制方法， 其特征在于， 步骤S33 中的更新智能体包括 通过下式更新策略网络参数： 式中， j为从经验池U中抽取数据的序号， m为从经验池U中抽取的数据个数， γ为衰减因 子， zj为状态， yj为zj状态下执行的动作， z ′j为zj状态下执行动作yj进入的下一个状态， bj为 zj状态下执行动作yj获得的奖励， 为目标网络， 和 为策略网络， ωj为第j条数据在更新策略网络参数时对应的权重， 其通过下式确 定： ωj＝(N*M(j))‑β 式中， ωj为第j条数据在更新策略网络参数时对应的权重， N为对经验池U的采样数量， M (j)为采样后的数据， j为经验 池U中第j个四元组， β 为超参数。 9.如权利要求8所述的用于电力信息网络路由流量的控制方法， 其特征在于， 步骤S33 中的更新智能体还 包括更新目标网络参数： 经过预设时间后， 从所述策略网络中获得 所述目标网络参数的更新内容。 10.如权利要求1所述的用于电力信息网络路由流量的控制方法， 其特征在于， 所述控 制方法还 包括： 根据预设的流量阈值对待检测的流量数据进行等级划分， 所述等级包括小流量、 中等权　利　要　求　书 2/3 页 3 CN 114039927 A 3