(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026932.4 (22)申请日 2022.08.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 张有兵　林一航　黄冠弘　杨晓东　 熊美淞　王国烽　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 楼明阳 (51)Int.Cl. G06Q 40/04(2012.01) G06Q 50/06(2012.01) G06Q 30/02(2012.01) G06F 30/20(2020.01)G06F 111/04(2020.01) (54)发明名称 基于深度强化学习的柔性互联配电系统端 对端能量交易方法 (57)摘要 基于深度强化学习的柔性互联配电系统端 对端能量交易方法， 包括： S1： 构建智能软开 关模 型； S2： 构建系统潮流约束模型； S3： 构建一个配 电网端对端(Peerto  Peer,P2P)能量交易模型， 将配电网间的交易量设置为决策变量， 以交易成 本最低为目标， 优化配电网系统P2P能量交易； S4： 构建交易时功率平衡约束， 保证交易的安全 性； S5： 初始化系统参数， 设置相应的奖励函数， 对模型进行求解。 本发明同时保证配电网在能量 交易过程中的安全性和经济性， 并且减少 系统网 损， 提高光伏的消纳率和配电网的交易效率。 权利要求书3页 说明书7页 附图6页 CN 115358858 A 2022.11.18 CN 115358858 A 1.基于深度强化学习的柔性互联配电系统端对端能量交易方法， 其特征在于， 包括以 下步骤： S1： 构建智能软开关(Soft  Open Point,SOP)模型； S2： 构建系统潮流约束模型； S3： 构建一个配电网端对端(Peer  to Peer,P2P)能量交易模型， 将配电网间的交易量 设置为决策变量， 以交易成本最低为目标， 优化配电网系统P2P能量交易； S4： 构建交易时功率平衡约束， 保证交易的安全性； S5： 初始化系统参数， 设置相应的奖励函数， 对 模型进行求 解。 2.如权利要求1所述的一种基于深度强化学习的柔性互联配电系统端对端能量交易方 法， 其特征在于， 所述步骤S1中， SOP的建模具体包括： SOP是基于全控型器件的连续型电力 电子设备， 将SOP的稳态模 型发展为功 率注入模 型， 该模型涉及到SOP终端端口的功 率注入， 其中可控变量为有功功率的传输和无功功率的补偿， 因此可以直接将SOP引入到现有的潮 流分析中， 而无需考虑详细的控制器设计： 其中， NT是SOP的端口数； 是时段t节点i处变流器注入的有功、 无功功率； 是SOP在时段t节点i处变流器的有功损耗； 是SOP节点i处变流器的损耗系数； 为SOP在节点 i处变流器的容 量。 3.如权利要求2所述的一种基于深度强化学习的柔性互联配电系统端对端能量交易方 法， 其特征在于， 在所述 步骤S2中， 构建系统潮流约束模型如下： 其中， Ωb为所有的导通支路。 rij和xij为支路ij的电阻和电抗。 Pij为支路上节点i流向节 点j的有功功率； Qij为支路上节点i流 向节点j的无功功率； Pi为节点i上注入的有功功率之 和； Qi为节点i上注入的无功功率之和； Ui为节点i的电压值； Iij为支路上节点i流向节点j的 电流值； 为节点i上分布式电源注入的有功功率； 为节点i上负荷消耗的有功功 率； 为节点i上分布式电源注入的无功功率； 为节点i上负荷消耗的无功功率；权　利　要　求　书 1/3 页 2 CN 115358858 A 2为节点i处变流器的有功 功率； 为节点i处变流器的无功 功率。 4.如权利要求3所述的一种基于深度强化学习的柔性互联配电系统端对端能量交易方 法， 其特征在于， 在所述 步骤S3中， 配电网端对端能量交易模型包括： S3‑1： 假设当地P2P价格是可变的， 为了鼓励配电网之间的交易， P2P交易价格和上级电 网的交易 价格设置如下： 其中， 表示t时段配电网间卖电的价格， 表示t时段配电网间买电的价格， 表示t时段配电网卖给上级电网的价格， 表示t时段配电网从上级电网买电的 价格； S3‑2： 在每一段时间的能量交易之初， 配电网需要以可再生能源发电量的历史数据,预 测得到负载需求数据和动态变化的电价作为状态。 配电网i在t时段的状态记为s2i,t＝ [Gi,t,Di,t, ρt]， Gi,t代表配电网i在t时段的可再生能源发电量， Di,t代表配电网i在t时段的 预测负载功率， ρt代表t时段的配电网间交易电价价格。 本发明使用xi,j,t(i≠j)表示t时段 配电网间的预期交易量， 如果i＝j， 则表示配电网与上级电网间的交易量。 在交易之前， 各 配电网根据状态确定交易策略Xi,t， 其中Xi,t＝[xi,j,t]1≤j≤N,i≠j。 如果xi,j,t>0， 表示配电网i 想从配电网j买电， 如果xi,j,t<0， 表示配电网i想向配电网j卖电， 由于实际的交易量与预期 的交易量可能会不同， 因此实际的交易 量ai,j,t应表示成如下： 其中， N表示配电网个数； xi,j,t(i≠j)表示t时段配电网间的预期交易量， 如果i＝j， 则 表示t时段配电网与上级电网间的交易量， 如果xi,j,t>0， 表示t时段配电网i想从配电网j买 电， 如果xi,j,t<0， 表示t时段配电网i想向配电网j卖电。 5.如权利要求4所述的一种基于深度强化学习的柔性互联配电系统端对端能量交易方 法， 其特征在于， 所述 步骤S4所述的交易时功率平衡约束如下： 其中， pi,j,t表示t时段配电网i和配电网j间实际的传输功率； pi,i,t表示配电网i与 上级 电网间实际的传输功率； PG,i,t表示t时段配电网i可再生能源发电量； PL,i,t表示t时段配电 网i负载需求 量。 6.如权利要求5所述的一种基于深度强化学习的柔性互联配电系统端对端能量交易方 法， 其特征在于， 所述 步骤S5所述的奖励函数包括： S5‑1： 配电网根据功率损耗成本和电压偏差最小设置相应的奖励函数r1,i,t如下： 权　利　要　求　书 2/3 页 3 CN 115358858 A 3