(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111453234.8 (22)申请日 2021.12.01 (71)申请人 国网吉林省电力有限公司 地址 130021 吉林省长 春市人民大街 4799 号 申请人 国网电力科 学研究院有限公司 　 国网吉林省电力有限公司电力科 学 研究院　 吉林省电力科 学研究院有限公司 　 国家电网有限公司 (72)发明人 李宝聚　孙勇　杨冬梅　刘刚　 刘畅　傅吉悦　李德鑫　郭雷　 刘友波　曹政　王尧　范东川　 王佳蕊　张海锋　(74)专利代理 机构 长春市吉利专利事务所(普 通合伙) 22206 代理人 李晓莉 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 30/27(2020.01) G06N 7/00(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于强化学习的电热负荷消纳新能源 方法 (57)摘要 一种基于强化学习的电热负荷消纳新能源 方法， 属于综合能源系统运行技术领域， 本发明 基于强化学习的马尔科夫决策过程， 区别于传统 的模型预测控制方法， 无需新能源波动性的日前 调度精确预测数据， 而是根据历史数据在实时市 场下做出最优决策， 调整当前电热负荷功率以获 得长期运行收益的最大化； 无需对电热转换设备 进行精细建模， 在实时市场中仅根据当前的电价 和负荷水平给出目前状态的最优制热策略， 能够 提高新能源的消纳水平并实现市场各主体收益 最大化。 权利要求书1页 说明书6页 附图2页 CN 114358489 A 2022.04.15 CN 114358489 A 1.一种基于强化学习的电热负荷消纳新 能源方法， 其特征是： 包括以下步骤， 且以下步 骤顺次进行， 步骤一、 建立电热用户与新能源消纳系统 将风电厂、 光伏厂、 火电厂以及热电厂与电热负荷间接相连， 建立非直接供电系统； 步骤二、 基于强化学习的电热负荷与新能源互动消纳 将所述步骤一建立的系统中新能源出力的不确定性和电热用户负荷变化的随机性互 动消纳视为不确定条件下的序贯决策问题， 在离散的开环滚动时域中计算电采暖设备的最 优制热策略序列， 将其表征成为马尔科夫决策过程； 系统的动作状态空间为系统的电负荷 功率， 热负荷需求功率和新能源发电功率以及运行时间， 系统的动作 空间为电热转换设备 的制热功率、 蓄热设备的传输功率和传统方式供 热功率。 2.根据权利要求1所述的一种基于强化学习的电热负荷消纳新能源方法， 其特征是： 所 述步骤二电热负荷与新能源互动表征为马尔科夫决策过程的强化学习组成要素包括智能 体Agent要素为分布式电采暖设备， 环境Environment要素为电采暖设备制热功率PH与电价 的ρ 的组合， 状态State要 素为当前第i个电采暖设备的运行状态与控制周期t的耦合si,t， 动 作Action要素为指从一个供热状态si,t转移到另一个供热状态si,t+1所采取的制热策略ai,t, 奖赏Reward要素为当前制热策略ai,t所带来的奖励值Ri.t， 值函数Equation要素为非当前时 刻的评价， 从长期视角评价一个状态或状态动作对系统影响的好坏， 是一个 自定义的隐式 函数。权　利　要　求　书 1/1 页 2 CN 114358489 A 2一种基于强化学习的电热负荷消纳新能源方 法 技术领域 [0001]本发明属于综合能源系统运行技术领域， 特别是涉及一种基于强化学习的新能源 和电热负荷互动方法。 背景技术 [0002]新能源泛指风电、 光伏等新型环境友好型能源， 新能源替代传统能源将成为电力 系统转型升级的必然趋势， 但 区别于传统能源的稳定形式， 新能源 “靠天吃饭 ”的随机性存 在着无法完全消纳的问题， 例如北方地区冬季由于供暖需求受 “以热定电 ”的运行模式限 制， 弃风弃光问题较为明显。 并且新能源装机比例不断提升， 使电力系统惯性降低且调峰调 频能力降低， 系统的不确定性和波动性随之上升， 由于新能源机组几乎不提供旋转惯性， 电 网抗干扰能力降低且稳定裕度不足， 给电网稳定运行 带来了新的挑战。 [0003]新能源消纳困难的技术原因在于： 新能源生产特征与负荷消费水平的不匹配， 与 传统机组强迫出力的不平衡以及电网结构的薄弱与外送通道容量狭窄的不协调。 传统办法 通过降低常规机组出力以增加新能源上网空间， 但这会使辅助服务费用高昂并降低系统的 稳定性和抵御风险的能力。 [0004]热用户提供了消纳新能源的新思路， 通过电热转换设备将电网与热网耦合， 成为 连接起新能源厂商与热负荷的新平台。 常见的电热转换设备包括电锅炉、 电热膜和热泵等， 不同的设备供热方式不同， 即可直接供热， 也可蓄热供热。 面向调节作用最强的弹性热用 户， 不同种类的电采暖设备以其廉价的运行管理成本和方便快捷的调节速率， 为其大规模 部署应用提供了可能， 借 由热用户的包容性和灵活性可提高净负荷水平， 为新能源并网营 造新的上网空间。 [0005]电价水平不仅取决于电力市场需求侧影响， 新能源发电出力的不确定性同样会导 致电价波动。 当风电、 光伏出力不足时， 较高的负荷水平会引起电价上升； 而产生弃风弃光 冗余电量时， 会促使电价降低。 用户侧行为将受电价水平影响， 为了使用电成本降低， 用户 侧会自发参与需求响应改变自己的负荷水平。 如何在不同的电价水平下调整电热设备的运 行状态使系统运行成本最优成为了电力市场机制下消纳新能源的新问题。 [0006]因此， 现有技 术中亟需一种新的技 术方案来 解决上述问题。 发明内容 [0007]本发明所要解决的技术问题是： 提供一种基于强化学习的电热负荷消 纳新能源方 法， 克服传统消纳新能源的辅助服务费用高昂和系统运行风险增大等弊端， 通过强化学习 过程无需对电热转换设备进行精细建模， 能够适应容量不同、 规格不同和老旧程度不同的 分布式电热设备， 在实时市场中仅根据当前的电价和负荷水平给出目前状态的最优制热策 略。 [0008]一种基于强化学习的电热负荷消纳新能源方法， 其特征是： 包括以下步骤， 且以下 步骤顺次进行，说　明　书 1/6 页 3 CN 114358489 A 3