(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111442332.1 (22)申请日 2021.11.30 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 张真源　赵鹏飞　黄琦　胡维昊　 易建波　李坚　井实　唐啸天　 (74)专利代理 机构 四川鼎韬律师事务所 513 32 代理人 温利平 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 50/06(2012.01) (54)发明名称 一种基于迁移学习的小样本集下短期负荷 预测方法 (57)摘要 本发明公开了一种基于迁移学习的小样本 集下短期负荷预测方法， 先采集多个源域用户的 历史负荷数据及对应温度， 从而构建多个输入特 征； 然后用输入特征训练多个深度残差网络模 型， 并利用贝叶斯加权概率平均法对深度残差网 络模型进行自适应性迁移组合， 迁移组合完成后 目标用户的实时负荷预测。 权利要求书3页 说明书9页 附图3页 CN 114169416 A 2022.03.11 CN 114169416 A 1.一种基于 迁移学习的小样本集下短期负荷预测方法， 其特 征在于， 包括以下步骤： (1)、 数据采集与预处 理； (1.1)、 设置负荷采样周期T； (1.2)、 按照负荷采样周期T对M个源域用户的历史负荷数据xload及对应温度xtemp进行采 集， 从而构建数据集和温度集， 记第i个源域用户构建数据集 为 和温度集 为 其中， 分别表示第i个源 域用户在第t个采样时刻采集到的历史负荷数据及对应温度， i ＝1,2,…,M； (1.3)、 分别剔除 和 中的异常值， 然后再进行线性插值， 得到数据样本 最后再对数据样本Xi进行归一 化处理， 得到归一 化以后的数据样本 (1.4)、 为数据样本 加入时间特征变量 包含时序变量、 天级变量、 节假 日 变量， 以独热编码的形式作为输入特 征， 最终构造出M个输入特 征为 (2)、 搭建深度残差网络模型； 深度残差网络由L个残差块跳跃连接而成， 其中， 每一个残差块由卷积层、 归一化层、 Relu激活函数层构成； (3)、 基于源域用户数据训练深度残差网络模型； (3.1)、 从从第i个输入特征 中随机选取 个时刻的数据作为一轮训练数据， 然后将每个时刻的数据依次输入到深度残差网络模型， 通过输入层将该帧数据转换为张量 形式输入至串联的残差块； (3.2)、 在深度残差网络模型中， 设第l个残差块的输入张量为Z(l‑1)， 在第l个残差块的 左侧分支中， 张量Z(l‑1)经过由多个扩 张因果卷积构成的卷积核进行特征抽取， 然后依次卷 积层、 归一化层、 Relu激活函数层、 卷积层、 归一化层， 得到左侧分支的输出张量 在 第l个残差块的右侧分支中， 张量Z(l‑1)经1×1卷积， 使其输出 张量 匹配左侧分支输出张 量 的 维 度 ，然 后 两 个 分 支 的 输 出 张 量 相 加 ，得 到 第 l 个 残 差 块 的 输 出 第l个残差块的输出Z(l)和第(l‑2)个残差块的输出相加， 得到第(l+1)个残差块的输入(Zl+Z(l‑2))； (3.3)、 重复步骤(3.2)， 直到最后一个残差块输出Z(L)， 最后将Z(L)经并联的两个全连接 层输出， 其输出记为 并作为t时刻的预测值； (3.4)、 当本轮训练数据训练完成后， 计算本轮训练的损失函数值MAPE： 其中， 表示t时刻的观测值； (3.5)、 设置损失阈值Δ； 计算本轮训练后的损失函数值与上一轮训练后的损失函数值 的差值ΔMAPE， 比较ΔMAPE与Δ的大小， 如果ΔMAPE≤Δ， 则训练结束， 得到第i个深度残差权　利　要　求　书 1/3 页 2 CN 114169416 A 2网络模型； 否则， 利用批量梯度下降算法更新深度残差网络中的权重， 然后再返回步骤 (3.1)进行 下一轮的训练； (3.6)、 按照步骤(3.1) ‑(3.5)所述方法完成M个输入特征对深度残差网络的训练， 最终 得到M个深度残差网络模型， 记为{F1,F2,…,Fi,…,FM}； (4)、 利用贝叶斯加权概 率平均法对深度残差网络模型进行自适应性组合； (4.1)、 设置目标用户的采集周期T1； (4.2)、 按照采样周期T1对目标用户的小样本历史负荷数据进行采样， 得到负荷数据集 和温度数据集 其中 和 分别表示目标用户在 第t个采样时刻采集到的历史负荷数据及对应温度， 然后按步骤(1.3) ‑(1.4)所述方法构建 输入特征， 记为 (4.3)、 构造输入特征对 其中， 表示t时刻的输入特征 表示t时刻的负荷观测值； (4.4)、 将输入特征 分别输入到M个深度残差网络模型中， 从而得到预测输出 其中， 表示在t时刻第i个深度残差 网络模型的预测值； (4.5)、 计算 的先验分布 其中， N表示高斯分布， 表示高斯噪声， ω＝{ω1， ω2,...,ωM}表示赋予给 不同的权值； (4.6)、 计算 的概率分,： 其中， I表示单位矩阵；权　利　要　求　书 2/3 页 3 CN 114169416 A 3