(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111230200.2 (22)申请日 2021.10.2 2 (65)同一申请的已公布的文献号 申请公布号 CN 113673176 A (43)申请公布日 2021.11.19 (73)专利权人 杭州宇谷科技有限公司 地址 311113 浙江省杭州市余杭区良渚街 道七贤路1号1幢6楼6 03室 (72)发明人 肖劼　胡雄毅　余为才　 (74)专利代理 机构 合肥初航知识产权代理事务 所(普通合伙) 34171 代理人 谢永 (51)Int.Cl. G06F 30/27(2020.01) G06F 17/16(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01R 31/367(2019.01) G01R 31/382(2019.01) (56)对比文件 CN 113253116 A,2021.08.13 CN 112946484 A,2021.0 6.11 审查员 俞姝颖 (54)发明名称 基于Transformer的深度学习电池荷电状态 预估系统及方法 (57)摘要 本发明涉及电池SOC在线预测技术领域， 具 体地说， 涉及一种基于Transformer的深度学习 电池荷电状态预估系统及方法。 该系统包括： 全 连接神经网络， 其用于对电池特征序列R及电池 初始状态序列S进行处理并输出 ； Transformer神经网络， 其用于对电池充放电过 程序列T进行处理并输出 ； 线性融合层， 其用于对输出 和输出 进行拼接并加权计算以 获取预测的电池SOC， ； 以及， 输出层， 其用 于输出 。 该方法基于上述系统实现。 本发明 能够较佳地实现对及电池SOC的在线预测。 权利要求书2页 说明书7页 附图2页 CN 113673176 B 2022.02.22 CN 113673176 B 1.基于Transformer的深度学习电池荷电状态预估系统， 其特 征在于： 包括， 全连接神经网络， 其用于对电池特征序列R及电池初始状态序列S进行处理并输出 outputfc； 其中， 电池特征序列R的特征包括电芯材质、 生产日期、 电芯数及BMS型号， 其对于类型 类特征进行Embed ding操作； 其中， 电池初始状态序列S中的特 征包括初始SOC， 初始循环次数以及 初始SOH； 其中， outputfc为全连接神经网络的输出矩阵； Transformer神经网络， 其用于对电池充放电过程序列T进行处理并输出 outputtransformer； 其中， 电池充放电过程序列T表征的为电池充放电过程中的电压、 电流、 温度和压差数 据的时间序列； 其中， outputtransformer为Transformer神经网络的输出矩阵； 线性融合层， 其用于对outputfc和outputtransformer进行拼接并加权计算以获取预测的电 池SOC， 以及 输出层， 其用于 输出 2.根据权利要求1所述的基于Transformer的深度学习电池荷电状态预估系统， 其特征 在于： 全连接神经网络具备多个全连接层， 对于第l层全连接层， 其公式为： hl+1＝σ(Wlhl+ bl)； 其中， Wl和bl分别表示第l层全连接层的权重项和偏置项， hl为第l层全连接层的输入， hl +1为第l层全连接层的输出并作为第l+1层全连接层的输入， σ 为激活函数。 3.根据权利要求1所述的基于Transformer的深度学习电池荷电状态预估系统， 其特征 在于： Tran sformer神经网络 具有Encoder网络和Decoder网络， Encoder网络 具有Encoder多 头注意力机制层， Decoder网络具有Decoder多头注意力机制层。 4.根据权利要求3所述的基于Transformer的深度学习电池荷电状态预估系统， 其特征 在于： Encoder多头注意力机制层包括多个Encoder自注意力机制层和一个全连接层， 每个 Encoder自注意力机制层均具有参数矩阵WQ、 WK和WV； 对于Encoder网络中的第m个Encoder自 注意力机制层， 其 参数矩阵分别为 和 所述第m个Encoder自注意力机制层用于获取如下矩阵： 其中， Xin为Encoder多头注意力机制层的输入， Encoder多头注意力机制层具有至少1 个， 第一个Encoder多头注意力机制层的输入即为电池充放电过程序列T， 且 上一个Encoder 多头注意力机制层的输出作为下一个Encoder多头注意力机制层的输入； 所述第m个Encoder自注意力机制层在获取Qm、 Km和Vm后， 其通过如下计算获取输出矩 阵：权　利　要　求　书 1/2 页 2 CN 113673176 B 2其中， dk为参数矩阵的维度。 5.根据权利要求4所述的基于Transformer的深度学习电池荷电状态预估系统， 其特征 在于： 所述多个Encoder自注意力机制层用于输出i个输出矩阵， i为所述多个Encoder自注 意力机制层的总数； 全连接层用于依据如下运算获取对应Encoder多头注意力机制层的输 出Xout： Xout＝Wo·Concat(Z1，…， Zm，…， Zi)； 其中， Wo为全连接层的参数矩阵， Concat(Z1，…， Zm，…， Zi)表示将矩阵Z1，…， Zm，…， Zi进 行拼接。 6.采用权利要求1 ‑5中任一所述的基于Transformer的深度学习电池荷电状态预估系 统的方法， 其包括如下步骤： 步骤S1、 构建深度学习电池荷电状态预估系统； 步骤S2、 系统训练； 步骤S3、 在电池放电或充电过程中， 采集其电池特征序列R、 电池初始状态序列S及电池 充放电过程序列T， 并通过训练完成的深度学习电池荷电状态预估系统预测其SOC并输出。 7.根据权利要求6所述的方法， 其特 征在于： 步骤S2包括如下步骤， 步骤SA、 采用高斯分布N( μ,Σ)随机初始化每 个网络层的超参数； 步骤SB、 构建训练样本集； 步骤SC、 构建损失函数， 并通过随机梯度下降不断更新网络参数使得模型的L oss最小。 8.根据权利要求7所述的方法， 其特征在于： 步骤SB中， 在试验室条件下模拟锂电池的 充电和放电过程， 并依照电芯材质、 生产日期、 电芯数、 BMS型号、 初始SOC、 初始循环次数和 初始SOH进 行分组， 同时在 充电和放电过程中对电压、 电流、 温度和压差进 行采集， 并形成时 间序列， 同时在每次采样时均通过技术检测 手段获取当前电池的真实SOC； 之后以真实SOC 作为标签， 以其 余数据作为特 征构建训练样本集。 9.根据权利要求7所述的方法， 其特征在于： 步骤SC中， 所构建的损失函数为L2损失函 数。权　利　要　求　书 2/2 页 3 CN 113673176 B 3