电源学报

层数	结构	数据	格式
第 1 层	输入层	放电数据	$\tau \times 4$
第 2 层	一维 CNN 层	高级特征	$\tau \times K$
第 3 层	LSTM 层	隐藏状态	$\tau \times N$
第 4 层	注意力机制层	注意力权重	$\tau \times 1$
第 5 层	输出层	SOC 预测值	$1 \times 1$

层数	结构	数据	格式
第 1 层	输入层	放电数据	$\tau \times 4$
第 2 层	一维 CNN 层	高级特征	$\tau \times K$
第 3 层	LSTM 层	隐藏状态	$\tau \times N$
第 4 层	注意力机制层	注意力权重	$\tau \times 1$
第 5 层	输出层	SOC 预测值	$1 \times 1$

模型	10 °C	25 °C	40 °C
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
SVR	7.80	5.60	7.50	10.41	3.85	4.62	12.75	4.79	7.61
GRU	11.13	3.11	4.12	8.27	2.62	3.24	9.45	2.37	3.04
XGBoost	5.79	2.13	2.84	4.81	1.50	1.80	11.60	2.57	2.81
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

模型	10 °C	25 °C	40 °C
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
SVR	7.80	5.60	7.50	10.41	3.85	4.62	12.75	4.79	7.61
GRU	11.13	3.11	4.12	8.27	2.62	3.24	9.45	2.37	3.04
XGBoost	5.79	2.13	2.84	4.81	1.50	1.80	11.60	2.57	2.81
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

模型	10 °C	25 °C	${40}^{\circ }\mathrm{C}$
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
LSTM	9.67	2.31	2.91	9.85	2.75	3.31	9.12	2.12	2.75
CNN-LSTM	3.67	1.14	1.39	4.02	1.06	1.35	4.28	1.16	1.45
Attention-LSTM	5.11	1.29	1.65	4.39	1.31	1.67	4.33	1.17	1.40
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

模型	10 °C	25 °C	${40}^{\circ }\mathrm{C}$
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
LSTM	9.67	2.31	2.91	9.85	2.75	3.31	9.12	2.12	2.75
CNN-LSTM	3.67	1.14	1.39	4.02	1.06	1.35	4.28	1.16	1.45
Attention-LSTM	5.11	1.29	1.65	4.39	1.31	1.67	4.33	1.17	1.40
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

基于注意力机制和CNN-LSTM 融合模型的锂电池 SOC 预测

PDF下载

张帅涛 , 蒋品群 , 宋树祥 , 夏海英

电源学报 | 电池与储能 2024,22(5): 269-277

收起

电源学报 | 电池与储能 2024, 22(5): 269-277

基于注意力机制和CNN-LSTM 融合模型的锂电池 SOC 预测

全屏

张帅涛, 蒋品群, 宋树祥, 夏海英

作者信息

广西师范大学电子与信息工程学院/集成电路学院桂林 541004

张帅涛(1994-),男,中国电源学会学生会员,硕士研究生。研究方向:锂电池荷电及健康状态预测。E-mail: zhangst5329@163.com。

蒋品群(1970-),男,通信作者,博士,副教授。研究方向:人工智能与大数据。E-mail: pqjiang@mailbox.gxnu.edu.cn。

宋树祥(1970-),男,博士,教授。研究方向:人工智能与大数据。E-mail: songshuxiang@mailbox.gxnu.edu.cn。

夏海英(1983-),女,博士,教授。研究方向:深度学习。E-mail:xhy22@gxnu.edu.cn。

SOC Prediction for Lithium Battery Based on Fusion Model of Attention Mechanism and CNN-LSTM

Shuaitao ZHANG, Pinqun JIANG, Shuxiang SONG, Haiying XIA

Affiliations

School of Electronic and Information Engineering/School of Integrated Circuits Guangxi Normal University Guilin 541004 China

出版时间: 2024-09-30 doi: 10.13234/j.issn.2095-2805.2024.5.269

文章导航

摘要

收起

为提高锂电池荷电状态SOC(state-of-charge)预测精度,提出1种基于注意力机制和卷积神经网络-长短时记忆 CNN-LSTM(convolution neural network-long short-term memory)融合模型的锂电池荷电状态预测方法。该模型采用一维CNN和LSTM 神经网络学习得到SOC与锂电池放电数据的非线性关系,以及SOC序列存在的长期依赖性。同时,该模型采用“多对一”的结构,将当前时刻的锂电池SOC与多个历史时刻的放电数据建立映射关系,并通过注意力机制关注到对当前时刻 SOC 影响较大的历史放电数据,进一步提升 SOC 的预测准确度。动态工况下的锂电池SOC 预测实验表明,该方法在不同溫度条件下的平均预测误差为0.89%,与SVM、GRU 和 XGBoost 相比,分别降低了 81.2%、66.7%和56.5%,且优于未融合注意力机制的 LSTM 和 CNN-LSTM,具有较高的预测精度和应用价值。

关键词

锂电池 / 荷电状态 / 卷积神经网络 / 长短时记忆神经网络 / 注意力机制

Abstract

收起

To improve the state-of-charge(SOC) prediction accuracy of lithium battery, a prediction method based on the fusion model of Attention mechanism and convolution neural network-long short-term memory(CNN-LSTM) is proposed. This model uses one-dimensional CNN and LSTM neural network to learn the nonlinear relationship between SOC and lithium battery discharge data, as well as the long-term dependence existing in SOC sequences. At the same time, it adopts a "many-to-one" structure and establishes a mapping relationship between the SOC at the present moment and the discharge data at multiple historical moments, and pays attention to the historical discharge data which has a greater influence on the SOC at the present moment through the Attention mechanism, thus further improving the SOC prediction accuracy. The SOC prediction experiments under dynamic conditions show that the average prediction error of the proposed method is 0.89% under different temperature conditions, which is 81.2%, 66.7% and 56.5% lower than those of SVM, GRU and XGBoost algorithms, respectively. In addition, this method is also superior to LSTM and CNN-LSTM models that do not combine the Attention mechanism, showing a higher prediction accuracy and higher application values.

Key words

Lithium battery / state-of-charge (SOC) / convolution neural network (CNN) / long short-term memory (LSTM) neural network / attention mechanism

引用本文

张帅涛, 蒋品群, 宋树祥, 夏海英. 基于注意力机制和CNN-LSTM 融合模型的锂电池 SOC 预测. 电源学报, 2024 , 22 (5) : 269 -277 . DOI: 10.13234/j.issn.2095-2805.2024.5.269

Shuaitao ZHANG, Pinqun JIANG, Shuxiang SONG, Haiying XIA. SOC Prediction for Lithium Battery Based on Fusion Model of Attention Mechanism and CNN-LSTM[J]. Journal of Power Supply, 2024 , 22 (5) : 269 -277 . DOI: 10.13234/j.issn.2095-2805.2024.5.269

正文

收起

锂电池因具有能量密度大、寿命长和污染小等优点,在新能源汽车和 3C 数码等领域得到了广泛应用。荷电状态 SOC(state-of-charge)定义为锂电池剩余电量与总容量的比值, 是描述锂电池状态的 1 个重要参数^[1]。SOC 作为锂电池的内部特性参数, 不能直接进行测量, 只能通过电压、电流和温度等一些外部特性参数预测得到^[2]。目前比较成熟的 SOC 预测方法有开路电压法^[3] 、电流积分法^[4] 、等效电路模型法^[5] 和数据驱动法^[6]。开路电压法,利用 SOC 与锂电池开路电压具有的对应关系, 通过查表获取 SOC,方法简单但误差较大；电流积分法, 对电流采集精度的要求较高, 存在初始值难以确定及容易出现累计误差等缺点; 等效电路模型法, 需对锂电池建立复杂的等效电路模型,并使用卡尔曼滤波等算法在线估计 SOC, 但由于锂电池是 1 个复杂的非线性系统,等效电路模型并不能完整地反映锂电池的内部特性,因此等效电路模型法预测 SOC 的精度有限; 数据驱动法, 仅需通过学习得到锂电池 SOC 与放电数据的关系, 避免了其他预测方法中存在的初始值难以确定的问题,也不会出现累计误差问题, 预测精度较高, 特别是随着计算机运算速度的大幅提升,数据驱动法预测 SOC 成为了研究热点。

常用的数据驱动法有支持向量回归^[7] 、小波神经网络^[8] 、极限梯度提升算法^[9] 和递归循环神经网络^[10-11] 等。2015 年, Sheng Hanmin 等^[7] 使用支持向量回归 SVR(support vector regression)算法预测 SOC, 然而其方法在 SVR 的基础上添加了模糊推理和非线性校正过程, 预测过程较繁琐; 2020 年, 谢思宇等 B 提出 1 种基于主成分分析与遗传优化算法优化的小波神经网络模型的 SOC 预测方法, 预测精度较高且收敛性好, 但未验证该方法在不同温度条件下的预测效果; 何瑛等${}^{\left( 9\right)}$ 提出 1 种基于特征组合的极限梯度提升 XGBoost(extreme gradient boosting)算法对 SOC 进行预测, 但其堆叠式的模型构造在一定程度上会导致其算法的计算效率较低; 2019 年, Li Chaoran 等^[10] 使用门控循环单元 GRU (gated recurrent unit) 神经网络预测 SOC, 取得了平均绝对误差为 1.75%的预测效果; 2020 年,郑永飞等^[11] 使用 LSTM 神经网络预测 SOC, 进一步提升了 SOC 的预测精度, 但其方法未考虑放电数据中的高级特征和历史信息对 SOC 的影响, 因此 SOC 的预测精度有望得到进一步提升。

因此, 本文提出了 1 种基于注意力机制和 CNN-LSTM(Attention-CNN-LSTM)的融合模型。该模型采用“多对一”的结构, 将当前时刻的 SOC 与多个历史时刻的锂电池放电数据建立映射关系, 通过一维 CNN(convolution neural network) 和 LSTM(long short-term memory)神经网络学习得到 SOC 与放电数据的非线性关系及 SOC 序列存在的长期依赖关系, 并通过注意力机制关注到对当前时刻 SOC 影响较大的历史放电数据,可获得更高的 SOC 预测精度。

1 神经网络

收起

1.1 一维 CNN

CNN 是一种带有卷积结构的深度神经网络, 能够从原始数据中提取出更高层次、更抽象的数据特征,因此广泛应用于图像分类和人脸识别等领域^[12], 其中一维 CNN 主要应用于时间序列数据^[13]。图1为一维$\mathrm{{CNN}}$ 结构,第$i$ 个卷积核${\omega }_{i}\in {R}^{1 \times d}$ 作用在输入数据${x}_{t}\in {R}^{\tau \times d}$ 上,将产生 1 个特征向量${\mathbf{c}}_{t, i}$,可表示为

(1)

${\mathbf{c}}_{t, i}= {\mathbf{\omega }}_{i}* {x}_{t}+ {\mathbf{b}}_{i}$

式中:* 为卷积运算符号;${b}_{i}$ 为偏置项。将$K$ 个卷积核得到的特征向量组合, 即为一维 CNN 输出的数据特征${c}_{t}= \left\{{{c}_{t,1},{c}_{t,2},\ldots,{c}_{t, i},\ldots,{c}_{t, K}}\right\}\in {R}^{\tau \times K}$。

1.2 LSTM 神经网络

递归循环网络 RNN(recurrent neural network)^[14] 将前一时刻的输出作为当前时刻的输入, 并在隐藏层内部保持 1 个包含数据历史特征的隐藏状态, 因此在时间序列预测上具有较大的优势。图2为 RNN 模型的网络结构,输入数据${x}_{t}$ 经过包含$N$ 个$\mathrm{{RNN}}$ 单元的神经网络,将得到隐藏状态${h}_{t}= \left\{{h}_{t,1}\right.$,$\left.{{h}_{t,2},\ldots,{h}_{t, N}}\right\}\in {R}^{\tau \times N}$ 和输出${y}_{t}$,可表示为

(2)

${h}_{t}= f\left({{\mathbf{W}}_{xh}{x}_{t}+ {\mathbf{W}}_{hh}{h}_{t - 1}+ {\mathbf{b}}_{h}}\right)$

(3)

${y}_{t}= {\mathbf{W}}_{hy}{h}_{t}+ {\mathbf{b}}_{y}$

式中:${\mathbf{W}}_{xh}\text{、}{\mathbf{W}}_{hh}$ 和${\mathbf{W}}_{hy}$ 为权值矩阵,${\mathbf{b}}_{h}$ 和${\mathbf{b}}_{y}$ 为偏置向量。

尽管 RNN 采用了 1 种非常深的前馈网络结构, 但理论和经验表明 RNN 在序列较长时的预测效果较差^[14]。LSTM 神经网络作为 RNN 的 1 种变体, 解决了 RNN 在训练过程中容易出现的梯度消失与梯度爆炸问题^[15]。图3为 LSTM 单元的内部结构, LSTM 神经网络通过引入门结构设计, 具有了回忆过去信息的能力, 适用于解决较长时间序列的问题, 例如电池 SOC 估算^[16]。

LSTM 单元的门结构由遗忘门、输入门和输出门组成。输入数据${x}_{t}$ 在 LSTM 单元中的前向传播过程可以表示为

(4)

${f}_{t}= \sigma \left({{\mathbf{W}}_{fh}{h}_{t - 1}+ {\mathbf{W}}_{fx}{x}_{t}+ {\mathbf{b}}_{f}}\right)$

(5)

${i}_{t}= \sigma \left({{\mathbf{W}}_{ih}{h}_{t - 1}+ {\mathbf{W}}_{ix}{x}_{t}+ {\mathbf{b}}_{i}}\right)$

(6)

${C}_{t}^{\prime }= \tanh \left({{\mathbf{W}}_{ch}{h}_{t - 1}+ {\mathbf{W}}_{cx}{x}_{t}+ {\mathbf{b}}_{c}}\right)$

(7)

${C}_{t}= {i}_{t}\odot {C}_{t}^{\prime }+ {f}_{t}\odot {C}_{t - 1}$

(8)

${o}_{t}= \sigma \left({{\mathbf{W}}_{oh}{h}_{t - 1}+ {\mathbf{W}}_{ox}{x}_{t}+ {\mathbf{b}}_{o}}\right)$

(9)

${h}_{t}= \tanh \left\lbrack {C}_{t}\right\rbrack \odot {o}_{t}$

式中:${f}_{t}\text{、}{i}_{t}$ 和${o}_{t}$ 为每个门结构的输出;${\mathbf{W}}_{fh}\text{、}{\mathbf{W}}_{fx}\text{、}{\mathbf{W}}_{ih}$ 、${\mathbf{W}}_{ix}\text{、}{\mathbf{W}}_{ch}\text{、}{\mathbf{W}}_{cx}\text{、}{\mathbf{W}}_{oh}\text{、}{\mathbf{W}}_{ox}$ 和${\mathbf{b}}_{f}\text{、}{\mathbf{b}}_{i}\text{、}{\mathbf{b}}_{c}\text{、}{\mathbf{b}}_{o}$ 分别为网络通过训练得到的权重矩阵和偏置向量;$\sigma$ 和 tanh 分别为 sigmoid 函数和双曲正切函数;$\odot$ 为哈达玛积运算符号;${C}_{t}$ 为记忆状态,${o}_{t}$ 为输出门信息,二者结合得到当前 LSTM 单元输出的隐藏状态${h}_{t \circ }$ 式(4)、式(5) 和式(8)分别表示${x}_{t}$ 在遗忘门、输入门和输出门中的更新过程。

1.3 注意力机制

注意力机制通过对事物不同部分赋予不同的权重来降低其无关部分的作用^[17]。尽管采用“多对一”的结构能提高 SOC 预测模型对历史放电数据的利用能力, 但同时也带来了 1 个不容忽视的问题:即使输入样本中不同历史时刻放电数据对当前 SOC 的影响不一致, 但 LSTM 仍会对其同等看待, 这限制了窗口化数据作为模型输入的优势。因此, 需设计有效的注意力机制使模型优先关注到对当前 SOC 影响较大时刻的放电数据, 从而进一步提升 SOC 预测的准确性。本文实现注意力机制的步骤如下。

首先, 使用 1 个打分函数来计算隐藏状态中每个时刻放电数据的特征向量${\mathbf{h}}_{t, i}$ 与${\mathbf{h}}_{t}$ 的相关性分数。该步骤由 1 个输出节点数为$\tau$ 的全连接层实现,其输入为转置后的隐藏状态${h}_{t}^{\mathrm{T}}$,可表示为

(10)

$\operatorname{score}\left(\left\lbrack {{\mathbf{h}}_{t, i},{\mathbf{h}}_{t}}\right\rbrack \right)= {\mathbf{W}}_{s}{\mathbf{h}}_{t}^{\mathrm{T}}+ {\mathbf{b}}_{s}$

式中:${\mathbf{W}}_{s}$ 和${\mathbf{b}}_{s}$ 分别为全连接层的权值矩阵与偏置向量;$\operatorname{score}\left(\left\lbrack {{\mathbf{h}}_{t, i},{\mathbf{h}}_{t}}\right\rbrack \right)$ 为${\mathbf{h}}_{t, i}$ 与${\mathbf{h}}_{t}$ 的相关性。

然后,使用 softmax 函数获取输入样本中每个时刻数据的注意力权重${\alpha }_{i}$,并将其对${\mathbf{h}}_{t, i}$ 加权聚合得到注意力层的输出${h}_{t}^{* }$,即

(11)

${\alpha }_{i}= \frac{\exp \left\lbrack {\operatorname{score}\left({{\mathbf{h}}_{t, i},{\mathbf{h}}_{t}}\right)}\right\rbrack }{\mathop{\sum }\limits_{{j = 1}}^{\tau }\exp \left\lbrack {\operatorname{score}\left({{\mathbf{h}}_{t, j},{\mathbf{h}}_{t}}\right)}\right\rbrack }$

(12)

${h}_{t}^{* }= \mathop{\sum }\limits_{{i = 1}}^{\tau }{\alpha }_{i}{\mathbf{h}}_{t, i}$

最后,将${\mathbf{h}}_{t}^{* }$ 输入至包含 1 个输出节点的全连接层,得到$\mathrm{{SOC}}$ 的预测值${\widehat{y}}_{t}$,即

(13)

${\widehat{y}}_{t}= W{\mathbf{h}}_{t}^{* }+ \mathbf{b}$

式中:$W$ 为全连接层的权重矩阵；$b$ 为偏置向量。

2 模型训练

收起

2.1 实验数据

2.1.1 锂电池数据集

本文使用马里兰大学高级生命周期工程中心 CALCE(center for advanced life cycle engineering)电池研究小组采集的锂电池放电数据^[18] 对所提$\mathrm{{SOC}}$ 预测方法进行验证。CALCE 收集了 A123 磷酸铁锂电池在 3 种放电工况下的放电数据, 包括放电电压、工作电流、电池温度和电压的变化率。3 种工况分别为动态压力测试工况 DST(dynamic stress testing)、US06 高速公路驾驶工况和联邦城市驾驶工况 FUDS(federal urban driving schedule)^[19]。图4为锂电池在${25}^{\circ }\mathrm{C}$ 条件下不同工况的放电电流、电压和 SOC 变化曲线。

2.1.2 数据预处理

为了消除不同特征数据量纲和数值范围差异对训练效果的影响, 在对预测模型训练前, 需要对输入特征数据进行标准化, 可表示为

(14)

${x}^{\prime }= \frac{x -\mu }{\sigma }$

式中:$\mu$ 和$\sigma$ 分别为每一项特征数据的平均值和标准差；$x\text{、}{x}^{\prime }$ 分别为标准化前、后的数据。然后,针对本文 SOC 预测模型采用的“多对一”结构, 需再对数据进行窗口化处理, 使模型每个输入样本中包含多个历史时刻的放电数据,如图5所示。${x}_{t, i}= \left\lbrack {{I}_{i},{V}_{i}}\right.$,$\left.{{T}_{i},\mathrm{\;d}{V}_{i}}\right\rbrack$ 为 1 个时刻的放电数据,当窗口长度设置为$\tau$ 时,经过窗口化之后得到模型的 1 个输入样本为${x}_{t}= \left\{{{x}_{t, t -\tau + 1},{x}_{t, t -\tau + 2},\ldots,{x}_{t, t}}\right\}\in {R}^{\tau \times 4}\circ$

2.2 模型设置

2.2.1 模型结构设置

针对 CNN 在特征提取上的优势和 LSTM 神经网络在时间序列方面的优势, 本文提出了基于 Attention-CNN-LSTM 的锂电池 SOC 预测方法。Attention-CNN-LSTM 主要包括一维 CNN、LSTM 神经网络和注意力机制 3 个部分,其整体结构如图6所示。

如图6所示, 该模型首先通过一维 CNN 提取锂电池放电数据的高级特征, 并将其作为 LSTM 神经网络的输入; 然后由 LSTM 神经网络学习 SOC 与输入特征的非线性关系及 SOC 序列存在的长期依赖性;最后利用注意力机制, 赋予重要时刻放电数据较大的权重,并通过输出层得到 SOC 预测值。该模型旨在获取当前时刻的 SOC 和多个历史时刻放电数据的映射关系, 其具体的网络结构如表1所示。

如表1所示, 该模型主要包含 5 层结构。第 1 层为输入层,输入格式为$\tau \times 4$ 的锂电池放电数据,其中:$\tau$ 表示每个输入样本中包含的时刻数,输入数据的维度为 4 ; 第 2 层为卷积核个数为$K$ 的一维 CNN 层,用于提取输入数据的特征信息,输出数据的格式为$\tau \times K$ ; 第 3 层为 LSTM 神经网络层,其 LSTM 隐藏单元的个数为$N$,用于学习$\mathrm{{SOC}}$ 和特征之间的非线性关系及 SOC 序列的长期依赖性, 输出格式为$\tau \times N$ 的隐藏状态; 第 4 层为注意力机制层, 注意力机制获取每个时刻放电数据的权重并对LSTM 神经网络输出的隐藏状态进行加权;模型第 5 层为输出层, 用于 SOC 预测值的输出。

2.2.2 模型参数设置及训练

由上述分析可知, Attention-CNN-LSTM 的超参数为 1 个样本数据所包含的时刻数$\tau$ 、一维 CNN 的卷积核个数$K$ 和 LSTM 单元的个数${N}_{0}$ 为了得到最优的超参数,从集合$\tau \in \{{10},{20},{30}\}\text{、}K \in \{{32},{64}\}$ 与$N \in \{{32},{64},{128}\}$ 中选取任意的超参数组合,进行参数寻优实验, 分别得到 18 种超参数组合下锂电池 SOC 的预测误差。结果表明,当$\tau ={20}\text{、}K ={64}\text{、}N =$ 64 时, 模型取得了最小的预测误差。因此, 设置一维 CNN 层卷积核的个数为 64, LSTM 层的隐藏单元个数为 64, 并且模型的 1 个输入样本包含 20 个历史时刻的放电数据。另外, 在一维 CNN 中添加最大池化层,并设置最大池化层的窗口长度为 2。在 LSTM 神经网络正向传播的过程中,采用均方误差 MSE(mean square error)作为模型的损失函数。当误差反向传播时,使用 Adam 优化方法^[20] 更新 LSTM 网络的权重与偏置。在 LSTM 神经网络中加入 Dropout 结构, 并设置 Dropout 的值为 0.2, 在网络训练过程中随机忽略 20%节点之间的连接。设置模型训练批次大小为 256, 学习率为 0.001, 迭代次数为 30。为了衡量模型对 SOC 的预测效果,采用最大误差 ME(max error)、平均绝对误差 MAE(mean absolute error)和均方根误差 RMSE(root mean square error)作为评价模型预测性能的指标。MSE、MAE 和 RMSE 的计算方法为

(15)

$\operatorname{MSE}= \frac{1}{m}\mathop{\sum }\limits_{{i = 1}}^{m}{\left({y}_{i}- {\widehat{y}}_{i}\right)}^{2}$

(16)

$\mathrm{{MAE}}= \frac{1}{m}\mathop{\sum }\limits_{{i = 1}}^{m}\left|{{y}_{i}- {\widehat{y}}_{i}}\right|$

(17)

$\text{ RMSE }= \sqrt{\frac{1}{m}\mathop{\sum }\limits_{{i = 1}}^{m}{\left({y}_{i}- {\widehat{y}}_{i}\right)}^{2}}$

式中:$m$ 为计算$\mathrm{{SOC}}$ 预测误差的样本总数;${y}_{i}$ 与${\widehat{y}}_{i}$ 分别为 SOC 的真实值与预测值。

3 实验结果及分析

收起

3.1 对比实验

为验证本文方法的优势, 选取 3 种常用于 SOC 预测的方法与之进行对比, 第 1 种方法为常用于解决回归问题的支持向量回归算法 SVR, 第 2 种方法常用于时间序列预测的 GRU 神经网络, 第 3 种方法为极限梯度提升算法 XGBoost。对比实验中:设置 SVR 的惩罚因子为 2、残差收敛条件为小于 0.0001 、最大迭代次数为 200,核函数采用径向基函数,并设置其宽度为 0.1 ; 设置 GRU 神经网络的隐藏单元个数为 64, 训练批次大小为 256, 迭代次数为 30, 并采用与本文模型同样的窗口化数据作为输入,窗口长度设置为 20 ; 设置 XGBoost 生成树的最大数目为 160 、学习率为 0.1 、随机采样比例为 0.5, 树的最大深度为 5。本文方法和 3 种对比方法均使用 DST、US06 工况条件下的放电数据作为训练集, FUDS 工况条件下的放电数据作为测试集。表2为对比实验在 10、25 和${40}^{\circ }\mathrm{C}$ 数据集上的 SOC 预测误差,图7为 4 种方法通过${25}^{\circ }\mathrm{C}$ 数据集的放电数据预测得到的 SOC 变化曲线和误差曲线。

由表2可以看出, 本文方法的 SOC 预测值在 ME、MAE 和 RMSE 上均取得了最小值,3 种温度条件下平均 MAE 为 0.89%, 较 SVR、GRU 和 XGBoost 分别降低了 81.2%、66.7%和 56.5%。另外,通过对比不同温度下的预测误差可以得到, SVR 与 XGBoost 的 RMSE 均在${25}^{\circ }\mathrm{C}$ 时取得最小值,在 10 和${40}^{\circ }\mathrm{C}$ 时出现了误差增大的情况, 而 GRU 和本文模型在 10 和${40}^{\circ }\mathrm{C}$ 时的预测误差与${25}^{\circ }\mathrm{C}$ 时基本一致。分析可知, GRU 与本文模型均具有递归循环网络的优势, 能有效利用放电数据的历史特征, 尤其是本文模型在复杂的工况环境中仍能够准确地建立放电数据与 SOC 的映射关系, 因此预测效果并未受到温度变化的影响。同时,由图7(a)可以看出,虽然 4 种方法预测得到的 SOC 均较符合真实 SOC 的下降趋势, 但本文方法的预测结果最符合真实的 SOC 变化曲线,而 SVR、GRU 和 XGBoost 得到的 SOC 变化曲线较偏离真实的 SOC 且抖动更加剧烈。由图7(b)可以看出, 本文方法在锂电池整个放电过程中均具有最小的预测误差。由对比实验结果可以得到, 本文方法较 SVR、GRU 和 XGBoost 具有较大的优势, 且预测精度不易受锂电池工作温度的影响。

3.2 消融实验

为验证 Attention-CNN-LSTM 各部分的作用, 使用不同温度条件下的数据集对 Attention-CNN-LSTM 及其消融模型进行测试。首先,将 LSTM 神经网络作为基准模型, 然后向 LSTM 神经网络中添加注意力机制, 得到 Attention-LSTM, 而 CNN-LSTM 为去除本文模型注意力机制得到的模型。通过消融实验得到 LSTM、CNN-LSTM、Attention-LSTM 和本文模型在 10、25 和 40 °C数据集上的 SOC 预测误差,如表3所示。在 25 ℃数据集上每个模型得到的 SOC 变化曲线和误差曲线如图8所示。

由表3可以得到, Attention-CNN-LSTM 在 3 种温度数据集上的预测性能均优于其他 3 种消融模型。以在${25}^{\circ }\mathrm{C}$ 数据集上的表现为例,本文方法的 SOC 预测值 MAE 相对于 LSTM、CNN-LSTM 和 Attention-LSTM 分别降低了 69.4%、20.8%和 25.9%。相对于 LSTM 的预测结果, CNN-LSTM 和 Attention-LSTM 的 SOC 预测值 MAE 分别降低了 61.5% 和 52.4%, 这 2 项结果表明了一维 CNN 和注意力机制对 SOC 预测精度的提升效果。同时,通过图8(a)和 (b)可以看出, Attention-CNN-LSTM 预测得到的 SOC 曲线比另外 3 种消融模型更加贴近真实的 SOC 曲线, 且误差曲线的波动程度更小。另外, 相对于 LSTM, Attention-LSTM 在 3 种温度数据集上的 SOC 预测 MAE 分别降低了 44.2%、52.4%与 47.2%,再次证明了注意力机制的作用。

图9为 1 个输入样本中不同历史时刻放电数据的权重示意,可以看出,模型向输入样本中不同时刻的放电数据赋予了不同的注意力权重,加强了对重要时刻放电数据的关注, 同时也削弱了对 SOC 影响较小的放电数据的作用。因此, 注意力机制在 CNN-LSTM 模型预测 SOC 存在一定优势的基础上, 进一步提高了 SOC 预测的精度。

4 结语

收起

为提高 SOC 的预测精度, 本文提出了基于注意力机制和 CNN-LSTM 融合模型的 SOC 预测方法。该方法利用 CNN 在特征提取上的优势及 LSTM 神经网络在时间序列预测方面的优势, 并采用注意力机制解决了模型对输入样本中不同历史时刻放电数据同等看待的问题。通过消融实验和对比实验,验证了一维 CNN 和注意力机制的作用, 以及本文模型在较少的迭代次数下相对于 SVR、GRU 和 XGBoost 具有的优势。综上, 基于 Attention-CNN-LSTM 的锂电池 SOC 预测方法具有较高的预测精度和应用价值, 将其移入电池管理系统或云计算平台中得以应用将成为下一步研究的重点。

基金

收起

广西科技重大专项资助项目(AA20302003)
广西科技重大专项资助项目(AA23023010)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

余运俊, 谌新, 万晓凤. 电动汽车电池荷电状态估计研究综述[J]. 电源学报, 2014. 12(3): 95-102.

Yunjun

, Chen

Xin

, Wan

Xiaofeng

. Reviewer of estimating the state of battery charge for electric vehicle[J]. Journal of Power Supply, 2014. 12(3): 95-102 (in Chinese).

[2]

王琪, 孙玉坤, 倪福银, 等. 一种混合动力电动汽车电池荷电状态预测的新方法[J]. 电工技术学报, 2016. 31(9): 189-196.

Wang

, Sun

Yukun

, Ni

Fuyin

, et al. A new method of battery state of charge prediction in the hybrid electric vehicle[J]. Transactions of China Electrotechnical Society, 2016. 31(9): 189-196 (in Chinese).

[3]

Chen

Xiaokai

, Lei

Hao

, Xiong

Rui

, et al. A novel approach to reconstruct open circuit voltage for state of charge estimation of lithium ion batteries in electric vehicles[J]. Applied Energy, 2019. 255: 113758-113771.

[4]

罗勇, 祈朋伟, 黄欢, 等. 基于容量修正的安时积分 SOC 估算方法研究[J]. 汽车工程, 2020. 42(5): 681-687.

Luo

Yong

, Qi

Pengwei

, Huang

Huan

, et al. Study on battery SOC estimation by ampere-hour integral method with capacity correction[J]. Automotive Engineering, 2020. 42(5): 681-687 (in Chinese).

[5]

张方亮. 基于改进 EKF 算法的锂离子电池SOC 估算方法[J]. 电源学报, 2018. 16(5): 124-129.

Zhang

Fangliang

. SOC estimation method for lithium ion battery based on improved EKF algorithm[J]. Journal of Power Supply, 2018. 16(5): 124-129 (in Chinese).

[6]

Zahid

, Xu

Kun

, Li

Weimin

, et al. State of charge estimation for electric vehicle power battery using advanced machine learning algorithm under diversified drive cycles[J]. Energy, 2018. 162(11): 871-882.

[7]

Sheng

Hanmin

, Xiao

Jian

. Electric vehicle state of charge estimation: Nonlinear correlation and fuzzy support vector machine[J]. Journal of Power Sources, 2015. 281(5): 131-137.

[8]

谢思宇, 王萍, 王智爽. 改进的WNN 在蓄电池 SOC 估算中的应用[J]. 电源学报, 2020. 18(6): 199-206.

Xie

Siyu

, Wang

Ping

, Wang

Zhishuang

. Application of improved WNN in battery SOC estimation[J]. Journal of Power Supply, 2020. 18(6): 199-206 (in Chinese).

[9]

何瑛, 钟根鹏, 陈翌. 基于特征组合堆叠融合集成学习的锂离子动力电池 SOC 估算[J]. 储能科学与技术, 2020. 9(5): 1548-1557.

Ying

, Zhong

Genpeng

, Chen

. Research on SOC estimation of lithium-ion power battery based on feature combination and stacking fusion ensemble learning[J]. Energy Storage Science and Technology, 2020. 9(5): 1548-1557 (in Chinese).

[10]

Chaoran

, Xiao

Fei

, Fan

Yaxiang

. An approach to state of charge estimation of lithium-ion batteries based on recurrent neural networks with gated recurrent unit[J]. Energies, 2019. 12(9): 1592-1613.

[11]

郑永飞, 文怀兴, 韩昉, 等. 基于LSTM 神经网络的动力电池SOC估算研究[J]. 计算机应用与软件, 2020. 37(3): 78-81.

Zheng

Yongfei

, Wen

Huaixing

, Han

Fang

, et al. SOC estimation of power battery based on LSTM neural network[J]. Computer Applications and Software, 2020. 37(3): 78-81 (in Chinese).

[12]

周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017. 40(6): 1229-1251.

Zhou

Feiyan

, Jin

Linpeng

, Dong

Jun

. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017. 40(6): 1229-1251 (in Chinese).

[13]

Kiranyaz

, Avci

, Abdeljaber

, et al. 1D convolutional neural networks and applications: A survey[J]. Mechanical Systems and Signal Processing, 2021. 151: 107398-107418.

[14]

Lecun

, Bengio

, Hinton

. Deep learning[J]. Nature, 2015. 521(7553): 436-444.

[15]

Hochreiter

, Schmidhuber

. Long short-term memory[J]. Neural Computation, 1997. 9(8): 1735-1780.

[16]

徐帅, 刘雨辰, 周飞. 基于 RNN的锂离子电池 SOC 估算研究进展[J]. 电源技术, 2021. 45(2): 263-269.

Shuai

, Liu

Yuchen

, Zhou

Fei

. Research progress of SOC estimation of lithium-ion batteries based on RNN[J]. Chinese Journal of Power Sources, 2021. 45(2): 263-269 (in Chinese).

[17]

陈海涵, 吴国栋, 李景霞, 等. 基于注意力机制的深度学习推荐研究进展[J]. 计算机工程与科学, 2021. 43(2): 370-380.

Chen

Haihan

, Wu

Guodong

, Li

Jingxia

, et al. Research advances on deep learning recommendation based on attention mechanism[J]. Computer Engineering and Science, 2021. 43(2): 370-380 (in Chinese).

[18]

Zhang

Yongzhi

, Xiong

Rui

, He

Hongwen

, et al. Lithium-ion battery remaining useful life prediction with Box-Cox transformation and Monte Carlo simulation[J]. IEEE Transactions on Industrial Electronics, 2019. 66(2): 1585-1597.

[19]

Tian

Yong

, Lai

Rucong

, Li

Xiaoyu

, et al. A combined method for state-of-charge estimation for lithium-ion batteries using a long short-term memory network and an adaptive cubature Kalman filter[J]. Applied Energy, 2020. 265: 114789-114802.

[20]

Yadav

R K

, Anubhav

. PSO-GA based hybrid with Adam optimization for ANN training with application in medical diagnosis[J]. Cognitive Systems Research, 2020. 64: 191-199.

2024年第22卷第5期

PDF下载

413

166

引用本文

BibTeX

文章信息

doi: 10.13234/j.issn.2095-2805.2024.5.269

接收时间：2021-09-14
首发时间：2025-07-20
出版时间：2024-09-30

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2021-09-14
修回日期：2021-10-20
录用日期：2021-11-09

基金

Guangxi Science and Technology Major Project(AA20302003)

广西科技重大专项资助项目(AA20302003)

Guangxi Science and Technology Major Project(AA23023010)

广西科技重大专项资助项目(AA23023010)

作者信息

广西师范大学电子与信息工程学院/集成电路学院桂林 541004

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/dyxb/CN/10.13234/j.issn.2095-2805.2024.5.269

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

层数	结构	数据	格式
第 1 层	输入层	放电数据	$\tau \times 4$
第 2 层	一维 CNN 层	高级特征	$\tau \times K$
第 3 层	LSTM 层	隐藏状态	$\tau \times N$
第 4 层	注意力机制层	注意力权重	$\tau \times 1$
第 5 层	输出层	SOC 预测值	$1 \times 1$

层数

结构

数据

格式

第 1 层

输入层

放电数据

$\tau \times 4$

第 2 层

一维 CNN 层

高级特征

$\tau \times K$

第 3 层

LSTM 层

隐藏状态

$\tau \times N$

第 4 层

注意力机制层

注意力权重

$\tau \times 1$

第 5 层

输出层

SOC 预测值

$1 \times 1$

模型	10 °C	25 °C	40 °C
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
SVR	7.80	5.60	7.50	10.41	3.85	4.62	12.75	4.79	7.61
GRU	11.13	3.11	4.12	8.27	2.62	3.24	9.45	2.37	3.04
XGBoost	5.79	2.13	2.84	4.81	1.50	1.80	11.60	2.57	2.81
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

模型

10 °C

25 °C

40 °C

ME/%

MAE/%

RMSE/%

ME/%

MAE/%

RMSE/%

ME/%

MAE/%

RMSE/%

SVR

7.80

5.60

7.50

10.41

3.85

4.62

12.75

4.79

7.61

GRU

11.13

3.11

4.12

8.27

2.62

3.24

9.45

2.37

3.04

XGBoost

5.79

2.13

2.84

4.81

1.50

1.80

11.60

2.57

2.81

本文模型

3.03

1.01

1.18

4.61

0.84

1.11

3.14

0.84

1.03

模型	10 °C	25 °C	${40}^{\circ }\mathrm{C}$
ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%	ME/%	MAE/%	RMSE/%
LSTM	9.67	2.31	2.91	9.85	2.75	3.31	9.12	2.12	2.75
CNN-LSTM	3.67	1.14	1.39	4.02	1.06	1.35	4.28	1.16	1.45
Attention-LSTM	5.11	1.29	1.65	4.39	1.31	1.67	4.33	1.17	1.40
本文模型	3.03	1.01	1.18	4.61	0.84	1.11	3.14	0.84	1.03

模型

10 °C

25 °C

${40}^{\circ }\mathrm{C}$

ME/%

MAE/%

RMSE/%

ME/%

MAE/%

RMSE/%

ME/%

MAE/%

RMSE/%

LSTM

9.67

2.31

2.91

9.85

2.75

3.31

9.12

2.12

2.75

CNN-LSTM

3.67

1.14

1.39

4.02

1.06

1.35

4.28

1.16

1.45

Attention-LSTM

5.11

1.29

1.65

4.39

1.31

1.67

4.33

1.17

1.40

本文模型

3.03

1.01

1.18

4.61

0.84

1.11

3.14

0.84

1.03