1.基于孪生神经网络的时间序列相似度度量方法,用于风力发电机组的时间序列数据相似度度量,所述时间序列数据包括风力发电机组的发电功率、风力发电机组在各高度风速、风力发电机组的温度、湿度,其特征在于,包括如下步骤:S1、对获取的时间序列数据样本进行两两分组配对,将配对的每个时间序列样本对根据时间序列数据样本是否相似进行标注标签;
S2、将时间序列样本对输入孪生神经网络进行训练,所述孪生神经网络的两个分支使用相同的预训练大模型对时间序列样本对的两个时间序列数据样本进行处理,所述预训练大模型均具有位置嵌入层,所述位置嵌入层对输入的时间序列数据样本先进行时间序列的位置嵌入,采用Transformer正余弦位置编码对时间序列数据样本每个时间步的位置进行编码,所述预训练大模型通过每个时间步的位置编码感知时间序列的不同时间步,通过预训练大模型之间共享的多头注意力层得出时间序列数据样本中每个时间步数据的特征向量,所述多头注意力层通过如下子步骤输出时间序列数据样本中不同时间步数据的特征向量:S21、使用不同的权重矩阵将输入的时间序列数据样本投影到查询、键和值空间:
Q=WQ·τ,J=WK·τ,V=WV·τ,
其中,τ为输入的时间序列数据样本,Q、K、V为时间序列数据样本分别到查询、键和值空间的投影,WQ、WK、WV分别为查询空间权重矩阵、键空间权重矩阵和值空间权重矩阵;
S22、通过下式计算时间序列数据样本中每个时间步的查询和键的点积,并通过softmax归一化得到注意力权重:其中,Attention(Q,K,V)为注意力权重,是键的维度,T表示时间序列数据样本到键空间的投影转置;
S23、使用注意力权重对时间序列数据样本到值空间的投影V进行加权求和,得到多头注意力层不同头的输出表示如下:Zι=Attention(Q,K,V)ι·V,
Zι表示多头注意力层的第ι个头输出的时间序列数据,Attention(Q,K,V)ι表示多头注意力层的第ι个头的注意力权重;
S24、将多头注意力层所有头的输出拼接起来并投影回原始维度,得到多头注意力层的最终输出如下:h=MultiHead(Q,K,V)=Concat(Z1,Z2,...,Zι)·Wo,其中,h=MultiHead(Q,K,V)为多头注意力层最终输出的时间序列数据特征向量,其包含了所有注意力头捕捉时间序列数据的依赖关系,组成时间序列数据样本中不同时间步数据之间的全局依赖关系,Z1,Z2,...,Zι是多头注意力层的ι个不同头的输出,Wo是输出投影矩阵;
在孪生神经网络加入Adapters层对预训练大模型进行微调,所述Adapters层插入在多头注意力层后,为两层的瓶颈结构,所述多头注意力层最终输出的时间序列数据首先经过下降层降维,然后经过非线性激活函数,最后经过上升层将降维后时间序列数据特征再投影回高维空间输出;
所述Adapters层的输出与多头注意力层最终输出的时间序列数据通过下式以残差连接的形式相加:h′=h+Adapters(h),
其中h为多头注意力层最终输出的时间序列数据,Adapters(h)为Adapters层的输出,h’为多头注意力层和Adapters层共同的输出;
S3、采用特征池化的方式整合时间序列数据样本中所有时间步数据的特征向量,所述时间序列数据样本经多头注意力层和Adapters层输出后,首先输入由两层全连接网络组成的前馈网络,对时间序列数据样本中每个时间步数据的特征表示进行逐步非线性变换,然后通过下式分别整合时间序列样本对内两个时间序列数据样本所有时间步数据的特征,分别提取时间序列数据样本最终的全局表示:其中,Γ表示时间序列数据样本所有时间步数据经过平均池化操作后生成的特征向量,是时间序列数据样本中所有时间步数据的全局表示;ht″为前馈网络输出的时间序列数据样本在第t个时间步数据的特征向量,表示时间序列数据样本的长度,即包含的时间步数量;
S4、使用时间序列数据样本池化后的特征向量之间的欧氏距离作为时间序列样本对的相似度度量的最终输出,结合步骤S1标注的标签对比损失函数来优化微调后的预训练大模型。
2.根据权利要求1所述的基于孪生神经网络的时间序列相似度度量方法,其特征在于:所述步骤S1中对时间序列数据样本配对前,对原始时间序列数据进行预处理,包括时间序列的对齐、时间序列缺失值的填充和时间序列异常值的修改。
3.根据权利要求2所述的基于孪生神经网络的时间序列相似度度量方法,其特征在于:所述步骤S1中,根据时间序列数据样本之间的欧式距离对时间序列样本对进行标签标注;
所述时间序列数据样本之间的欧式距离小于0.2的时间序列样本对,其标签标注为1;
所述时间序列数据样本之间的欧式距离大于0.8的时间序列样本对,其标签标注为0;
其余时间序列样本对的标签设置为0.5。
4.根据权利要求1所述的基于孪生神经网络的时间序列相似度度量方法,其特征在于:所述步骤S3中,通过下式对时间序列数据样本中每个时间步数据的特征表示进行逐步非线性变换:h″=ReLU(h′·Θ1+b1)·Θ2+b2,
其中Θ1、Θ2、b1、b2是前馈网络中两层全连接网络的权重和偏置参数,h’为步骤S2中多头注意力层和Adapters层对时间序列数据样本的共同输出,通过非线性激活函数ReLU进行拟合,得到h″为前馈网络的输出。
5.根据权利要求1所述的基于孪生神经网络的时间序列相似度度量方法,其特征在于:所述步骤S4中,通过以下对比损失函数优化微调后的预训练大模型,其中L表示对比损失函数,ε表示步骤S1中时间序列样本对标注的时间序列数据样本是否相似的标签,d是使用时间序列数据样本的特征向量之间的欧氏距离度量的时间序列样本对的相似度,m是一个用于区分相似和不相似时间序列样本对距离的阈值,m的取值范围为0到1之间的实数。
6.根据权利要求5所述的基于孪生神经网络的时间序列相似度度量方法,其特征在于:对微调预训练大模型进行优化的过程中,还需通过损失函数对Adapters层同时进行优化。
7.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1至6中任一项所述的方法。