1.一种基于双重注意力精炼网络的听觉注意解码方法,所述双重注意力精炼网络包括第一注意力精炼网络和第二注意力精炼网络;其特征在于,所述听觉注意解码方法包括:获取脑电信号序列数据,通过滑动窗口对所述脑电信号序列数据进行截取,得到多个脑电信号窗口数据;
通过时空特征提取网络对所述脑电信号窗口数据进行特征提取,生成低密度时空特征;
通过所述第一注意力精炼网络对所述低密度时空特征进行精炼处理,生成浅层高密度时空特征,通过所述第二注意力精炼网络所述浅层高密度时空特征进行处理,生成深层高密度时空特征;
根据所述浅层高密度时空特征和所述深层高密度时空特征,生成听觉注意表示;
根据所述听觉注意表示,生成所述脑电信号序列数据的听觉注意解码结果。
2.根据权利要求1所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述浅层高密度时空特征的生成函数为:其中,
所述深层高密度时空特征的生成函数为:
其中,
3.根据权利要求2所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述时空特征提取网络包括时间特征提取网络和空间特征提取网络;
所述低密度时空特征的生成步骤包括:
通过所述时间特征提取网络对所述脑电信号窗口数据进行特征提取,生成时间特征,所述时间特征的生成函数为:其中,
通过空间特征提取网络对所述时间特征进行特征提取,生成所述低密度时空特征,所述低密度时空特征的生成函数为:其中,
4.根据权利要求3所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述听觉注意解码方法在通过所述第一注意力精炼网络对所述低密度时空特征进行精炼处理之前还包括:给所述低密度时空特征添加绝对位置编码。
5.根据权利要求3所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述听觉注意表示通过拼接一维映射后的所述浅层高密度时空特征和所述深层高密度时空特征得到。
6.根据权利要求5所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述听觉注意表示的生成步骤包括:通过自适应平均池化操作和线性层将所述浅层高密度时空特征投影到一维,生成浅层听觉注意表示,所述浅层听觉注意表示的生成函数为:其中,
通过自适应平均池化操作和线性层将所述深层高密度时空特征投影到一维,生成深层听觉注意表示,所述深层听觉注意表示的生成函数为:其中,
拼接所述浅层听觉注意表示和所述深层听觉注意表示,得到所述听觉注意表示。
7.根据权利要求1所述的基于双重注意力精炼网络的听觉注意解码方法,其特征在于,所述脑电信号序列数据的听觉注意解码结果的生成步骤包括:将所述听觉注意表示输入全连接层,根据所述全连接层的输出生成所述脑电信号序列数据的听觉注意解码结果,所述全连接层的分类预测函数为:其中,
8.一种基于双重注意力精炼网络的听觉注意解码装置,所述双重注意力精炼网络包括第一注意力精炼网络和第二注意力精炼网络;其特征在于,所述听觉注意解码装置包括:脑电信号获取模块,用于获取脑电信号序列数据,以及通过滑动窗口对所述脑电信号序列数据进行截取,得到多个脑电信号窗口数据;
时空特征提取模块,用于通过时空特征提取网络对所述脑电信号窗口数据进行特征提取,生成低密度时空特征;
时空特征精炼模块,用于通过所述第一注意力精炼网络对所述低密度时空特征进行精炼处理,生成浅层高密度时空特征,以及通过所述第二注意力精炼网络所述浅层高密度时空特征进行处理,生成深层高密度时空特征;
时空特征融合模块,用于根据所述浅层高密度时空特征和所述深层高密度时空特征,生成听觉注意表示;
解码结果生成模块,用于根据所述听觉注意表示,生成所述脑电信号序列数据的听觉注意解码结果。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于双重注意力精炼网络的听觉注意解码方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于双重注意力精炼网络的听觉注意解码方法的步骤。