1.一种基于脑电信号的听觉注意检测方法,用于在多说话人场景中检测出听者所感兴趣的说话者,其特征在于,所述听觉注意检测方法包括以下步骤:
步骤一,对多说话人场景的实时脑电信号进行滑动窗处理,获得N个时间段的脑电信号数据;
步骤二,将每个时间段的脑电信号数据划分成五个频带,并提取多频带微分熵特征,获得带有多频带微分熵特征的脑电信号数据;
步骤三,使用训练好的图自蒸馏模型对带有多频带微分熵特征的脑电信号数据进行处理,得到检测结果;
所述图自蒸馏模型包括四层图卷积网络,每层图卷积网络后面还连接有全连接分类器;其中,训练好的图自蒸馏模型中的四层图卷积网络还加载有最优邻接矩阵;
步骤三中,通过加载有最优邻接矩阵的四层图卷积网络提取带有多频带微分熵特征的脑电信号数据的空间特征;通过第四层的全连接分类器预测听者注意空间左/右的概率;
若听者注意空间左的概率大于听者注意空间右的概率,则听者所感兴趣的说话者处于听者左侧;若听者注意空间左的概率小于听者注意空间右的概率,则听者所感兴趣的说话者处于听者右侧。
2.根据权利要求1所述的基于脑电信号的听觉注意检测方法,其特征在于,步骤一中,对多说话人场景的实时脑电信号进行预处理以提高信号质量;
依据预处理后的实时脑电信号的频率,利用重叠为50%的滑动窗将预处理后的实时脑电信号按照N个时间段进行切割,得到N个时间段的脑电信号数据。
3.根据权利要求1所述的基于脑电信号的听觉注意检测方法,其特征在于,步骤二中,将第n个时间段的脑电信号数据作为第n个时间窗口;n∈[1,N];
对于第n个时间窗口,从第i个导联的EEG信号中提取出其在第j个频带内的功率谱密度函数PSDi,j(n,f),f表示频率;
基于PSDi,j(n,f)计算微分熵DEi,j(n);
再将DEi,j(n)沿时间窗口方向取平均,得到第i个导联在第j个频带内的多频带微分熵特征Fi,j。
4.根据权利要求3所述的基于脑电信号的听觉注意检测方法,其特征在于,式中,Kj是用于计算微分熵的区间数;pi,j,k(n)是第i个导联在第j个频带内第k个区间的概率密度函数;fj,k-1和fj,k分别是第k个区间的下限和上限;fl是在第k个区间内时间窗口处于l时的频率;
Lj是用于计算pi,j,k(n)的窗口长度;x是二维矩阵,其第一维为导联、第二维为每个导联五个频带的微分熵特征。
5.根据权利要求4所述的基于脑电信号的听觉注意检测方法,其特征在于,所述图自蒸馏模型的四层图卷积网络为经K阶Chebyshev多项式改良过后的图卷积。
6.根据权利要求5所述的基于脑电信号的听觉注意检测方法,其特征在于,步骤三中:将带有多频带微分熵特征的脑电信号数据构建成图G;
通过加载有最优邻接矩阵的四层图卷积网络对图G中的x进行空间特征提取,并得到平衡后的信号x4;
通过第四层的全连接分类器对x4进行处理得到输出p4,预测听者注意空间左/右的概率。
7.根据权利要求1所述的基于脑电信号的听觉注意检测方法,其特征在于,所述图自蒸馏模型的训练方法包括:获取多说话人场景的样本脑电信号,并处理得到样本数据集;其中,所述样本数据集包括:带有多频带微分熵特征的样本脑电信号数据以及样本真实标签;
使用四层图卷积网络提取带有多频带微分熵特征的样本脑电信号数据中的空间特征;其中,最深层图卷积提取出全局空间特征,前三层图卷积提取出局部空间特征;
通过图自蒸馏来平衡全局及局部空间特征之间的差异;
通过第四层全连接分类器预测听者注意空间左/右的概率,以得到检测结果,并与样本真实标签进行比对,以验证模型准确率;
经过多次迭代,得到准确率最高的图自蒸馏模型、保存其最优邻接矩阵,并作为训练好的图自蒸馏模型。
8.根据权利要求7所述的基于脑电信号的听觉注意检测方法,其特征在于,平衡差异的方法包括:通过交叉熵计算最深层图卷积经过全连接分类器后的输出与样本真实标签之间的交叉熵损失loss1;
通过L2损失函数计算前三层图卷积与最深层图卷积的输出特征的特征损失loss2;
通过KL散度计算前三层全连接分类器和最深层全连接分类器的输出损失loss3;
将loss1、loss2、loss3按照权重进行线性组合得到最终损失loss,并反向传播以更新邻接矩阵。
9.基于脑电信号的听觉注意检测系统,其特征在于,其使用了如权利要求1-8中任一所述的基于脑电信号的听觉注意检测方法;
所述基于脑电信号的听觉注意检测系统包括:
脑电信号数据处理模块,其用于对多说话人场景的实时脑电信号进行滑动窗处理,获得N个时间段的脑电信号数据;
多频带微分熵特征提取模块,其用于将每个时间段的脑电信号数据划分成五个频带,并提取多频带微分熵特征,获得带有多频带微分熵特征的脑电信号数据;
图自蒸馏模块,其用于使用训练好的图自蒸馏模型对带有多频带微分熵特征的脑电信号数据进行处理,得到检测结果。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行如权利要求1-8中任一项所述的基于脑电信号的听觉注意检测方法。