1.一种基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,包括:S1、利用语音编码器将一段混合语音波形以多个时间分辨率分别编码成多尺度的语音特征,包括短、中、长三种尺度;
S2、利用脑电编码器将多通道的脑电信号编码到低维的特征表达,并采用图卷积网络从脑电信号中有效提取脑电的非欧几里得数据,学习到脑电各个通道之间的交互关系,来得到目标说话人信息的特征表征,包括:S201、通过三层图卷积建模多通道脑电特征,将脑电数据中的每一个导联看作是一个节点,动态学习不同通道之间的内在关系,并以N×N的邻接矩阵表示,提取更有区分力的脑电信号特征,提高目标注意力信息的准确度;
S202、用三个残差网络ResNet块集中关注脑电信号中最重要的关于目标说话人的特征并对脑电特征的通道维度进行降采样,其中,脑电信号和语音需要在相同的持续时间内同步被记录,保证两者之间时间上对齐;
S3、利用说话人提取网络分别融合不同尺度的语音特征和脑电特征,并对于每一个尺度下的语音特征估计一个相对应的感受掩码,用于提取目标说话人,最终将三个感受掩码进行拼接得到一个包含多尺度信息的感受掩码,包括:S301、将具有不同时间尺度的语音和脑电特征分别进行融合,融合方法采用卷积多层交叉注意力模块;
S302、分别将融合后的特征送入双路径递归神经网络DPRNN中,估计出不同时间尺度下的目标说话人掩码MS303、将说话人提取网络估计出的三个掩码M
S304、在语音特征X和掩码M之间应用逐元素乘法进行计算,得到掩蔽后的语音特征S4、利用语音解码器将掩蔽后的语音特征恢复成最终的时域波形,包括:S401、语音解码器采用一个相对的反卷积操作,有N个输入通道和1个输出通道,卷积核大小是L
2.根据权利要求1所述的基于多尺度语音-脑电融合的脑控说话人提取方法,其特征在于,步骤S1包括:S101、由三个并行的具有不同滤波器长度的一维卷积和修正线性单元组成语音编码器,将输入的混合语音转换成三种时间尺度的语音特征,每一个卷积都用于不同的时间分辨率,采用多尺度的方法充分覆盖语音的时频信息:X
其中,x是给定的多说话人混合语音信号,一维卷积的输入通道是1,输出通道是N,卷积核大小是L多说话人混合语音信号x包含了目标语音信号s和干扰语音信号b
其中,I表示声学场景中干扰说话人的数量。
3.一种基于多尺度语音-脑电融合的脑控说话人提取系统,其特征在于,包括:多尺寸语音编码器模块,用于将原始混合语音波形转化为具有不同时间分辨率的多尺度语音特征,包括短、中、长三种尺度;
脑电编码器模块,用于将多通道的脑电信号编码到低维的特征表达,采用图卷积网络从脑电试验中有效提取脑电的非欧几里得数据,学习到脑电各个通道之间的交互关系,来得到目标说话人信息的特征表征,包括:S201、通过三层图卷积建模多通道脑电特征,将脑电数据中的每一个导联看作是一个节点,动态学习不同通道之间的内在关系,并以N×N的邻接矩阵表示,提取更有区分力的脑电信号特征,提高目标注意力信息的准确度;
S202、用三个残差网络ResNet块集中关注脑电信号中最重要的关于目标说话人的特征并对脑电特征的通道维度进行降采样,其中,脑电信号和语音需要在相同的持续时间内同步被记录,保证两者之间时间上对齐;
说话人提取网络模块,用于分别融合各个尺度下的语音和脑电的双模态特征,以利用脑电信号和语音中包含的针对目标说话人的共同信息,接着采用DPRNN神经网络生成相对应的掩码来进行说话人提取,使用基于掩蔽的方法过滤掉干扰说话人,包括:S301、将具有不同时间尺度的语音和脑电特征分别进行融合,融合方法采用卷积多层交叉注意力模块;
S302、分别将融合后的特征送入双路径递归神经网络DPRNN中,估计出不同时间尺度下的目标说话人掩码MS303、将说话人提取网络估计出的三个掩码M
S304、在语音特征X和掩码M之间应用逐元素乘法进行计算,得到掩蔽后的语音特征语音解码器模块,用于将掩蔽后的语音特征恢复成最终的时域波形,包括:S401、语音解码器采用一个相对的反卷积操作,有N个输入通道和1个输出通道,卷积核大小是L
4.根据权利要求3所述的基于多尺度语音-脑电融合的脑控说话人提取系统,其特征在于,系统训练方法如下:获取多说话人场景下的样本脑电信号和样本语音信号,且两者时间上数据对齐,并进行数据预处理和数据划分得到设定比例下的训练集、验证集和测试集,在各个数据集之间没有任何重叠;
所有模块在单个神经架构中进行训练,经过多次迭代不断更新整体网络模型的参数和权重,得到训练过程中验证集损失值最小的脑控说话人提取模型并进行保存;
使用保存的效果最优的脑控说话人提取模型在测试集上进行测试,采用三种客观评估指标来衡量使用所提方法去提取出的语音的质量,评价指标包括:尺度不变信号失真比SI-SDR、短时客观可懂度STOI和感知语音质量评价PESQ。
5.一种基于多尺度语音-脑电融合的脑控说话人提取装置,其上存储有应用程序,其特征在于,该程序在运行时用于执行根据权利要求1或2所述的基于多尺度语音-脑电融合的脑控说话人提取方法的各步骤。