1.一种融合声音和脑电信号的目标人物语音提取方法,其特征在于,其用于结合目标人物的脑电信号从包含目标人物语音的混合音频信号中提取出目标人物的纯净语音;其包括如下过程:S1:构建一个包含脑电编码器、语音编码器、分离网络和语音解码器的语音分离模型;
其中,所述脑电编码器包括一维卷积层和基于KAN的注意力层,并用于提取输入的脑电信号中包含的脑电特征;
所述语音编码器包括一维卷积层和双向Mamba层,并用于提取输入的混合音频信号中包含的语音特征;
所述分离网络采用交叉注意力模块对提取出的所述语音特征和脑电特征进行特征融合,并对得到的融合特征进行解析得到目标人物语音的特征掩码;
所述语音解码器利用所述特征掩码对所述语音特征进行掩蔽处理得到掩蔽语音,然后通过反卷积模块从掩蔽语音中重建出目标人物的纯净语音;
S2:获取大量时域同步的目标人物的语音信号、脑电信号和混合音频信号;将关联的混合音频信号和脑电信号作为样本信息,语音信号作为标签信息,得到所需的样本数据集;
S3:将尺度不变信号失真比SI-SDR作为损失函数L
S4:将同步采集的目标人物的脑电信号和混合音频信号输入到完成训练的语音分离模型中,由语音分离模型输出重建后的目标人物的纯净语音。
2.如权利要求1所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:步骤S1中,所述注意力层中依次包括1个多头注意力模块,1个前Dropout 层,1个前层归一化层,3个KAN层,1个后Dropout层和1个后层归一化层;
其中,所述前Dropout 层的输出和多头注意力模块的输入进行特征拼接后,作为前层归一化层的输入;所述后Dropout 层的输出和所述前层归一化层的输出进行特征拼接后作为后层归一化层的输入。
3.如权利要求1所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:步骤S1中,在所述双向Mamba层中,经过卷积后的混合音频信号分为两路,其中一路直接经过多个Mamba模块处理;另外一路进行信号倒序处理后也经过多个Mamba模块处理;最后将两个分支中输出的特征信息进行拼接,得到提取出的语音特征。
4.如权利要求3所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于,所述Mamba模块的数据处理过程如下:输入的特征信息进入Mamba模块后分为两路,其中一路依次经过线性层和SiLU激活层处理;另一路依次经过线性层、一维卷积层、SiLU激活层、状态空间模型SSM和线性层处理;最后对两路中输出的特征向量相乘得到输出特征。
5.如权利要求1所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:所述分离网络中包括1个层归一化层,8个前深度卷积层,1个交叉注意力模块,16个后深度卷积层,1个PReLU激活层和1个一维卷积层;所述语音特征经过层归一化层和前深度卷积层处理后,与所述脑电特征共同输入到交叉注意力模块中得到融合特征,融合特征依次经过后深度卷积层、PReLU激活层和一维卷积层处理,得到所需的特征掩码。
6.如权利要求5所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:所述交叉注意力模块包括脑电特征处理和语音特征处理的两个分支,并由多层的交叉注意单元和归一化层组成;每层交叉注意单元在两个支路之间进行跳跃连接和组归一化;将左右分支的语音特征和脑电特征逐层叠加,最后与原始语音特征和脑电特征进行拼接后经一维卷积处理,进而得到所需的融合特征。
7.如权利要求5所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:所述语音分离模型中一维卷积层和反卷积层的卷积核大小为32,步长为8。
8.如权利要求1所述的融合声音和脑电信号的目标人物语音提取方法,其特征在于:步骤S2中,所述脑电信号的采样率统一设置为128Hz;
步骤S3中,SI-SDR的表达式为:
上式中,
9.一种目标人物语音提取系统,其特征在于,其用于实现根据目标人物的脑电信号和混合音频信号,提取出混合音频信号中包含的目标人物的纯净语音;所述目标人物语音提取系统中包括:信号接收模块,其用于获取包含时间戳信息的目标人物的混合音频信号和脑电信号,并对二者进行时间轴对齐;
预处理模块,其用于对接收到的脑电信号进行降噪和重采样,滤除干扰信息,并将脑电信号的采样率设置为128Hz;以及语音重建模块,其采用如权利要求1-8中任意一项所述的融合声音和脑电信号的目标人物语音提取方法中完成训练的语音分离模型;所述语音分离模型用于根据输入的目标人物的脑电信号和混合音频信号,重建并输出目标人员的纯净语音。
10.一种目标人物语音提取设备,其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,创建出如权利要求9所述的目标人物语音提取系统,并用于实现根据输入的目标人物的脑电信号和混合音频信号,输出混合音频信号中包含的目标人物的纯净语音。