1.一种基于混合噪声生成模型的语音训练加噪系统,其特征在于,包括:输入模块,用于获取噪声环境简易描述信息和待增强的干净语音数据;
噪声环境增强模块,与所述输入模块连接,用于将噪声环境简易描述信息转化为带时序特征的结构化噪声事件序列;
语音噪声增强模块,与所述噪声环境增强模块连接,用于根据所述噪声事件序列生成多源混合噪声,并将所述多源混合噪声按预设规则添加至所述干净语音数据,得到带噪语音数据;
输出模块,与所述语音噪声增强模块连接,用于输出所述带噪语音数据,供语音模型训练使用;
所述根据所述噪声事件序列生成多源混合噪声,并将所述多源混合噪声按预设规则添加至所述干净语音数据,得到带噪语音数据,包括:构建多源感知的混合噪声生成模型;
对所述多源感知的混合噪声生成模型进行预训练和联合训练;
其中,构建多源感知的混合噪声生成模型的步骤,包括:获取所述噪声事件序列,将任一噪声事件元素转化为高维空间的嵌入特征向量;
通过文本特征编码器,对嵌入特征向量进行深层处理,输出文本语义特征;
通过多头交叉注意力模块实现文本语义与音频表征对齐,预测每个时间帧内的低维特征;
利用音频特征解码器接收所述低维特征,并进行逐步升维,得到升维后的特征;
利用神经网络声码器,将升维后的特征恢复自然的相位信息。
2.根据权利要求1所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,所述噪声环境增强模块,包括:时序噪声提示框架单元,与所述输入模块进行数据交互,用于构建三段式提示词框架,为大语言模型文本增强单元提供生成指引;
大语言模型文本增强单元,与所述时序噪声提示框架单元进行数据交互,用于基于所述三段式提示词框架对噪声环境简易描述进行文本增强,输出高丰富度噪声环境描述和结构化噪声事件序列。
3.根据权利要求1所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,所述语音噪声增强模块,包括:多源感知混合噪声生成单元,与所述噪声环境增强模块进行数据交互,用于根据所述噪声环境增强模块中大语言模型文本增强单元输出的噪声事件序列,通过含交叉注意力机制的扩散,生成多源混合的复杂噪声;
信噪比均方根噪声添加单元,与所述输入模块进行数据交互,用于随机采样一个整数信噪比,并按该信噪比向待增强的干净语音数据中添加指定的噪声,得到带噪语音数据。
4.根据权利要求1所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,对所述多源感知的混合噪声生成模型进行预训练的步骤,包括:利用快速傅里叶变换将噪声事件序列时域信号转化为频域的真实频谱;
通过8组由扩张卷积模块、前馈层及降维模块组成的音频特征编码器对所述真实频谱进行处理,将真实频谱压缩为低维音频特征;
通过8层连续的反卷积模块构建音频特征解码器,对所述低维音频特征进行升维,预测频谱结构,得到与原始输入对标的预测频谱;
构建基于互信息最大化的损失函数,通过构建的对比矩阵进行自监督学习,预训练的损失函数表示为:;
其中,为匹配频谱对的距离总和;为非匹配频谱对的距离总和。
5.根据权利要求1所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,对所述多源感知的混合噪声生成模型进行联合训练的步骤,包括:对原始波形信号进行标准化处理,通过分帧、加窗及快速傅里叶变换获取真实频谱;
通过8组扩张卷积模块对真实频谱进行深层扫描,以压缩数据维度的同时,能够跨越时间步捕获长程声学依赖,从而将真实频谱转化为低维音频特征向量;
通过多头交叉注意力模块将输入的噪声事件序列与音频空间进行关联;并通过条件扩散模块以文本语义为引导,通过学习逆向降噪过程,预测出对应时间帧的目标音频特征;
构建基于欧氏距离的损失函数,并最小化该损失函数,确保生成的音频特征在数值分布上与真实环境噪声保持一致;
所述损失函数为:
;
其中,表示第n个预测音频特征,表示由音频特征编码器提取的第n个真实音频特征;N为音频特征的个数。
6.根据权利要求1所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,所述通过多头交叉注意力模块实现文本语义与音频表征对齐,包括:通过多头交叉注意力模块实现所述文本特征与音频表征的精准对齐,并以对齐后的文本特征为引导,通过条件扩散模块的迭代降噪方式,预测各时间帧内的高精度低维音频特征分布;
所述多头交叉注意力模块中,单个注意力头的获取方式为:;
其中,i为注意力头序号;Qi为当前文本特征与第i个注意力头的 Q 矩阵计算得到的查询;Ki、Vi分别为全局文本特征与第i个注意力头的 K、V 矩阵计算得到的键和值;
所述多头交叉注意力模块的整体表示为:;
其中,h为注意力头总数;W为权重矩阵;Norm()为归一化操作;X为当前文本特征;
前馈层模块表示为:
。
7.根据权利要求6所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,所述通过条件扩散模块的迭代降噪方式,预测各时间帧内的高精度低维音频特征分布,包括:所述条件扩散模块的逆向过程:
;
其中,是由参数为的神经网络学习到的逆向概率分布;是时间步为的特征;是当前文本特征;是高斯分布;是均值,表示为:;
其中,表示在第t步加噪时扣除噪声后的清晰信号;, 为方差。
8.一种基于混合噪声生成模型的语音训练加噪方法,基于权利要求1-7任一项所述的基于混合噪声生成模型的语音训练加噪系统,其特征在于,包括:获取噪声环境简易描述信息和待增强的干净语音数据;
将噪声环境简易描述信息转化为带时序特征的结构化噪声事件序列;
根据所述噪声事件序列生成多源混合噪声,并将所述多源混合噪声按预设规则添加至所述干净语音数据,得到带噪语音数据;
输出所述带噪语音数据,供语音模型训练使用;
所述将噪声环境简易描述信息转化为带时序特征的结构化噪声事件序列,包括:构建设定、参考、目标三段式的时序噪声提示框架;其中,利用所述设定定义模型任务边界并要求输出包含文本描述和噪声事件序列;利用所述参考提供少样本学习案例;利用所述目标指定具体噪声场景生成任务;
将所述噪声环境简易描述信息输入至基于所述时序噪声提示框架的大语言模型中,通过所述大语言模型完成文本增强,输出高丰富度噪声环境描述和所述结构化噪声事件序列。
9.根据权利要求8所述的基于混合噪声生成模型的语音训练加噪方法,其特征在于,根据所述噪声事件序列生成多源混合噪声,并将所述多源混合噪声按预设规则添加至所述干净语音数据,得到带噪语音数据,包括:对比多源混合噪声和待增强的干净语音数据,如果待增强的干净语音数据比多源混合噪声长,则用静音填充多源混合噪声,反之则用静音填充待增强的干净语音数据;
将多源混合噪声和待增强的干净语音数据分别进行归一化和调整响度,并分别获取均方根的值,得到噪声均方根列表和语音均方根列表;
根据语音均方根列表获取语音波形信号;并根据随机采样的整数信噪比和噪声均方根列表,将多源混合噪声调整到期望响度所需的缩放因子,利用缩放因子得到新的噪声波形信号;
在每个采样点上,叠加噪声波形信号和语音波形信号,实现噪声添加,得到带噪语音数据。