1.基于预训练融合音频特征的文本标点恢复方法,其特征在于:所述方法的具体步骤如下:Step1、收集包含对应语音的带有完整高质量标点符号的英文文本作为训练语料和测试语料;
Step2、对数据集的文本进行预处理,构造“文本‑标签”平行数据对;
Step3、对音频进行预处理,构造符合训练要求的音频文件;
Step4、在步骤Step2的基础上构建字母粒度的词表,选取特征空间;
Step5、对文本、音频在时域空间上进行毫秒级的帧对齐,获取文本中每个单词对应的时间片段;
Step6、使用预训练语言模型对文本进行特征提取、使用滤波器对对应的音频片段进行特征提取,压缩音频特征长度为1,并在特征空间上与文本特征进行拼接;
Step7、训练分类器,并在测试语料上进行标点恢复实验验证。
2.根据权利要求1所述的基于预训练融合音频特征的文本标点恢复方法,其特征在于:所述Step2中,对开源语音识别数据集进行了文本预处理,包括:去除特殊专有词汇,将所有字母更换为小写字母,词量统计,标点符号数量占比统计;重映射特殊的标点符号:引号、冒号、分号替换为逗号,叹号替换为句号,删除其余所有的标点符号;还原缩写单词为原单词;
将文本与标点符号分离,构造单词序列‑标签序列平行语料。
3.根据权利要求1所述的基于预训练融合音频特征的文本标点恢复方法,其特征在于:所述Step3中,借助于计算机自动文本处理工具sox对音频文件进行重采样为比特率为
16kHz的wav格式文件。
4.根据权利要求1所述的基于预训练融合音频特征的文本标点恢复方法,其特征在于:所述Step5中,借助于aeneas方法,对音频与其对应的文本进行毫秒级别的对齐,得到文本中每个单词对应的音频时间片段,用于方便后续处理中对于该单词对应的音频特征提取。
5.根据权利要求1所述的基于预训练融合音频特征的文本标点恢复方法,其特征在于:所述Step6中,使用预训练语言模型BERT的分词器将文本转为词表id,对于词表中未登录词汇使用
其中:X为输入的文本序列{X|X=x1,...,xi};此时序列中每个特征矩阵长度不同,对faudio的每个序列片段采用均值或方差的方式将长度压缩为1,得到长度为1、维度分别为80和512的音频特征矩阵:faudio=feature_extractor(A)f′audio=feature_conpress(faudio)其中:A为经过对齐的对应输入文本序列X的音频帧片段{A|A=audio1,...,audioi};此时,文本特征ftext与音频特征f′audio只在词嵌入维度上不同,其余维度保持相同,在词嵌入维度上进行拼接得到混合特征 融合后词嵌入维度等于两种特征词嵌入维度的和:
6.根据权利要求5所述的基于预训练融合音频特征的文本标点恢复方法,其特征在于:在得到的混合特征的特征空间中,构造并训练一个文本分类器,对原始文本{X|x=x1,…,xi}的每个单词推测一个标点符号并作为输出。