欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105621996
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述方法的具体步骤为:

Step1、预处理:从越南语的各类新闻和媒体网站爬取了文本语料,对文本语料进行修正处理,利用标注方式来扩展越南语数据集;

Step2、预训练:改进基于编辑对齐的匹配算法,检测获取原始序列中非标准词的编辑距离;同时,使用扩充好的标注数据对文本正则化模型中的指示器进行预训练,计算出原序列和目标序列之间的编辑对齐向量;

Step3、解码和微调:在步骤Step2的基础上,使用非自回归架构对预训练模型进行微调,修改指示器中编辑对齐向量的位置向量,实现原始序列到目标序列的长度调整,进而使得文本正则化模型的预测只包括非标准词对应的正则化词;

Step4、后处理:在步骤Step3的基础上,将文本正则化模型预测出的非标准词对应的正则化词插入到原始序列的不可变词中,得到完整的目标预测序列;

所述Step1中包括:

对原始文本即需要正则化的文本序列和目标文本即正则化后的文本序列的非标准词向量进行标注,对越南语文本正则化文本标注规范如下:文本序列中的需要正则化的字符使用‘_’来标记,每次标记单个词向量,即采用单词粒度的越南语文本正则化标签分割的方式标记数据;若一个句子中含有多个需要正则化的词,按非标准词的数量将其扩充为多个序列并分别进行标注;

所述Step2中,改进了原FastCorret模型中的编辑对齐算法,通过整体匹配原始序列与目标序列中的相同词向量实现序列对齐,基于规则提取出原始序列中替换词和插入词的位置坐标,使用‘-1’表示替换,‘-2’表示插入,计算出新的编辑对齐向量,使得模型能够更加精准的识别到特征向量的精准变化;

所述Step3中,获取编辑距离具体包括如下:

编辑距离是通过计算将源句子转换为目标句子所需的最小编辑操作步数,编辑距离衡量两个句子的不相似度;其中有效的编辑操作包括插入、删除和替换;给定源句子S=(s1,s2,...,sM)和目标句子T=(t1,t2,...,tN),其中M和N是源句子和目标句子的长度,通过递归计算前缀句子的编辑距离来获取S和T之间的编辑距离。

2.根据权利要求1的所述的基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述Step1的具体步骤如下:Step1.1、对于爬取得到的越南语原始文本,删除多余的空格字符、ASCII编码、表情符号,HTML实体以及不可读的单词;

Step1.2、使用基于正则表达式的标记器来根据标点符号将大长度的句子分割成字符长度在20-150之间的句子,然后将所得到的所有文本语料进行修正工作;

Step1.3、最后,将处理过的文本嵌入到向量空间中作为未标注的数据集,结合越南语的文本正则化特点对已得到的数据集进行标注工作。

3.根据权利要求1的所述的基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述Step3中,在形成的预训练模型基础上,通过修改指示器中的编辑对齐向量的位置向量,将所有未更改的标记向量‘1’替换为删除的标记向量‘0’;同时,重新构建了解码阶段的目标集词典,通过减小预测词候选集的大小进一步降低模型的预测难度。

4.根据权利要求1的所述的基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述Step3中,在进行原始序列到目标序列的长度调整时包括如下内容:通过分析源句子与目标句子之间的编辑距离中的插入、删除和替换操作,获得经过编辑后对应于每个源标记的目标标记数量;采用了非自回归编码器到解码器结构和指示器来解决编码器和解码器之间长度不匹配的问题,使用获得的目标标记数量来训练指示器,以预测更正后每个源标记的长度,并调整每个源标记,将调整后的源标记送到解码器中进行并行生成。

5.根据权利要求1的所述的基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述Step3中,结合越南语中非标准词的正则化特点,出现替换或匹配操作时,将源标记与目标句子中被替换或未更改的标记相互对齐;使用原始数据集和目标数据集单独计算出所有参与训练数据的标记向量,后续作为参数传入到模型训练过程中,为指示器的训练提供关键信息。

6.根据权利要求1的所述的基于编辑对齐算法的非自回归解码越南语文本正则化方法,其特征在于,所述Step4中,找到目标序列中非标准词对应正则化词的位置,将推理结果插入到目标序列中,最终得到的完整序列有效避免了文本正则化模型将不可变词预测错误的情况。