欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021115576748
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于BiLSTM的老挝语文本正则化方法,其特征在于:所述方法的具体步骤如下:Step1、老挝语文本正则化数据预处理:将老挝语文本数据进行数据清洗、编码转换、语料标注、长度比过滤、分词;

Step2、基于BiLSTM神经网络的文本正则化处理:采用序列标注的思想,将BiLSTM作为编码器,结合不可读词的上下文文本向量,并将线性层和softmax作为解码器,预测不可读词可能的标签,并在BiLSTM后接自注意力机制加深序列词间关注度,使模型更好的理解上下文语义预测标签;

所述Step2的具体步骤为:

Step2.1、首先将文本正则化任务当作序列标注任务完成,在BiLSTM中,文本序列经过词嵌入表示为: 为分词编码后的字符,h=12…l,l为输入序列句子长度,n为词嵌入维度;前向隐藏层和后向隐藏层的输出维度均为n维,定义为和 BiLSTM输出表示为:

Step2.2、BiLSTM后接自注意力机制,使用自注意力机制关注序列词间的深层关系,使模型更好的理解输入序列的上下文语义信息;将自注意力机制的输出送入线性层,该线性层输出维度为正则化标签数,经过softmax计算每个标签的得分;

所述Step2.2的具体步骤为:

Step2.2.1、用attn(q,K,V)表示自注意力机制,q,K,V分别表示query,key,value,将BiLSTM的输出分别作为q,K,V;下式中,ki∈K和vi∈V,|q|=|K|=|V|;

自注意力机制原理如下:

其中WK,Wq和WV为随机初始化权重,并在迭代中学习更新,Z为注意力头个数;BiLSTM输

2n

出序列的隐态表征表示为 其中x∈R ,自注意力机制输出

2n

其中c∈R ;

Step2.2.2、自注意力机制最后计算得出结合句子文本向量表征向量c,该序列表征向量c作为编码器的输出,送入到线性层分类,然后通过softmax层计算每个分类得分。

2.根据权利要求1所述的基于BiLSTM的老挝语文本正则化方法,其特征在于:所述Step1的具体步骤如下:Step1.1、老挝语文本数据清洗:去除老挝语文本中的乱码字符,规范标点符号表示方法;

Step1.2、老挝语编码转换:老挝语Lao字体统一编码转换变成Unicode字体;

Step1.3、句子长度过滤:保留老挝语句子长度小于250字符的句子,用于提升模型训练效率;

Step1.4、语料标注:对老挝语文本正则化语料标注,具体包括:文本序列中的需要正则化的字符被使用“▁”标记,每次只标记单个字符,标记后的文本序列被分为多个序列,每个序列中只有一个字符被“▁”标记,标记后的字符由专业的语言专家标注对应老挝语文本,每个标注后的老挝语字符进行分类,并对每个标注后的老挝语字符进行分类,所有标注后的老挝语文本构成标签词典,标签词典大小为112;

Step1.5、老挝语文本分词:对标记后的老挝语文本单个字符进行分词处理,分词前去掉被“▁”标记的字符。