欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022102846103
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合多粒度特征的越南语语法错误纠正方法,其特征在于,所述方法的具体步骤如下:Step1、越南语文本数据获取并对其进行预处理;

Step2、对输入的越南语句子进行词嵌入表示,并且融合额外的特征向量;对输入的越南语句子进行语法错误检测;

Step3、根据检测结果利用mBERT掩码语言模型对错误位置的词进行纠正,得到数个候选句子;利用N‑gram语言模型对候选句子打分,选出得分最高的纠正候选句子输出。

2.根据权利要求1所述的融合多粒度特征的越南语语法错误纠正方法,其特征在于,所述Step1的具体步骤如下:Step1.1、利用爬虫程序从维基百科词条目录以及越南的各大新闻网站爬取文本数据,得到越南语原始语料;

Step1.2、对爬取到的语料进行数据清洗,先将得到的文本进行断句,得到152万个句子,然后删除包含有特殊字符和非越南语字符的句子,再筛选出句子长度不超过40音节的句子和音节重复率低于90%的句子,最终得到语法正确的越南语句子108万句;

Step1.3、利用开源工具对Step1.2预处理后的句子进行分词和词性标注,根据分词和词性标注结果构建越南语词性词典,根据越南语拼写和发音规则构建音节混淆集词典;

Step1.4、设计并实现一个基于不同错误类型的错误数据生成算法,利用该算法和Step1.3得到的音节混淆集词典对语法正确的句子进行造错,人工构造了规模为20.8万的“错误‑纠正”平行句对,并对错误位置进行标注,得到错误句子中每个词对应的标签。

3.根据权利要求1所述的融合多粒度特征的越南语语法错误纠正方法,其特征在于,所述Step2的具体步骤如下:Step2.1、对于输入的包含语法错误的句子X=(x1,...,xi,...,xn),利用多语言BERT模型mBERT对输入句子的每个音节xi进行词嵌入初始化,得到编码后的隐状态表示:其中, 表示mBERT编码器最后一层的隐状态输出,L表示隐层网络层数;

Step2.2、对输入的每个音节xi进行字符特征嵌入,首先对xi(c1,c2,....,cM)进行字符拆分,得到当前音节的每个字符cj,然后对每个字符cj进行One‑hot编码,得到音节xi对应的字符特征向量Ci:其中,M表示音节的字符总数,DC表示字符特征维度大小,fk(x)表示第k维的One‑hot编码;

Step2.3、对输入的每个音节xi进行音节特征嵌入,音节特征包括每个音节对应的词性和它的声调,先判断输入音节的词性标签pi和声调标签ti,然后分别根据词性和声调标签进行One‑hot编码,得到词性特征向量Pi和声调特征向量Ti,最后将Pi和Ti进行拼接操作得到音节特征向量Si:Si=Concat(Pi,Ti)            (4)

其中,fk(x)表示第k维的one‑hot编码,DP表示词性特征维度,DT表示声调特征维度;

Step2.4、对输入的每个音节xi进行句子特征嵌入,句子特征包括短语成分特征和相邻音节匹配度特征,用一个矩阵 表示第i个音节对应的短语成分特征矩阵,其中,ds表示成分标注集大小,dm表示短语成分特征维度,第k维的权重参数从一个服从上的均匀分布进行随机采样,采样样本数为dm;

Step2.5、使用相邻音节匹配度ASM来表示输入句子中两个相邻音节之间的语法正确程度,首先使用点互信息PMI来表示相邻音节之间的相关性:其中,P(s1,s2)表示两个音节s1和s2在语料库中同时出现的概率,P(s)表示某个音节s在语料库中单独出现的概率;

Step2.6、用一个矩阵 表示第i个音节的相邻音节匹配度特征,其中,dm表示特征维度,矩阵中的每个权重参数用相邻音节匹配度ASM进行初始化:Step2.7、将第i个音节的短语成分特征向量 和相邻音节匹配度特征向量 进行拼接,得到句子特征向量Gi,然后再将字符特征向量Ci、音节特征向量Si和句子特征向量Gi按照最大维度填充(Pad)后再拼接,得到音节xi对应的特征向量F(xi):F(xi)=Pad_Concat(Ci,Si,Gi)       (8)Step2.8、得到每个音节xi的特征嵌入F(xi)后,再将其和mBERT编码器的最后一层隐状态输出 进行拼接,得到最终的隐状态表示Xi,然后将送入一个softmax层去计算每个音节xi的预测标签概率li:li=softmax(WOXi+bO)      (10)

其中,Wo是softmax层的矩阵权重参数,bo是偏置项权重参数。

4.根据权利要求1所述的融合多粒度特征的越南语语法错误纠正方法,其特征在于,所述Step3的具体步骤如下:Step3.1、根据Step2中得到的预测标签序列L=(l1,l2,...,ln)进行语法错误纠正,首先遍历检测结果标签序列中的每个标签li,如果li为“O”(无错标记),则纠正句子中对应位置处的音节保持不变,否则将对应位置处的音节替换为“MASK”标记;

Step3.2、利用mBERT掩码语言模型对“MASK”标记位置的词进行重新预测,给出5个候选纠正项{a1,a2,a3,a4,a5};

Step3.3、原输入句子X的“MASK”标记处分别用5个纠正候选项进行替换,得到对应的5个纠正候选句子{Y1,Y2,Y3,Y4,Y5};

Step3.4、利用N‑gram语言模型对得到的5个纠正候选句子进行打分:其中,S表示输入的候选句子,P(x)表示利用N‑gram语言模型计算出的某个音节x在语料库中出现的概率;

Step3.5、选择5个候选句子中得分最高的作为最终的纠正句子输出:

Yout=max{score(Y1),score(Y2),score(Y3),score(Y4),score(Y5)}     (13)。

5.融合多粒度特征的越南语语法错误纠正装置,其特征在于,包括用于执行如权利要求1‑4任一项权利要求所述方法的模块。