1.一种英语文本中句子语法错误自动纠正方法,其特征是:包括一个由顺序连接的句子上下文词向量表示模块、句子最佳候选句子推荐模块、句子语法错误纠正生成模块组成的纠正模型,其包括如下步骤:(1)句子上下文词向量表示模块的处理流程是:第一,读入待处理英语文本,将其切分成句子并进行单词词性标注;
第二,根据单词词性标注进行句法依存关系分析和单词依赖关系分析,得到待处理英语文本的句法关系树和单词依赖关系树;
第三,根据待处理英语文本的句法关系树和单词依赖关系树,对待处理英语文本中句子进行单词的向量化处理,得到句子中单词的词向量;
第四,初始化搜索权重矩阵、标记权重矩阵和结果权重矩阵,计算句子中单词的搜索向量、标记向量和结果向量;
第五,计算句子中单词注意力权重、句间注意力向量和上下文词向量,最后输出待处理英语文本中句子上下文词向量表示;
(2)句子最佳候选句子推荐模块的处理流程是:第一,读取待处理英语文本中一个句子的上下文词向量表示,采用奇异值分解对句子上下文词向量进行降维处理;
第二,将降维后的句子上下文词向量与单词的词向量进行合并;
第三,将合并后的词向量进行数值缩放和归一化处理;
第四,计算英语单词词典中所有单词的下一个单词出现概率,并把概率最高的前5个单词作为候选单词,分别基于每一个候选单词进行推理,得到基于该单词的新候选单词;
第五,把候选单词构成的句子中概率最大的句子作为候选句子,对选取的候选句子概率进行累加,并判断候选句子的累加概率是否达到设定的阈值,如果是则停止选取新的候选句子,并输出选取的所有候选句子;如果否则继续选取概率最大的句子添加到候选句子集中;
第六,判断英语文本中句子是否处理完,如果是则输出英语文本中所有句子的候选句子集,否则返回第二步继续处理英语文本中剩余的句子,直至处理完待处理英语文本中的所有句子为止;
(3)句子语法错误纠正生成模块的处理流程是:第一,读取待处理英语文本中句子的全部候选句子,并选取概率最高的候选句子作为语法纠错的结果;
第二,统计待处理英语文本中出现的语法错误总数,计算待处理英语文本的语法纠错得分,并根据待处理英语文本的语法纠错得分输出相应的语法纠错建议。
2.根据权利要求1所述纠正方法,其特征是:所述的句子上下文词向量表示模块的计算公式定义如下:
(1)搜索向量、标记向量和结果向量的计算公式搜索向量j=搜索权重矩阵×英语文本中单词j (1)标记向量j=标记权重矩阵×英语文本中单词j (2)结果向量j=结果权重矩阵×英语文本中单词j (3)在公式(1)、(2)、(3)中,j为英语文本中单词顺序的编号;
(2)单词注意力权重的计算公式在公式(4)中,i为英语文本中第i个单词的编号,搜索向量、标记向量与结果向量由公式(1)(2)(3)计算得到;
(3)句间注意力向量的计算公式在公式(5)中,i为英语文本中第i个单词的编号,j为英语文本中单词顺序的编号,N为英语文本中单词的总数;
(4)上下文词向量的计算公式在公式(6)中,i为英语文本中第i个单词的编号,j为英语文本中单词顺序的编号,N为英语文本中单词的总数。
3.根据权利要求2所述的纠正方法,其特征是:所述的句子上下文词向量表示模块处理流程如下:
P201开始;
P202读入待处理英语文本;
P203对待处理英语文本进行分句、分词和单词词性标注处理;
P204对待处理英语文本进行句法依存关系分析和单词依赖关系分析,得到待处理英语文本的句法关系树和单词依赖关系树;
P205依次读取待处理英语文本中每个句子;
P206根据待处理英语文本的句法关系树和单词依赖关系树,对每个句子进行单词的词向量化处理,得到每个句子中单词的词向量;
P207初始化搜索权重矩阵、标记权重矩阵和结果权重矩阵的数值;
P208采用公式(1)、(2)、(3)计算每个句子中单词的搜索向量、标记向量和结果向量;
P209采用公式(4)计算每个句子中单词的单词注意力权重,采用公式(5)计算每个句子的句间注意力向量;
P210更新每个句子的搜索权重矩阵、标记权重矩阵、结果权重矩阵、单词注意力权重和句间注意力向量的数值;
P211根据每个句子中单词注意力权重的更新数值,对每个句子的句间注意力向量进行更新,并采用公式(6)计算出每个句子的上下文词向量;
P212输出待处理英语文本中句子的上下文词向量表示;
P213结束。
4.根据权利要求1所述的纠正方法,其特征是:所述的句子最佳候选句子推荐模块处理流程如下:
P301开始;
P302读取待处理英语文本中一个句子的上下文词向量;
P303采用奇异值分解对句子的上下文词向量进行降维处理;
P304将降维后的句子上下文词向量与单词的词向量进行合并;
P305将合并后的词向量进行数值缩放和归一化处理;
P306计算英语单词词典中所有单词的下一个单词出现概率,并把概率最高的前5个单词作为候选单词;
P307分别基于每一个候选单词进行推理,得到基于该单词的新候选单词;
P308把候选单词构成的句子中概率最大的句子作为候选句子,并对选取的候选句子概率进行累加;
P309判断候选句子的累加概率是否达到设定的阈值,是则执行P310,否则执行P308;
P310停止选取新的候选句子,并输出选取的所有候选句子;
P311判断待处理英语文本中句子是否处理完,是则执行P312,否则执行P302;
P312输出待处理英语文本中所有句子的候选句子集;
P313结束。
5.根据权利要求1所述的纠正方法,其特征是:所述句子语法错误纠正生成模块的计算公式定义如下:
(1)英语文本语法纠错得分的计算公式
6.根据权利要求5所述的纠正方法,其特征是:所述的句子语法错误纠正生成模块处理流程如下:
P401开始;
P402读取待处理英语文本的所有句子的候选句子,并选取概率最高的候选句子作为语法纠错的结果;
P403统计待处理英语文本中的语法错误总数;
P404采用公式(7)计算待处理英语文本的语法纠错得分,并生成对应的语法纠错建议;
P405结束。