1.一种英语文本单词使用错误的纠正方法,其特征是:包括英语文本预处理模块、目标英语单词匹配模块、英语单词上下文语义分析模块、英语单词使用错误纠正模块组成的纠正模型,其纠正方法包括如下步骤:(1)英语文本预处理模块输入需要检查英语单词使用错误的英语文本,对输入的英语文本进行分词分句、英语单词小写化处理;对分词分句、单词小写化处理后的英语文本进行词性标注,生成英语文本词汇表;以英语句子为切分标准,编号英语单词位置并分条存放英语文本词汇表,输出处理后的英语文本词汇表;
(2)目标英语单词匹配模块输入英语文本预处理模块处理后的英语文本词汇表;输入英语单词使用错误易混淆集合,将英语文本词汇表中的英语单词,与英语单词使用错误易混淆集合的英语单词进行匹配,记录匹配的英语单词及其对应位置编号,标记匹配的英语单词为可能发生英语单词使用错误的目标英语单词;提取目标英语单词在英语文本中对应编号位置的左相邻和右相邻的上下文英语单词各一个,分别与目标英语单词组成两个二元单词对;输入二元统计模型,将上一步的两个二元单词对,在二元统计模型中分别进行最长公共子序列匹配,得到满足二元统计模型的英语单词及其词频;提取二元统计模型匹配得到的英语单词中与目标英语单词相似的英语单词及其词频,正则化匹配的最长公共子序列长度和英语单词及其词频;根据正则化匹配的最长公共子序列长度和英语单词及其词频,计算匹配的英语单词权重,以权重大小排序二元统计模型匹配的英语单词;根据权重排序选取二元统计模型中与目标英语单词相匹配的英语单词,标记该英语单词为二元统计模型的匹配候选英语单词;结合单词使用错误易混淆集合和二元统计模型匹配的英语单词,去掉重复的英语单词得到匹配的候选英语单词,输出匹配的候选英语单词;
(3)英语单词上下文语义分析模块输入目标英语单词匹配模块处理后的匹配的候选英语单词,把候选英语单词与目标英语单词放入候选英语单词列表;输入英语单词的共现词向量模型,将上一步得到的候选英语单词列表中的英语单词,与英语单词的共现词向量模型匹配,得到候选英语单词列表中英语单词的词向量;依据候选英语单词列表中英语单词与目标英语单词的词性标注,选取出目标英语单词在英语文本中相应位置的上下文英语单词;将目标英语单词的上下文英语单词与英语单词的共现词向量模型匹配,得到上下文英语单词的词向量;利用英语单词的词向量,计算候选英语单词列表中每个英语单词与上下文英语单词的语义相关值,输出英语单词上下文语义分析结果;
(4)英语单词使用错误纠正模块输入英语单词上下文语义分析结果,根据候选英语单词列表中的英语单词上下文语义相关排序,来判断上下文相关最高的英语单词是否为目标英语单词;根据候选英语单词列表中上下文语义相关最高的英语单词是否为目标英语单词,来判断英语文本中的目标英语单词是否发生英语单词使用错误,如果目标英语单词的上下文语义相关值在候选英语单词列表中不是最高值时,则该目标英语单词为英语单词使用错误,输出候选英语单词列表中上下文语义相关值最高的英语单词作为英语单词使用错误的纠正建议。
2.根据权利要求1所述的纠正方法,其特征是:所述的英语文本预处理模块处理步骤如下:P201开始;
P202读取需要检查单词使用错误的英语文本;
P203对输入的英语文本进行分词,并输出英语文本的分词结果;
P204对英语文本的分词结果进行单词小写化,并输出英语文本的单词小写化结果;
P205对英语文本的分词结果进行词性标注,并输出英语文本的词性标注结果;
P206统计英语文本的单词总数,输出单词总数统计结果;
P207依据单词总数统计结果,依序编号英语文本中单词的位置,并输出英语文本的单词编号结果;
P208依据分词结果、单词小写化结果、词性标注结果、单词编号结果,生成英语文本词汇表;
P209结束。
3.根据权利要求1所述的纠正方法,其特征是:所述的目标英语单词匹配模块的计算公式定义如下:(1)正则化目标单词与匹配单词最长公共子序列长度计算公式在公式(1)中,目标单词长度是指目标单词的英语字母总个数,匹配单词长度是指匹配单词的英语字母总个数,二元单词对长度是指二元单词对中两个单词的英语字母总个数;
(2)正则化二元单词对词频计算公式
在公式(2)中,二元单词对词频是指二元单词对中两个单词共同出现的次数;n表示目标单词的当前二元单词对在二元统计模型中匹配的二元单词对个数,i表示匹配单词的二元单词对的序号;
(3)匹配单词权重计算公式
匹配单词权重=
(1-λ)×正则化目标单词与匹配单词最长公共子序列长度+λ×正则化二元单词对词频(3)在公式(3)中,λ是平衡匹配单词最长公共子序列长度和二元单词对词频的比例因子,正则化目标单词与匹配单词最长公共子序列长度由上述的公式(1)计算得出,正则化二元单词对词频由上述的公式(2)计算得出。
4.根据权利要求1或3所述的纠正方法,其特征是:所述的目标英语单词匹配模块处理步骤如下:P301开始;
P302读取预处理的英语文本词汇表;
P303读取单词使用错误易混淆集合;
P304依序将英语文本词汇表中的单词匹配单词使用错误易混淆集合中的单词;
P305判断单词是否存在于单词使用错误易混淆集合中,是则执行P306,否则执行P327;
P306提取匹配单词使用错误易混淆集合的英语文本词汇表中单词的位置编号;
P307标记该单词为可能发生单词使用错误的目标单词;
P308读取二元统计模型;
P309提取目标单词在英语文本中左相邻编号位置的单词;
P310目标单词与左相邻单词组成目标单词的左二元单词对;
P311在二元统计模型中匹配左二元单词对的左相邻单词,获得包含左相邻单词的匹配词组;
P312依据包含左相邻单词的二元统计模型的匹配词组与目标单词的字符组合,得到符合条件的所有匹配单词中,目标单词的匹配单词与目标单词的最长公共子序列长度;
P313提取左二元单词对匹配二元统计模型得到的符合条件的所有匹配单词中,目标单词的匹配单词及其词频;
P314提取目标单词在英语文本中右相邻编号位置的单词;
P315目标单词与右相邻单词组成目标单词的右二元单词对;
P316在二元统计模型中匹配右二元单词对的右相邻单词,获得包含右相邻单词的匹配单词;
P317依据包含右相邻单词的二元统计模型的匹配单词与目标单词的字符组合,得到符合条件的所有匹配单词中,目标单词的匹配单词与目标单词的最长公共子序列长度;
P318提取右二元单词对匹配二元统计模型得到的符合条件的所有匹配单词中,目标单词的匹配单词及其词频;
P319汇总左二元单词对和右二元单词对匹配二元统计模型得到的匹配单词及其词频,并标记为匹配单词及其词频;
P320依次读取匹配二元统计模型得到的匹配单词及其词频;
P321根据公式(1)计算出匹配单词的正则化目标单词与匹配单词最长公共子序列长度;
P322根据公式(2)计算出匹配单词的正则化二元单词对词频;
P323根据公式(3)计算出匹配单词权重;
P324判断匹配单词是否为当前目标单词的最后一个匹配单词,是则执行P325,否则执行P320;
P325依据匹配单词权重对所有当前目标单词的匹配单词进行从大到小排序;
P326选取权重排序靠前的匹配单词作为当前目标单词的候选单词;
P327判断当前目标单词是否为英语文本词汇表的最后一个单词,是则执行P328,否则执行P304;
P328汇总所有目标单词匹配二元统计模型得到的候选单词;
P329将目标单词匹配的单词使用错误易混淆集合中的单词和匹配二元统计模型得到的候选单词合并;
P330去除P329步中合并的单词中的重复单词,标记非重复单词为候选单词;
P331输出得到的候选单词;
P332结束。
5.根据权利要求1所述的纠正方法,其特征是:所述的英语单词上下文语义分析模块的计算公式定义如下:(1)单词语义相关值计算公式
(2)单词上下文语义相关值计算公式
在公式(5)中,单词语义相关值由上述的公式(4)计算得出,n表示选取单词的上下文单词的窗口大小。
6.根据权利要求1或5所述的纠正方法,其特征是:所述的英语单词上下文语义分析模块处理步骤如下:P401开始;
P402读取目标英语单词匹配模块处理的候选单词;
P403将目标单词与候选单词合并;
P404去掉重复的单词,标记为相应目标单词所在英语文本中对应编号位置的候选单词列表;
P405读取英语单词的共现词向量模型;
P406依据目标单词编号位置依次读取相应候选单词列表;
P407将候选单词列表中的每个单词匹配英语单词的共现词向量模型,得到列表中每个单词的词向量;
P408汇总当前候选单词列表中单词的词向量;
P409对候选单词列表中除目标单词以外的所有单词进行词性标注;
P410判断候选单词列表中的单词是否与目标单词词性相同,是则执行P411,否则执行P412;
P411选取当前目标单词对应编号位置的左相邻3个单词和右相邻3个单词作为上下文单词;
P412选取当前目标单词对应编号位置的左相邻2个单词和右相邻2个单词作为上下文单词;
P413将上下文单词与英语单词的共现词向量模型匹配,得到上下文单词的词向量;
P414依次读取上下文单词的词向量;
P415根据候选单词列表中的候选单词的词向量和上下文单词的词向量,根据公式(4)计算出候选单词列表中单词与上下文单词的单词语义相关值;
P416判断是否是当前候选单词的最后一个上下文单词,是则执行P417,否则执行P414;
P417根据公式(5)计算出候选单词列表中单词上下文语义相关值;
P418根据候选单词列表中单词上下文语义相关值,标记候选单词列表中单词的上下文语义相关性;
P419汇总该候选单词列表中单词的上下文语义相关性;
P420判断是否是最后一个候选单词列表,是则执行P421,否则执行P406;
P421输出候选单词列表中单词的上下文语义相关性结果;
P422结束。
7.根据权利要求1所述的纠正方法,其特征是:所述的英语单词使用错误纠正模块处理步骤如下:P501开始;
P502读取英语单词上下文语义分析模块的候选单词列表中单词的上下文语义相关性结果;
P503依据目标单词的标号位置提取候选单词列表中单词的上下文语义相关性结果;
P504依据单词上下文语义相关性,从高到低对候选单词列表中的单词进行排序;
P505判断是否目标单词的单词语义相关性最高,是则执行P506,否则执行P507;
P506标记当前目标单词不存在单词使用错误;
P507标记当前目标单词发生了单词使用错误;
P508汇总当前目标单词的候选单词列表中单词上下文语义相关性最高的单词,作为单词使用错误的纠正建议;
P509判断是否是最后一个候选单词列表,是则执行P510,否则执行P503;
P510输出英语文本中发生单词使用错误的单词及相应的单词使用错误纠正建议;
P511结束。