1.一种基于相邻词汇特征的词义相似度计算方法,其特征在于,包括如下步骤:Step1:将例句与待匹配句通过最大公共字串算法来提取例词采用最大公共子串算法获得例句与待匹配句中的公共子串数组,将公共子串数组所在的例句中的公共子串去除颜色标签,剩余带颜色标签的字符即为例词;
Step2:对例句中除了例词之外的字符进行分词,对例词进行词性标注采用HMM模型对除带颜色标签的例词之外的字符进行分词处理,采用Viterbi算法对带颜色标签的例词进行词性标注;
Step3:根据分词后的例句提取例词和选项词的特征向量
先将带颜色标记的例词周围的分词转化为词向量进行特征提取,其次在语料库中使用互信息量分别计算例词和选项词与周围分词的关联度,之后使用关联度进行加权将周围分词的词向量组成新的向量作为例词与选项词的特征向量;
Step4:计算选项与例词之间的相似度分数,从而得出最优选项词将结合例词的词性与特征向量、选项词的词性与特征向量计算选项词的相似度分数,相似度分数最高的即为最优选项词。
2.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法,其特征在于,所述例句与待匹配句长度一致,且除了标记与例词外,其余词汇、标点符号一模一样。
3.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法,其特征在于,所述Step1具体步骤如下:Step1.1:获取例句text1与待匹配句text2,text1={a1,a2,...,an},a1,a2,...,an分别表示text1中的n个字符,text2={b1,b2,...,[mask],...,bn},b1,b2,...,bn分别表示text2中的n个字符;
Step1.2:对例句text1和待匹配句text2进行例词识别;
令A=text1,B=text2,并给text1打上颜色标签;采用动态规划方法求解A和B中的最大公共子串,将求解到的A和B的最大公共子串存放入数组L中,L={l1,...,lp},p≤n;根据最大公共子串数组L去掉text1中公共子串的颜色标签,剩余带颜色标签的字符即为例词cf。
4.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法,其特征在于,所述Step2具体步骤如下:将text1中除了例词cf的字符使用HMM模型进行分词处理,得到分词后的文本C={c1,...,cf,...,ct},t≤n‑1,再采用Viterbi算法对例词cf进行词性标注得到其词性Zf。
5.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法,其特征在于,所述Step3具体步骤如下:Step3.1:运用word2vec模型得到除例词cf之外其它分词的词向量矩阵E=[e1,...,ei,...,et];
Step3.2:在语料库中通过下式计算例词cf和选项词oj,与例词cf之外其它分词的关联度:其中g为例词cf和选项词oj,ct为除例词cf之外其它分词,P(g,ct)为语料库中g,ct同时出现的概率,P(g),P(ct)为g,ct独立出现的概率,I(g;cp)为g,ct的互信息量;
Step3.3:在计算完例词cf,选项词oj与其他分词的关联度后,根据关联度计算每个分词词向量ei对于例词cf,选项词oj词向量的权重w(g,i)Step3.4:将每个分词词向量ei乘上它对应的权重w(g,i)即为例词cf,选项词oj从该分词中提取的特征向量Eg,Eg包括例词cf的特征向量Ef以及选项词oj的特征向量Eoj;
6.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法,其特征在于,所述Step4具体步骤如下:Step4.1:比较例词词性Zf与每个选项词的词性Zoj,令sc为词性比较结果,可以得到:Step4.2:计算例词cf与每个选项词oj的相似度分数sj:T
sj=scj·(Ef·Eoj)
Step4.3:比较例词cf与每个选项词oj之间的分数sj,分数最高的选项词即为最优选项词。
7.一种基于相邻词汇特征的词义相似度计算装置,其特征在于,包含以下模块:例词提取模块,用于将例句与待匹配句通过最大公共字串算法来提取例词;
例句处理模块,用于对例句中除了例词之外的词汇进行分词,对例词进行词性标注;
特征提取模块,用于提取例词和选项词的特征数组;
选项处理模块,用于计算选项词与例词之间的相似度分数,从而得出最优选项词。