1.一种基于词向量的句子相似度比较方法,其特征在于,包括如下步骤:步骤一、训练得到词向量模型,所述词向量模型包含词和词的向量;
步骤二、对于待测试的句子对,分别生成句子的句法成分树结构,每个句子对应的句法成分树结构的叶子节点都为句中的词;
步骤三、基于句子的句子成分树结构,构建句子向量树结构;
步骤四、将句子向量树结构输入计算,即得到二个句子向量树结构的相似度得分。
2.如权利要求1所述的基于词向量的句子相似度比较方法,其特征在于,所述步骤一中,使用维基百科文本作为训练语料,使用word2vec工具训练词向量,得到词向量模型。
3.如权利要求1所述的基于词向量的句子相似度比较方法,其特征在于,所述步骤二中,使用斯坦福句法分析器,生成句子的句法成分树结构;若所述句子为中文,则预先进行分词处理。
4.如权利要求1所述的基于词向量的句子相似度比较方法,其特征在于,所述步骤三,包括如下步骤:
3.1)基于句子成分树结构,构建叶子节点集;
3.2)遍历叶子节点集中的每个词,到词向量模型中搜索词所对应的词向量,构建叶子节点词向量集;
3.3)遍历句子成分树结构的每一个叶子节点,每个叶子节点都包含在叶子节点集中,按照叶子节点集到叶子节点词向量集的一一对应关系,将叶子节点替换成叶子节点集中所对应的词向量。
5.如权利要求1所述的基于词向量的句子相似度比较方法,其特征在于,所述步骤四中,包括如下步骤:
4.1)对于步骤三中构建的两个句子向量树结构T1,T2,首先生成句子向量树结构的子树集F1={N1,N2,…,Ni},F2={M1,M2,…,Mj},其中Ni表示T1生成的最后一个子树的根节点,i表示T1生成子树的个数,Mj代表T2生成的最后一个子树的根节点,j代表T2生成子树的个数;
4.2)句子成分向量树相似度 其中Nl表示F1中任
意一个元素,其中Mk表示F2中任意一个元素;Δ(Nl,Mk)表示Nl和Mk的相似度;这个式子表示将F1和F2中所有元素两两成对对比,计算值为Δ(Nl,Mk),然后累加。
6.如权利要求5所述的基于词向量的句子相似度比较方法,其特征在于,所述Δ(Nl,Mk)的计算方法如下:
4.3)如果Nl和Mk是不相同的并且不同时为叶子节点,则Δ(Ml,Mk)=0;
4.4)如果Nl和Mk同时为叶子节点,则Δ(Nl,Mk)=CosiNe(Vec1,Vec2),Vec1表示叶子节点Nl对应的词向量,Vec2表示叶子节点Mk对应的词向量;CosiNe()表示对向量求余弦相似度;
4.5)如果Nl和Mk都为非叶子节点且相同,则
其中,μ表示树的高度的衰减因子,λ表示子序列的长度的衰减因子; 表示以Nl为根节点的孩子节点按照字典序排列而成的字符序列, 表示以Mk为根节点的孩子节点按照字典序排列而成的字符序列; 和 这二个字符序列长度的最小值其中 表示 字符序列的长度, 表示 字符序列的长度,
表示取 和 这二个字符序列长度的最小值;函数Δp表示求 和
在长度为p的公共子序列上的相似度,p表示字符序列生成子串长度的取值,若一个字符序列长度为h,则p的取值范围为1~h;
4.6)Δp函数计算过程如下:设 和 s1a表示以Nl为根节点的子树的孩子节点按顺序组成的字符序列,a表示以Nl为根节点的子树的最后一个孩子节点,s1表示以Nl为根节点的子树的孩子节点按字典顺序排列后除去最后一个孩子节点a之后组成的字符序列;s2b表示以Mk为根节点的子树的孩子节点按顺序组成的字符序列;b表示以Mk为根节点的子树的最后一个孩子节点,s2表示以M1为根节点的子树的孩子节点按字典顺序排列后除去最后一个孩子节点b之后组成的字符序列;则 具体计算如下: 其中|s1|表示字
符序列s1的长度,|s2|表示字符序列s2的长度,t表示字符序列s1生成子串序列取值长度,取值范围为1~|s1|,r表示字符序列s2生成子串序列取值长度,取值范围为1~|s2|,s1[1:t]表示从s1字符序列取下标从1到t位置的序列组成的字符子序列,s2[1:r]表示从s2字符序列取下标从1到r位置的序列组成的字符子序列;Δ(a,b)表示单个节点的相似度,Δ(a,b)的算法中分为以下几种情况:
4.6.1.若节点a和节点b相同,则Δ(a,b)=1;
4.6.2.若节点a和节点b不相同且至少有一个为非叶子节点,则Δ(a,b)=0;
4.6.3.若节点a和节点b不相同且二者都是叶子节点,则Δ(a,b)=Cosine(Veca,Vecb),其中Veca表示叶子节点a对应的词向量,Vecb表示叶子节点b对应的词向量;
4.6.4.最终的句子相似度计算公式为:
其中,Score表示T1和T2归一化之后的最终句子相似度,SPTK(T1,T2)表示T1和T2的句子成分向量树相似度;SPTK(T1,T1)表示T1和T1的句子成分向量树相似度;SPTK(T2,T2)表示T2和T2的句子成分向量树相似度。