1.一种基于LDA的主题词嵌入消歧方法,其特征在于:Step1:基于大规模无词义标注的Wiki语料库,利用online LDA算法方式训练出主题模型;
Step2:基于主题模型,将Wiki语料库的每篇文档归类到各个主题下分别形成各种的主题文档集,然后对每个主题文档集用Word2Vec训练出每个主题下的词向量,即为主题词向量;
Step3:基于小规模有词义标注的SemCor语料库,利用主题模型和主题词向量计算出上下文向量;
所述Step3具体为:
Step3.1:根据主题模型,由式(1)计算出歧义词上下文的主题分布:其中,C为歧义词上下文,p(t|wj)为单词wj的主题分布;
Step3.2:根据得到的上下文主题分布p(t|C)和主题词向量 由式(2)计算出上下文中每个词的向量表示:其中,K为预设的主题数量, 表示主题t下单词w的向量,t泛指某个主题,ti表示第i个主题;
Step3.3:获得上下文中每个词的向量后,由式(3)计算出上下文的向量表示:其中,d表示单词wj和歧义词的距离,α表示衰减因子,此处取Step4:利用Stanford CoreNLP工具提取传统语义特征:词性标签、本地搭配和周边词;
将之前获取的上下文向量作为特征,与传统语义特征串联,利用SVM训练出消歧模型进行词义消歧。
2.根据权利要求1所述的基于LDA的主题词嵌入消歧方法,其特征在于所述Step1具体为:Step1.1:对于Wiki语料库做分词处理,将每篇文档中非单词的符号去掉进行分词,转换为一篇文档一行的形式;
Step1.2:之后利用WordNet对语料库进行词形还原;
Step1.3:然后利用预设的停用词集合去掉语料库中所有停用词,生成新的Wiki语料库;
Step1.4:最后基于Wiki语料库,利用online LDA训练出主题模型,包括文档‑主题概率分布p(ti|d)和词‑主题概率分布p(tj|w),其中,d表示当前文档,w表示当前单词,ti表示第i个主题。
3.根据权利要求2所述的基于LDA的主题词嵌入消歧方法,其特征在于所述Step2具体为:Step2.1:根据主题模型的文档‑主题概率分布p(ti|d)获取每篇文档的主题分布,将每篇文档归类到概率最大的一个主题下,进而为每个主题生成各自的主题文档集Dt;
Step2.2:基于每个主题文档集,利用Word2Vec训练出每个文档集中每个单词的词向量,即为主题词向量 其表示主题t下单词w的向量表示。
4.一种基于LDA的主题词嵌入消歧系统,其特征在于包括:主题模型训练模块,用于主题模型的构建,对大规模无标注的Wiki语料库做分词、词形还原和去停用词后,利用LDA训练出主题模型;
主题词向量生成模块,用于生成主题词向量,利用主题模型计算出Wiki语料库每篇文档的主题分布并据此归类到主题文档集,之后利用Word2Vec训练出每个主题下每个单词的向量表示;
上下文向量生成模块,用于生成上下文向量基于小规模有词义标注的SemCor语料库,利用主题模型和主题词向量计算出上下文向量;
有监督词义消歧模块,用于生成消歧模型,将上下文向量和其他传统语义特征串联,利用SVM训练并测试消歧模型。