1.一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,包括以下步骤:
步骤A、将文本分为若干子句,对子句进行分词,同时进行词性标注得到词汇集合;
步骤B、对词汇集合进行预处理,具体如下:
扫描每个子句中的词汇,对相连词汇进行扫描组合得到词汇组合;
根据停用词表,将虚词和以虚词为开头或结尾的词汇组合进行过滤,得到初步候选集D1;
步骤C、将初步候选集D1输入到训练好的Word2Vec模型中,得到词向量表;计算词向量表中每个词向量与其余词向量的语义距离,采用该语义距离,对初步候选集D1进行kmeans聚类;
步骤D、聚类后得到多个类别,删除类别中词汇和词汇组合数少于设定值的类别,然后选取每个类别中靠近聚类中心的多个词汇和词汇组合作为关键词的二次候选集D2,利用二次候选集D2中每个词汇和词汇组合的词向量计算词汇和词汇组合在每个子句中的相似共现,根据存在相似共现的子句的数量占总子句数量之比得到二次候选集D2在初步候选集D1中的词共现率;
步骤E、对于二次候选集D2中的词汇和词汇组合,不同词汇和词汇组合长度赋予不同的权值,根据词共现率、词汇长度得到权重,根据权重排序,排名前m个权重所对应的词汇和词汇组合即为最终的关键词,权重的总个数为M,m为整数,0<(m÷M)<20%。
2.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,步骤A中,根据截断符号将文本分为若干子句;分词和词性标注采用的是ICTCLAS分词系统对子句进行处理得到词汇集合。
3.根据权利要求2所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,截断符号包括句号、问号、逗号和数字。
4.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,虚词包括副词、介词、连词、助词、叹词和拟声词,步骤B中最大的词汇组合的长度N是预设的。
5.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,步骤B中,词汇组合是指在一句话中,以一个词汇为基准,将该词汇前后相连的n个词汇进行组合,组合出所有的词汇组合,n小于等于N。
6.根据权利要求4所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,2
7.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,所述步骤C中计算词向量表中每个词向量与其余词向量的语义距离,具体如下:采用欧式距离、余弦距离、线性平移距离以及TD-IDF线性平移距离这四种距离计算方法分别计算词向量表中每个词向量与其余词向量的距离,然后对这四种距离计算结果取算数平均得到算数平均语义距离,该算数平均语义距离即为语义距离。
8.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,步骤C中的Word2Vec模型是通过如下过程得到的:训练Word2Vec模型,训练模型的语料来自于维基百科,对该语料进行分词,词性标注,词汇集合预处理,最终得到所需的Word2Vec模型。
9.根据权利要求1所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,利用二次候选集D2中每个词汇和词汇组合的词向量计算词汇和词汇组合在每个子句中的相似共现,根据存在相似共现的子句的数量占总子句数量之比得到二次候选集D2在初步候选集D1中的词共现率;具体如下:以初步候选集D1中的每一子句为一个单位,利用二次候选集D2中每个词汇和词汇组合的词向量计算二次候选集D2中每个词汇和词汇组合与每个子句中词汇和词汇组合的语义距离,根据语义距离对二次候选集D2中每个词汇和词汇组合计算词汇和词汇组合与每个子句中的词汇和词汇组合在每个子句中的相似共现,根据存在相似共现的子句的数量占总子句数量之比得到二次候选集D2在初步候选集D1中的词共现率CoO。
10.根据权利要求9所述的一种基于Word2Vec与词共现相结合的文本关键词抽取方法,其特征在于,所述词共现率是指词汇和汇组合与文本中其他词汇和词汇组合的相似共现所占文中所有语义环境的比例,语义环境是一句话或是一个段落。