欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018104609233
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种扩展短文本词特征向量的分类改进方法,其特征在于:基于Word2vec模型对短文本进行词嵌入扩展以解决其稀疏性,并将词向量转换成概率语义分布来测量语义关联性;针对短文本扩展后的特征向量,利用改进后的特征权重算法并引入语义相关度去处理扩展后的词特征向量;具体包含如下步骤:步骤1,收集已分好类的短文本语料库作为训练集,对训练集做预处理,包括中文版分词,停用词过滤和特征选择,采用中文分词工具结巴分词将短文本收集成分词,之后对停用词进行过滤,通过功能选择保留有代表性的词,进入步骤2;

步骤2,针对短文本进行权重改进算法处理,得到短文本词Wi特征项列表及其加权值((t1,tf’iwf1),(t2,tf’iwf2),...,(tm,tf’iwfm));其中,tf’iwfi是特征项ti的加权值,m是短文本中特征项的数量,进入步骤3;

步骤3,提取语义相关集合,通过Lucene信息检索包对短文本数据建立索引、搜索文档,通过提取和组合,在已训练好的语料集上提取到语境相关概念集构成的Ck(C1,C2,...,Cn)集合列表,进入步骤4;

步骤4,在得到语义的相关集合后,通过Word2vec模型得到特征Wi的矢量表示,表示形式为Wi(dis1,dis2,...,disk);其中,k是矢量的维数,disj是第j维特征Wi的权重,进入步骤

5;

步骤5,对训练好的语料集通过Word2vec工具获得其向量空间模型,提取得到Ck和单词Wi的语境C(Wi)集合Ci,Ck(disk,1,disk,2,...,disk,n)和Ci(disi,1,disi,2,...,disi,n)的向量表示,并用余弦距离测量向量Ck与向量Ci的语义相关度,进入步骤6;

步骤6,基于语料库的Ck扩展步骤1中预处理后得到的特征向量,确定特征词ti是语料中的词;若ti是,则继续下一步;否则,更改为下一个特征词;将相关语义加入到特征空间中,可得到词Ci和相关语境集合Ci((C1,R1),(C2,R2),...,(Cn,Rn))的特征项ti,进入步骤7;

步骤7,使用特征权重定义扩展后的短文本集,并结合短文本特征的重要性和扩展语境之间相关性,通过改进后的权重算法计算扩展项的权重值,用weighti,j来定义扩展项j的权重值,进入步骤8;

步骤8,对短文本的测试集重复以上步骤,可得到测试短文本的向量空间包含原始特征项和上述处理之后扩展的词向量,进入步骤9;

步骤9,对于步骤7得到的短文本训练集扩展后的特征向量集,及步骤8中得到的短文本测试集扩展后的特征向量集,利用KNN分类器做短文本分类,得到测试集短文本的所属标签;

对于分类性能评价指标采用预测准确率Precision、召回率Recall和二者的综合的评价指调和平均数F1来评估实验结果;针对步骤2中的权重改进算法,设置θ的值来权衡扩展的影响,并用分类性能评价指标实验得到最优θ值。

2.根据权利要求1所述的扩展短文本词特征向量的分类改进方法,其特征在于:所述步骤2中针对短文本的权重改进算法定义为TF’-IWF,其定义如下所示:其中,Wij是短文本di中词tj的权重,tfij是di中词tj的词频,idfj是词tj的逆文档频率,N是语料库中文档的总数,nj是训练语料中出现tj的短文本数量;采用对数函数log(底数为

10)对tfij作处理,即log(1+tfij);采用引入方根以缓和差异性较大的问题,并结合实际短文本做实验来确定缓和的程度即方根的次数θ需要,即(log(1+tfij))1/θ。

3.根据权利要求1所述的扩展短文本词特征向量的分类改进方法,其特征在于:所述步骤5中的语义相关度的计算公式如下:经过以上处理,最终得到的所有单词Wi和语境C(Wi)构成的组合集合((C1,R1),(C2,R2),...,(Cn,Rn)),其中Ri(1<=i<=n)是Wi和涉及到的CK的语义相关度。

4.根据权利要求1所述的扩展短文本词特征向量的分类改进方法,其特征在于:所述步骤7中计算扩展项的权重值、扩展项的词j的权重值weighti,j的定义式如下:其中,tf’iwfi是短文本中特征词ti的加权值,Rj是步骤五中所定义的语义相关度的概念;在以上的处理分析可得到短文本的向量空间包含原始特征项和上述处理之后扩展的词向量。

5.根据权利要求1所述的扩展短文本词特征向量的分类改进方法,其特征在于:所述步骤9种分类评价指标的定义分别为:准确率Precision定义为:

召回率Recall定义为:

调和平均数F1是为了平衡准确率和召回率而使用的综合评价指标定义为:

针对实验得到θ=2时,分类结果相较于其他值最优,同时也验证了考虑方根值缓和对数函数削弱词频太过绝对性方面是有意义的。