欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022101324731
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,包括以下步骤:

步骤1、对原始文本数据集进行预处理工作,包括分词、去躁、向量化;

步骤2、利用词频‑逆向文件频率和信息增益对词与主题的关联程度进行权重量化计算;

步骤3、根据权重对词进行降序排序,选取排序中TopK的词作为与主题关联程度高的关键词,并构建关键词集合;

步骤4、将步骤3构建的关键词集合结合外部语料库进行近义词扩展;

步骤5、根据关键词集合进行联想扩展,分为自关联联想扩展和外部库联想扩展两种方式,并生成候选关联词集合;然后对候选关联词集合重新进行词频‑逆向文件频率与信息增益的权重计算,筛选TopK的词向量组成最终的关联词集合;将关联词集合加入到原始文本数据集中,完成短文本的特征扩展。

2.根据权利要求1所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤1中,预处理的具体操作如下:步骤1.1、利用中文分词工具进行分词工作;

步骤1.2、利用词表去除文本中的停用词及无意义标注;

步骤1.3、对分词去噪后的词汇进行向量化工作,预处理后一个包含m个句子,每句有n个词的数据集将被表示为一个矩阵Qmn:

3.根据权利要求2所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤2中,词向量的主题关联度权重计算如下:步骤2.1、在预处理结束后的文本数据集上,文本中词向量与主题是否相关的概率分布为P(X=xi)=pi,i=1,2,其中xi表示与主题是否相关,有x1、x2两种取值,分别表示与主题相关和与主题不相关,pi即表示对应的概率;根据信息熵的定义,文本集合X的熵为:文本中的特征Y和文本集合X的联合分布为:P(X=xi,Y=yi)=pij,i=

1,2;j=1,2,...,m

式中,m表示特征数,xi表示与主题是否相关,有x1、x2两种取值,分别表示与主题相关和与主题不相关,yi表示第j个特征,pij即表示对应概率;

每个特征的条件熵为:

H(X)表示文本集合的熵,即对文本X分类的不确定性,H(Y|X)则表示在文本集合X中,特征Y对分类的不准确性;

信息增益IG(X,Y)为:IG(X,Y)=H(X)‑H(X,Y);

步骤2.2、首先计算词频TF:

式中,ni,d表示特征fi在文档d中出现的次数,∑knk,d表示文档d中所有特征出现的次数;

再计算逆文档频率:

式中,N表示文档总数,ni表示出现特征fi的文档数;那么TF‑IDF的值即为词频与逆文档频率的乘积:

TF‑IDF=TF(fi)×IDF(fi)对词频进行归一化操作,

然后在TF‑IDF基础上引入信息增益得最后的词重要性量化公式:式中,IG表示信息增益;

步骤2.3、对原始数据集进行k次简单随机抽样,构造k个数据集,数据集分别记为D1,D2,D3,....,Dk;对k个数据集都使用该方法构造决策树,将会产生k个决策树;

之后通过给特征添加噪声对比对分类结果的影响,对于i个数据集Di,第j个特征的主题关联度量为Iij=|Mij‑Nij|,其中Mij表示在第i个数据集中对第j个特征添加噪声前的分类正样本的个数,Nij表示在第i个数据集中对第j个特征添加噪声后的分类正确的个数;对于每棵树都可以得到某个特征的主题关联度量,因此对其取平均值得最后的主题关联度量为其中Iji表示第i个特征在第j个树上的主题关联度;

步骤2.4、将步骤2.2所得TF‑IDF‑IG值与步骤2.3所得I进行乘运算,得最后的主题关联度,计算公式如下:

4.根据权利要求3所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤2.3中,构造决策树的具体方法如下:(1)对于任意一个数据集D,从特征集合中随机抽取n个特征,计算每个特征对于数据集D的信息增益;

(2)选择信息增益最大的特征,记为Figmax,根据其可能的l个取值将数据集D划分为l个子集SubD1,SubD2,SubD3,....,SubDl,将子集中实例数最多的类进行标记,构建子节点Nodei,并返回Nodei;

(3)对于第k个子节点,以SubD为训练集,以F‑{Figmax}为特征集,重复以上操作,得到子树Nodej,返回Nodej;若所有特征都成为节点时,构造完成,返回Node。

5.根据权利要求4所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤3中,构建关键词集合的步骤如下:步骤3.1、根据词的主题关联度值对词向量进行降序排序,设置阈值k>1,筛选排序前k的词向量组成关键词集合;

步骤3.2、为防止筛选后的关键词集合中特征过度稀疏,借助外部语料库对关键词集合进行近义词扩展;假设现有关键词集合为K={f1,f2,...,fn},遍历该集合K,近义词库中查询该关键词的近义词,加入到临时集合T={}中,直到关键词集合K中关键词遍历结束,将T与K取并集,得到扩充后的关键词集合K',即K'=K∪T,K'作为最终的关键词集合。

6.根据权利要求5所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤4中,根据关键词集合K'进行关键词扩展的操作如下:步骤4.1、假设现有关键词集合为K={f1,f2,...,fn},遍历该集合K,分别到外部库中查询转换后加入到临时集合T1={}中;若是当前词W是网络用语或者是专业术语,则将该词转换为对应的书面解释S,然后对S进行分词、去噪、向量化操作得S'={w1,w2,...,wn},并利用主题关联度计算公式计算各词向量的权重及降序排序,设置阈值θ,筛选前θ个加入到临时关联词集合T1中;若当前词W是其他类词汇,查找其对应的同义近义词或者别名库,将对应的词C加入到临时关联词集合T1中;

步骤4.2、进行词联想网络的构建,然后利用构建好的词联想网络,进行关键词的扩展。

7.根据权利要求6所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤4.2中,假设输入:文本特征集合F=(f1,f2,...,fn),关联度阈值k1,输出:词联想网络G=(V,W,E);词联想网络的构建过程如下:(1)初始化节点集合V,权重集合W以及边集合E;

(2)遍历特征集合F中任意节点fi与fj,根据rel(fi,fj)计算关联度;

(3)若关联度大于阈值k1,则两个节点关联度较高,将fi与fj将入集合V;采用似然估计的方法计算节点fi在节点fj条件下的条件概率Pi=P(fi|P(fj)),并结合关联度,得到fj到fi的关联度,同理得到fi到fj的关联度,加入到权重集合V及边集合E;

(4)若小于阈值k1,则转到步骤(2);

(5)节点遍历结束,算法结束。

8.根据权利要求7所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤4.2中,假设联想网络G=(V,W,E),关键词集合K={f1,f2,f3,...,fn},阈值k2;输出为扩展后的关联词集合T2;关键词的扩展如下:(1)遍历关键词集合K,获取词向量WD;

(2)遍历联想网络G的节点集合V,获取节点词向量WV;

(3)计算词向量WD与词向量WV的关联度rel(WD,WV);

(4)判断关联度是否大于阈值k2,若大于k2则将其加入到关联词集合T2,否则转步骤2;

(5)直到关键词集合K及联想网络G的节点集合V都遍历结束。

9.根据权利要求8所述一种基于主题关联度与关键词联想的短文本特征扩展方法,其特征在于,所述步骤5中,将步骤4.1和步骤4.2所得的关联词集合T1和T2取并集,得关联词集合R,即R=T1∪T2;再次利用主题关联度计算关联词集合中各个词的主题关联度,并降序排序,假设阈值为σ,筛选前σ个关联词作为最终关联词加入到原始文本数据集中,短文本的特征扩展完成。