欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019100719633
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于FCBF的自定义特征维数文本特征选择算法,其特征在于:包括步骤:步骤一,设向量化文本矩阵为X,文本类别矩阵为C={C1,C2...Cj},Cj是训练文本Dj的类别,j=1,2...V,V是文本类别总个数,根据文本矩阵X初始化所有特征词集合T={t1,t2...tm},为特征词与类别相关性符合要求的特征词集合Slist={}赋值,为经过算法选择后的特征词集合Slist赋初值,tm为第m个特征词;

步骤二,利用FCBF算法对特征词集合Slist中的特征词进行筛选,得到初始特征词集合Sbest;

步骤三,若初始特征词集合Sbest的维度小于设定的维度时,选择特征词与类别的相关性值排名靠前的特征去补足初始特征词集合Sbest直至其维度等于设定的特征维度;若初始特征词集合Sbest的维度大于或等于设定的特征维度时,则初始特征词集合Sbest中即获取到自定义特征维数的特征词;

所述步骤一中,具体为:

为Slist赋值:对tk∈T,计算文本第k个特征词tk与文本类别C的相关性Corr(tk,C),当Corr(tk,C)≥thresh时添加tk进Slist,T为所有特征词的集合,thresh是阈值,k=1~m,m为特征词总个数;

将Slist按照特征词tk与文本类别的相关性Corr(tk,C)值从大到小排序,tp=getFirst(Slist),Sbest={tp};特征词tp为排序后的首个参数,将tp赋值给Sbest。

2.根据权利要求1所述的一种基于FCBF的自定义特征维数文本特征选择算法,其特征是:所述步骤二,具体步骤为:

1)利用特征词变量tq依次读取Slist里的参数,如果tq不为空则计算tq与tp的相关性Corr(tp,tq),如果tq为空则本循环算法结束;

2)比较相关性Corr(tp,tq)与的Corr(tq,C)大小,若前者大于或等于后者,则将tq从Slist中去除,否则将其加入Sbest;

3)如果Sbest长度大于或等于自定义特征维数size则算法结束,否则变量tp向后依次读取Slist,继续步骤1)‑3)。

3.根据权利要求1所述的一种基于FCBF的自定义特征维数文本特征选择算法,其特征是:所述文本第k个特征词tk与文本类别C的相关性Corr(tk,C),计算方法为:设Di为任意一篇训练文档:式中,H(C)表示文本类别信息熵,P(Cj)表示文本类别Cj的概率,δ()表示二值函数,L是为了抑制概率P(Cj)为0的情况所加入的平滑因子;n表示训练文档总数,i=1,2...n,Ci表示训练文档Dj的类别,Cj表示训练文档Dj的类别;H(tk)表示特征词tk的信息熵,P(tk)表示特征词tk出现的概率;tf(tk,i)表示特征词tk在训练文档中出Di现的频数;

对于单个特征来说,在已知类别Cj分布的情况下的条件信息熵为:

式中,H(tk|C)表示已知文本类别分布时的特征词tk的信息熵,P(tk|Cj)表示已知类别Cj分布时特征词tk出现的概率;tf(tk|Cj)表示特征词tk在Cj类别中的频数;

在已知类别C的分布情况下特征词tk信息熵的变化量即为特征信息增益,计算公式如下:IG(tk|C)=H(tk)‑H(tk|C)

式中,IG(tk|C)表示在已知类别的分布情况下特征词tk信息熵的变化量,即为特征信息增益;

由此,文本特征词tk与文本类别C的相关性为:

4.根据权利要求2所述的一种基于FCBF的自定义特征维数文本特征选择算法,其特征是:所述特征词tp与特征词tq的相关性的计算为:对于tp来说,在已知tq在各类别中的分布情况下的条件信息熵H(tp|tq)为:其中,P(tp,tq)表示特征词tq出现时特征词tp也出现的概率;df(tp,tq|Cj)表示在类别Cj中特征词tq和tp同时出现的文档数;df(tq|Cj)表示在类别Cj中特征词tq出现的文档数;

tq存在时与不存在时相比,特征词tp在类别矩阵C中信息熵的变化量即为:IG(tp|tq)=H(tp|C)‑H(tp|tq)

H(tp|C)表示已知文本类别C时的特征词tq的信息熵;

特征词tp和tq之间的相关性计算为:

H(tp)表示特征词tp的信息熵,H(tq)表示特征词tq的信息熵。

5.根据权利要求3所述的一种基于FCBF的自定义特征维数文本特征选择算法,其特征是:所述二值函数,其公式如下:x,y为二值函数变量。