1.一种文本分类方法,其特征在于,包括:
从文本语料库中统计得到文档频次矩阵和词频矩阵;
利用词频‑逆文档频率特征项加权方案,根据所述文档频次矩阵和所述词频矩阵计算特征项权重得到文本权重表示矩阵;
对所述词频矩阵进行归一化得到归一化词频矩阵;
基于所述归一化词频矩阵计算每个特征项关于每个文档类别的词频权重,包括:基于所述归一化词频矩阵分别计算第j(j=1,...,M)个特征项在每个文档类别里的平均词频并取均值,包括:计算第j个特征项在每个文档类别里的平均词频的公式为:其中, 是归一化词频矩阵的元素,即第j个特征项在第i条文档中的词频,Dk表示属于类别ck的文档集合,Num(Dk)表示类别ck的文档数量,m为类别数量;
计算第j个特征项在所有文档类别的平均词频的均值的公式为:根据所述平均词频和所述均值计算第j个特征项关于每个文档类别的词频权重的公式为:基于文档频次的过滤式特征选择方法计算每个特征项关于每个文档类别的评估值;
将所述词频权重与所述评估值结合,得到每个特征项关于每个文档类别的得分,并根据该得分计算每个特征项的判别相关性得分,所述计算每个特征项的判别相关性得分的公式为:其中,TF‑FS(tj,ck)=TFC(tj,ck)×FS(tj,ck)为所述每个特征项关于每个文档类别的得分,FS(tj,ck)为所述评估值;
根据所述判别相关性得分进行特征项排序,利用分类器根据排序结果对所述文本权重表示矩阵进行分类。
2.根据权利要求1所述的文本分类方法,其特征在于,所述对所述词频矩阵进行归一化得到归一化词频矩阵:其中, 是归一化词频矩阵的元素,即第j个特征项在第i条文档中的词频, 是所述词频矩阵中的元素,即第j个特征项在第i条文档中出现的次数,N为文档数量,M为特征项数量。
3.根据权利要求2所述的文本分类方法,其特征在于,所述利用词频‑逆文档频率特征项加权方案,根据所述文档频次矩阵和所述词频矩阵计算特征项权重得到文本权重表示矩阵:其中, 是所述文本权重表示矩阵中的元素, 是所述文档频次矩阵中的元素,即第j个特征项在第i条文档中的文档频次,Nj是第j个特征项在文本语料库中出现过的文档数量。
4.一种文本分类的装置,其特征在于,包括:
文档频次矩阵和词频矩阵生成模块,用于从文本语料库中统计得到文档频次矩阵和词频矩阵;
文本表示模块,用于利用词频‑逆文档频率特征项加权方案,根据所述文档频次矩阵和所述词频矩阵计算特征项权重得到文本权重表示矩阵;
归一化模块,用于对所述词频矩阵进行归一化得到归一化词频矩阵;
权重计算模块,用于基于所述归一化词频矩阵计算每个特征项关于每个文档类别的词频权重,包括:基于所述归一化词频矩阵分别计算第j(j=1,...,M)个特征项在每个文档类别里的平均词频并取均值,包括:计算第j个特征项在每个文档类别里的平均词频的公式为:其中, 是归一化词频矩阵的元素,即第j个特征项在第i条文档中的词频,Dk表示属于类别ck的文档集合,Num(Dk)表示类别ck的文档数量,m为类别数量;
计算第j个特征项在所有文档类别的平均词频的均值的公式为:根据所述平均词频和所述均值计算第j个特征项关于每个文档类别的词频权重的公式为:评估值计算模块,用于基于文档频次的过滤式特征选择方法计算每个特征项关于每个文档类别的评估值;
得分计算模块,用于将所述词频权重与所述评估值结合,得到每个特征项关于每个文档类别的得分,并根据该得分计算每个特征项的判别相关性得分,所述计算每个特征项的判别相关性得分的公式为:其中,TF‑FS(tj,ck)=TFC(tj,ck)×FS(tj,ck)为所述每个特征项关于每个文档类别的得分,FS(tj,ck)为所述评估值;
分类模块,用于根据所述判别相关性得分进行特征项排序,利用分类器根据排序结果对所述文本权重表示矩阵进行分类。
5.一种文本分类的设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述一种文本分类的方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述一种文本分类的方法的步骤。