1.一种结合监督学习的中文文本分类方法,其特征在于:具体包含如下步骤:步骤1,获取网络上的文本语料,对m条文本语料进行分词并去除结构性词语;其中,m为正整数;
步骤2,利用word2vec算法获取m条文本语料中所有单词的词嵌入Xi,并构建一个d*n的词嵌入矩阵X,其中,d是每个词嵌入的维度,n是词嵌入的数目;
步骤3,生成每条文本语料的词袋模型向量nBOW;则m条语料生成m个nBOW,记为di,其中,i
步骤4,计算训练集参数ci,具体如下:ci=Xdi;
步骤5,根据训练集参数ci生成训练集:trainning set={(c1,y1),(c2,y2),(c3,y3)...(cn,yn)},其中n≤i;
步骤6,利用NCA算法对训练集进行训练,进而得到初始变换矩阵A0,具体如下:A0=NCA(tranning set);设w0=1,其中,w0为初始权重向量;
步骤7,根据A0和w0判断NCA损失函数是否收敛:若损失函数不收敛,则利用随机数β计算梯度gA,w,进而更新变换矩阵A和权重向量w,直至损失函数收敛,获取最终的变换矩阵A和权重向量w;
步骤8,根据最终的变换矩阵A和权重向量w对WMD算法通式进行改进,生成最终的WMD算法表达式,计算文本距离,进而通过文本距离的大小完成文本分类。
2.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
1中,利用基于python的爬虫框架scrapy爬取网络上的文本语料。
3.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
1中,采用python库Jieba对m条文本语料进行分词。
4.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
7中,损失函数具体如下:
其中m为语料的总数,da,db分别代表第a条语料和第b条语料的nBOW,ya和yb分别代表语料a和语料b的标签;
其中,A为变换矩阵,xi代表语料a中第i个单词的词嵌入,Ti,j是转移矩阵,其中每一项代表从语料a中词语i转移到语料b中词语j的概率。
5.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
7中,梯度gA,w具体计算如下:
其中,1≤β≤m,Na是语料a的最近邻文档集合,仅当标签ya=yb时,δab=1,,否则δab=0;
pa代表语料,a在语料库中出现的概率,为偏导数符号。
6.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
7中,更新变换矩阵A和权重向量w的具体步骤如下:A′←A-ηaga,w
w′←w-ηwga,w
其中,ηa和ηw分别是参数A,w的学习率。
7.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤
8中,最终的WMD算法表达式具体如下:
约束条件为
其中, w是权重向量,代表函数的复合运算, 表示词语i在da中出现的次数,Ti,j代表从语料a中词语i转移到语料b中词语j的概率,表示两个单词词嵌入距离。