欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201710642072X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合监督学习的中文文本分类方法,其特征在于:具体包含如下步骤:步骤1,获取网络上的文本语料,对m条文本语料进行分词并去除结构性词语;其中,m为正整数;

步骤2,利用word2vec算法获取m条文本语料中所有单词的词嵌入Xi,并构建一个d*n的词嵌入矩阵X,其中,d是每个词嵌入的维度,n是词嵌入的数目;

步骤3,生成每条文本语料的词袋模型向量nBOW;则m条语料生成m个nBOW,记为di,其中,i

步骤4,计算训练集参数ci,具体如下:ci=Xdi;

步骤5,根据训练集参数ci生成训练集:trainning set={(c1,y1),(c2,y2),(c3,y3)...(cn,yn)},其中n≤i;

步骤6,利用NCA算法对训练集进行训练,进而得到初始变换矩阵A0,具体如下:A0=NCA(tranning set);设w0=1,其中,w0为初始权重向量;

步骤7,根据A0和w0判断NCA损失函数是否收敛:若损失函数不收敛,则利用随机数β计算梯度gA,w,进而更新变换矩阵A和权重向量w,直至损失函数收敛,获取最终的变换矩阵A和权重向量w;

步骤8,根据最终的变换矩阵A和权重向量w对WMD算法通式进行改进,生成最终的WMD算法表达式,计算文本距离,进而通过文本距离的大小完成文本分类。

2.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

1中,利用基于python的爬虫框架scrapy爬取网络上的文本语料。

3.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

1中,采用python库Jieba对m条文本语料进行分词。

4.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

7中,损失函数具体如下:

其中m为语料的总数,da,db分别代表第a条语料和第b条语料的nBOW,ya和yb分别代表语料a和语料b的标签;

其中,A为变换矩阵,xi代表语料a中第i个单词的词嵌入,Ti,j是转移矩阵,其中每一项代表从语料a中词语i转移到语料b中词语j的概率。

5.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

7中,梯度gA,w具体计算如下:

其中,1≤β≤m,Na是语料a的最近邻文档集合,仅当标签ya=yb时,δab=1,,否则δab=0;

pa代表语料,a在语料库中出现的概率,为偏导数符号。

6.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

7中,更新变换矩阵A和权重向量w的具体步骤如下:A′←A-ηaga,w

w′←w-ηwga,w

其中,ηa和ηw分别是参数A,w的学习率。

7.根据权利要求1所述的一种结合监督学习的中文文本分类方法,其特征在于:在步骤

8中,最终的WMD算法表达式具体如下:

约束条件为

其中, w是权重向量,代表函数的复合运算, 表示词语i在da中出现的次数,Ti,j代表从语料a中词语i转移到语料b中词语j的概率,表示两个单词词嵌入距离。