1.一种基于特征融合和双重分类的新闻文本分类方法,其特征在于:所述新闻文本分类方法包括如下步骤:步骤1:采集各类新闻文本数据,数据以[content,channelName,title]的形式存放在原始数据集中,其中,content为新闻内容,channelName为新闻类别,title为新闻标题;
步骤2:对采集到的数据集中的新闻数据进行预处理,然后使用jieba分词对新闻数据进行分词操作,分词完毕后的数据以json的格式进行存储;
步骤3:将BERT模型与TF‑IDF模型联合构造出一种特征融合模型,并与fasttext模型联合,构造基于特征融合和双重分类的新闻文本分类模型,训练所述基于特征融合和双重分类的新闻文本分类模型,依据所述基于特征融合和双重分类的新闻文本分类模型提出基于特征融合和双重分类的新闻文本分类方法;
步骤4:使用步骤3中的基于特征融合和双重分类的新闻文本分类方法对新闻数据进行分类,其中:所述步骤3中,构造基于特征融合和双重分类的新闻文本分类模型具体包括如下步骤:
步骤3‑1:构建特征融合模型:所述特征融合模型由BERT模型和TF‑IDF模型组成,利用BERT特征与TF‑IDF特征进行特征融合,得到BERT模型与TF‑IDF模型的特征融合模型的结果label_MERGE,confidence_MERGE,label_MERGE和confidence_MERGE表示文本经过BERT模型与TF‑IDF模型的特征融合模型得到的标签和置信度;
步骤3‑2:进行双重分类,进行双重分类时使用fasttext模型对新闻文本数据进行分类,得到fasttext模型的结果label_fasttext,confidence_fasttext,其中,label_fasttext和confidence_fasttext表示文本经过fasttext模型得到的标签和置信度;
步骤3‑3:最终分类结果的标签为label,判断经过BERT模型与TF‑IDF模型的特征融合模型和fasttext模型后得到的标签是否一致,如果一致,则把label_fasttext赋给label,如果label_MERGE和label_fasttext不一样,则选择两个标签中较大的置信度对应的标签赋给label;
步骤3‑4:对基于特征融合和双重分类的新闻文本分类模型利用采集到的新闻数据集,使用随机梯度下降法进行训练,依据所述基于特征融合和双重分类的新闻文本分类模型提出基于特征融合和双重分类的新闻文本分类方法,所述步骤3‑1构建特征融合模型具体包括如下步骤:
步骤3‑1‑1:BERT模型的输入是字向量、文本向量和位置向量的加权和,BERT模型的输出是新闻数据中各个词语融合了全文语义信息后的向量表示,即为提取到的BERT特征,记BERT为W ;
步骤3‑1‑2:TF‑IDF模型中,TF是词频,IDF是逆向文件频率:TF‑IDF模型的输入是新闻数据的文本表示,将新闻数据的文本表示输入TF‑IDF模型后进行如下步骤:计算第i个词在第j个新闻数据中词频TF,计算公式如下:
其中,nij是第i个词在第j个新闻数据中的出现次数,∑knkj则是在第j个新闻数据中所有词的出现次数之和,计算第i个词的IDF,公式如下:
其中,|D|表示新闻数据集中的新闻数据总数,|{j:ti∈dj}|表示包含第i个词ti的新闻数据的数目;
TF‑IDF TF‑IDF
计算该新闻数据的TF‑IDF特征,该特征记为W ,TF‑IDF模型的输出即为W ,tf_TF‑IDFidfi表示W 的第i个分量,该分量表示该新闻数据中第i个词的TF‑IDF特征,计算公式如下:merge
步骤3‑1‑3:利用BERT特征与TF‑IDF特征进行特征融合,融合后的结果记为W =BERT TF‑IDF[W ,W ],将该结果作为新闻数据的最终特征,输入一个全连接网络进行分类,得到BERT模型与TF‑IDF模型的特征融合模型的结果label_MERGE,confidence_MERGE,label_MERGE和confidence_MERGE表示文本经过BERT模型与TF‑IDF模型的特征融合模型得到的标签和置信度。
2.根据权利要求1所述的一种基于特征融合和双重分类的新闻文本分类方法,其特征在于:所述步骤3‑2中,所述fasttext模型包含输入层、隐藏层、输出层,其中:输入层的操作是输入N‑gram特征的Embedding向量,N‑gram特征是将新闻数据内容按长度N切分得到的词语片段,最终形成词语片段序列,Embedding则将这些词语片段序列以向量形式存放;
隐藏层的操作是将输入层输入的Embedding向量求平均;
输出层的操作是将隐藏层平均求得的向量乘以反变换矩阵,得到长度等于分类数的向量,再使用层次Softmax得到概率最高的一类为最终分类结果。
3.根据权利要求1所述的一种基于特征融合和双重分类的新闻文本分类方法,其特征在于:在步骤4中,使用步骤3中基于特征融合和双重分类的新闻文本分类方法对未分类的新闻数据进行分类,具体包括如下步骤:步骤4‑1:首先,将当前的未分类新闻数据的TF‑IDF特征与数据集中新闻数据的TF‑IDF特征进行比对,计算相似度,当两者相似度大于等于90%时,则认为当前新闻数据已存在于新闻数据集中,直接输出数据集中对应新闻的分类,其中,未分类新闻数据的TF‑IDF特征向量与数据集中新闻数据的TF‑IDF特征向量之间的相似度计算由余弦相似度公式都得到:IF‑IDF TF‑IDF
其中,W A表示第A个未分类新闻数据的TF‑IDF特征向量,W B表示第B个数据集中TF‑IDF新闻数据的TF‑IDF特征向量,tf_idfAi和tf_idfBi分别代表向量W A的第i个分量和向量TF‑IDF IF‑IDF IF‑IDFW B的第i个分量,W A和W B都一共有n个分量;
步骤4‑2:当前的未分类新闻数据的TF‑IDF特征与数据集中新闻数据的TF‑IDF特征的相似度小于90%,输入一条新的新闻数据将这条新的新闻数据送入基于特征融合和双重分类的新闻文本分类模型中重新开始分类,将新闻数据分别喂入BERT模型与TF‑IDF模型的特征融合模型和fasttext模型两个分类模型中,分别得到BERT模型与TF‑IDF模型的特征融合模型的结果label_MERGE,confidence_MERG和fasttext模型的结果label_fasttext,confidence_fasttext,其中,label_MERGE,confidence_MERGE表示文本经过BERT模型与TF‑IDF模型的特征融合模型得到的标签和置信度,label_fasttext,confidence_fasttext表示文本经过fasttext模型得到的标签和置信度;判断经过这两个模型后得到的标签是否一致,如果一致,则把label_fasttext赋给label,如果label_MERGE和label_fasttext不一样,则选择两个标签中较大的置信度对应的标签赋给label,得到最终分类结果的标签label。
4.根据权利要求1所述的一种基于特征融合和双重分类的新闻文本分类方法,其特征在于:所述步骤2中对采集到的数据集中的新闻数据进行预处理具体为:对于数据中content缺失或者是乱码、title为空的新闻数据直接剔除;
对于数据中含有html内容的新闻数据,使用停词表来忽略这部分新闻数据中的html内容;
对于长度过短的数据,在采集完新闻数据集后直接剔除这部分新闻数据。
5.根据权利要求1‑4任一项所述的一种基于特征融合和双重分类的新闻文本分类方法,其特征在于:所述步骤1采集各类新闻文本数据以[content,channel Name,title]形式存放,设置10个新闻类别,分别为:财经、房产、教育、科技、军事、汽车、体育、游戏、娱乐、其他。