1.一种基于融合特征和改进LSTM的文本分类方法,其特征在于,包括以下步骤:S1、获取文本数据,并划分为训练集和测试集;
S2、对文本进行预处理,得到清洗后的文本数据;
S3、使用Word2Vec方法提取文本的特征,得到静态特征向量;
S4、使用预训练的BERT中文模型提取文本的特征,得到包含上下文的特征向量;
S5、将静态特征向量和包含上下文的特征向量进行融合,得到融合特征;
S6、将训练集的融合特征输入至改进的LSTM网络进行模型训练;
S7、使用训练好的分类模型对测试集进行分类验证,以评估模型的效能;
步骤S3中,Word2Vec特征向量是通过训练Word2Vec模型获得的,Word2Vec模型使用文本数据进行训练,具体步骤包括:使用清洗后的文本数据,采用Word2Vec模型进行训练,生成词嵌入向量,其中,Word2Vec模型采用CBOW方法,根据上下文窗口对每个词进行训练,得到每个词的768维向量表示,步骤包括:利用邮件文本中的词汇,构建上下文窗口,选择一定范围内的上下文词作为输入,目标词作为输出;
将上下文词向量进行求平均处理,得到上下文的特征向量;
使用CBOW模型,通过上下文向量预测目标词,并通过Softmax函数对每个词的得分进行概率化处理,其中,所述Softmax函数具体公式如下:;
其中,表示目标词的词向量,为上下文词的平均向量,为词汇表,为给定上下文条件下目标词的预测概率;
步骤S4中,使用预训练的BERT中文模型提取文本的特征时,具体步骤包括:使用预训练的BERT分词器对邮件文本进行分词处理,得到词序列,所述词序列作为输入传递至BERT模型;
使用预训练的BERT中文模型对所述词序列进行编码,得到每个词的上下文相关表示,所述上下文相关表示为动态的词向量,其中BERT模型根据词汇在不同上下文中的出现情况,调整每个词的语义表示;
从BERT模型输出的编码结果中提取每个词的特征向量,所述特征向量通过最后一层的CLS标记得到文本的全局特征表示,其为768维向量,所述全局特征表示包含了上下文信息;
步骤S6中,改进的LSTM网络同时包含注意力机制和残差连接,所述注意力机制根据当前输入信息与前一时刻的隐藏状态信息动态地计算每个输入的注意力权重,并通过加权融合输入信息,优化LSTM的输入;所述残差连接在LSTM的每一层中引入,直接将当前时刻的输入信息与LSTM变换后的输出进行加和;
所述注意力机制通过计算当前时刻输入向量、前一时刻隐藏状态和细胞状态来生成注意力权重,将当前输入和计算得到的注意力权重相乘,得到优化后的输入向量输入到LSTM单元中,注意力权重公式:;
加权输入公式:
;
其中是Sigmod激活函数,、为注意力机制的权重矩阵,为偏置,为当前时刻的注意力权重;
所述LSTM单元的残差连接通过以下方式实现:对于第时刻的输入向量,LSTM变换后的输出为,残差连接通过将输入与输出相加得到最终的输出:;
;
输出门:
;
;
细胞状态:
;
候选细胞状态:
;
输入门:
;
遗忘门:
;
其中,为当前的隐藏状态,为当前的细胞状态,、、、为不同门的权重矩阵,、、、为上一时刻隐藏状态对不同门的影响,、、、为偏置。
2.根据权利要求1所述的一种基于融合特征和改进LSTM的文本分类方法,其特征在于:步骤S2中,文本数据的预处理步骤包括:去除HTML标签、特殊字符和多余空格、将文本中的所有字母统一转换为小写、去除停用词。
3.根据权利要求1所述的一种基于融合特征和改进LSTM的文本分类方法,其特征在于:步骤S5中,将Word2Vec提取的静态特征向量和BERT提取的上下文特征向量进行融合,融合步骤包括:特征拼接:将Word2Vec和BERT模型提取的特征向量进行直接拼接,形成一个1536维的特征表示;
融合特征维度调整:为避免维度过高而导致的计算开销,进一步使用PCA主成分分析法对融合后的特征向量进行降维,得到一个维度为768的降维特征向量,PCA包括以下步骤:
1)对融合特征向量进行标准化处理;
2)计算标准化后的特征矩阵的协方差矩阵;
3)对协方差矩阵进行特征值分解,选择前768个主成分;
4)将标准化后的特征向量投影到768主成分上,得到降维后的融合特征向量。