1.一种融合表情符号的社交文本情感分析方法,其特征在于,所述方法包括以下步骤:S1:将无标注含表情文本数据和有标注社交文本数据做预处理,获取预训练文本数据,并将其中的表情符号提取作为预训练标签;
S2:搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述S1中预训练文本数据进行预训练,得到以表情符号为预测标签的预训练模型;所述S2包括:将所述预训练文本数据输入至预训练模型的Embedding层,得到所述预训练文本数据的输入向量序列;
将所述输入向量序列分别输入至两层的双向长短期记忆神经网络层及两层的自注意力机制层,分别得到所述预训练文本数据的句法相关特征和语义相关特征;
将所述两层的双向长短期记忆神经网络层及两层的自注意力机制层的每层输出特征向量与Embedding层输出的输入向量序列进行向量拼接,得到所述预训练文本数据的连接特征向量;
将所述连接特征向量输入至单层的注意力机制层,所述单层的注意力机制层用于让模型训练期间关注所述预训练文本数据句子的关键特征,给予关键特征更高的权重,得到所述预训练文本数据的文本表示向量;
将所述文本表示向量输入Softmax层进行归一化处理得到所述预训练文本数据句子的预测表情类别标签;
基于所述预测表情类别标签与对应文本实际含有表情结果的差异,计算所述预训练模型对应的第一损失函数,更新所述预训练模型中各模块的参数,训练并完成最终的预训练模型;
S3:将S1中预处理的有标注社交文本数据输入至预训练模型,通过链式解冻方法更新预训练模型的参数,训练得到社交文本情感分类器;所述S3包括:基于所述有标注社交文本数据的标注情感类别种类调整S2中预训练模型Softmax层输出维度,使得Softmax输出维度为情感类别数量*对应类别概率分布;
将所述有标注社交文本数据输入至S2中的预训练模型得到社交文本的分类结果;
基于所述有标注社交文本数据实际情感标签与模型预测标签结果的差异,计算所述神经网络模型对应的第二损失函数,通过链式解冻方法更新所述神经网络模型中各模块的参数,训练得到最终的社交文本情感分类器;
所述链式解冻方法为:训练过程中首先微调模型最顶层参数,再从模型Embedding层向上逐层调整参数至最优结果,最后训练并更新模型所有层的参数;
S4:将需要进行情感分类的社交文本输入至社交文本情感分类器,得到预测情感类别。
2.根据权利要求1所述的一种融合表情符号的社交文本情感分析方法,其特征在于,所述S1包括:将含表情符号的文本数据作为无标注含表情文本数据以及带有情感标注的社交文本数据作为有标注社交文本数据;
过滤无标注含表情文本数据以及有标注社交文本数据中的噪声数据,所述噪声数据包括链接、转发符号以及用户名;
对过滤噪声数据之后的数据中包含多个表情符号的文本进行复制,使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本;
统计并选取所有文本数据中出现频率前N位的表情符号保留其对应的纯文本数据作为预训练文本数据;将预训练文本数据的表情符号提取出来作为其对应文本的唯一预训练标签。
3.根据权利要求1所述的一种融合表情符号的社交文本情感分析方法,其特征在于,所述神经网络模型包括Embedding层、两层的双向长短期记忆神经网络层、两层的自注意力机制层、特征连接层、单层的注意力机制层以及Softmax层,所述Embedding层接收预训练文本数据,Embedding层的输出端分别与两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输入端连接,Embedding层的输出端、两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输出端均与特征连接层的输入端连接,特征连接层的输出端与单层的注意力机制层的输入端连接,单层的注意力机制层的输出端与Softmax层连接。
4.根据权利要求1所述的一种融合表情符号的社交文本情感分析方法,其特征在于,所述第一损失函数的表达式为其中,N表示在所述S1预处理阶段所选择的作为预训练类别标签的非重复表情数量,表示预测文本实际含有第i个表情的有无,若含有第i个表情则为1,反之为0;表示预测文本预测含有第i个表情的概率,N个表情标签的预测概率总和为1。
5.根据权利要求1所述的一种融合表情符号的社交文本情感分析方法,其特征在于,所述文本表示向量的计算方式为:其中,是单词在时间步长t的表示,是单层的注意力机制层的权重矩阵,是时间步长t的重要性分数;为总的时间步长。
6.根据权利要求1所述的一种融合表情符号的社交文本情感分析方法,其特征在于,所述第二损失函数的表达式为:其中,N表示在所述S1预处理阶段所选择的作为预训练类别标签的非重复表情数量,表示预测文本实际含有第i个表情的有无,其含有第i个表情则为1,反之为0;表示预测文本预测含有第i个表情的概率,N个标签的概率总和为1。
7.一种融合表情符号的社交文本情感分析装置,其特征在于,所述装置包括:
数据预处理模块,用于将无标注含表情文本数据和有标注社交文本数据做预处理,获取预训练文本数据,并将其中的表情符号提取作为预训练标签;
预训练模块,用于搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述数据预处理模块中预训练文本数据进行预训练,得到以表情符号为预测标签的预训练模型;所述预训练模块还用于:将所述预训练文本数据输入至预训练模型的Embedding层,得到所述预训练文本数据的输入向量序列;
将所述输入向量序列分别输入至两层的双向长短期记忆神经网络层及两层的自注意力机制层,分别得到所述预训练文本数据的句法相关特征和语义相关特征;
将所述两层的双向长短期记忆神经网络层及两层的自注意力机制层的每层输出特征向量与Embedding层输出的输入向量序列进行向量拼接,得到所述预训练文本数据的连接特征向量;
将所述连接特征向量输入至单层的注意力机制层,所述单层的注意力机制层用于让模型训练期间关注所述预训练文本数据句子的关键特征,给予关键特征更高的权重,得到所述预训练文本数据的文本表示向量;
将所述文本表示向量输入Softmax层进行归一化处理得到所述预训练文本数据句子的预测表情类别标签;
基于所述预测表情类别标签与对应文本实际含有表情结果的差异,计算所述预训练模型对应的第一损失函数,更新所述预训练模型中各模块的参数,训练并完成最终的预训练模型;
迁移学习模块,用于将数据预处理模块中预处理的有标注社交文本数据输入至预训练模型,通过链式解冻方法更新预训练模型的参数,训练得到社交文本情感分类器;所述迁移学习模块还用于:基于所述有标注社交文本数据的标注情感类别种类调整预训练模块中预训练模型Softmax层输出维度,使得Softmax输出维度为情感类别数量*对应类别概率分布;
将所述有标注社交文本数据输入至预训练模块中的预训练模型得到社交文本的分类结果;
基于所述有标注社交文本数据实际情感标签与模型预测标签结果的差异,计算所述神经网络模型对应的第二损失函数,通过链式解冻方法更新所述神经网络模型中各模块的参数,训练得到最终的社交文本情感分类器;
所述链式解冻方法为:训练过程中首先微调模型最顶层参数,再从模型Embedding层向上逐层调整参数至最优结果,最后训练并更新模型所有层的参数;
情感预测模块,用于将需要进行情感分类的社交文本输入至社交文本情感分类器,得到预测情感类别。
8.根据权利要求7所述的一种融合表情符号的社交文本情感分析装置,其特征在于,所述数据预处理模块,还用于:将含表情符号的文本数据作为无标注含表情文本数据以及带有情感标注的社交文本数据作为有标注社交文本数据;
过滤无标注含表情文本数据以及有标注社交文本数据中的噪声数据,所述噪声数据包括链接、转发符号以及用户名;
对过滤噪声数据之后的数据中包含多个表情符号的文本进行复制,使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本;
统计并选取所有文本数据中出现频率前N位的表情符号保留其对应的纯文本数据作为预训练文本数据;将预训练文本数据的表情符号提取出来作为其对应文本的唯一预训练标签。