1.一种跨模态情感预测方法，其特征在于：所述跨模态情感预测方法包括以下步骤：步骤一、对待分析的跨模态情感的图片、文本数据进行预处理：(1)将每张输入图片转换为大小为224×224像素的图像，记为 ；

(2)将文本数据的每个输入句子通过插入两个特殊标记进行预处理，即将[CLS]添加到句子开头，[SEP]附加到句子末尾，记为 ；

(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集；

步骤二、构建神经网络跨模态情感预测模型：(1)构建图像‑文本编码模块：

使用预训练模型ResNet作为视觉编码器，对步骤一中预处理后的图像 ，进行编码获得图像特征 ；

使用预训练模型BERT作为文本编码器，对步骤一中预处理后的文本 ，进行编码获得文本特征 ；

(2)构建跨模态对齐模块：

根据图像特征 和文本特征 构建正负样本，具体地，首先将预处理后的图像、文本数据分为两个以上的批次，对同一批次内的图文输入对 进行样本分类，将来自相同输入对的图文特征记为正样本 ，来自不同输入对的图文特征记为负样本；

将每个输入对 导入并经过两个不同的全连接层，得到对齐后的图文特征向量，并以此计算对比损失函数 ；

(3)构建跨模态融合模块：

利用多头注意力机制融合图文特征向量 ，得到融合后的跨模态特征 ,即：；其中， 表示多头注意力机制，包括层归一化和残差连接；

(4)构建跨模态关联性学习模块：

对于对齐后的图像特征向量 和文本特征向量 ，分别构建两个变分自编码器和 ，即：其中，表示训练集大小，表示第个样本；

定义跨模态关联分数 为 和 的语义距离，即：其中， 表示KL散度， 表示文本到图像的关联分数， 表示图像到文本的关联分数；

(5)构建情感分类模块：

将文本特征向量 与跨模态特征 按照关联分数 进行拼接，得到最终的情感特征，即： ；将情感特征 传入到带有一个隐含层的多层感知机，获得情感倾向的概率分布，并计算分类损失函数 ；

步骤三、训练神经网络跨模态情感预测模型：神经网络跨模态情感预测模型的训练数据是采用步骤一所述的训练集中的数据，训练目标是最小化整体损失函数 ，并使用Adam优化器优化网络参数；神经网络跨模态情感预测模型的整体损失函数 ，由分类损失函数 和对比损失函数 加权求和而成，即： 其中，为超参数；

步骤四、验证和测试神经网络跨模态情感预测模型：采用步骤一中预处理后的验证集，对神经网络跨模态情感预测模型进行验证，选取超参数对神经网络跨模态情感预测模型进行优化；再将步骤一所述的测试集中的图像文本数据，输入到经过训练和验证后的神经网络跨模态情感预测模型中，即可进行跨模态情感预测并获得情感倾向。