1.一种基于情感分析的乳腺癌化疗患者症状分析系统,其特征在于,包括:数据获取模块,用于获取被分析患者对象的文本输入数据和语音输入数据,以及所述被分析患者对象的诊断书;
交互分析模块,用于对所述被分析患者对象的文本输入数据和语音输入数据进行交互分析以得到患者对象情感特征向量;
语义编码模块,用于对所述被分析患者对象的诊断书进行语义编码以得到患者对象症状语义特征向量;
融合模块,用于将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到患者对象认知表征特征向量;
认知功能分析模块,用于基于所述患者对象认知表征特征向量,确定是否发出认知功能下降预警;
其中,所述交互分析模块,包括:
数据预处理单元,用于对所述文本输入数据和所述语音输入数据进行数据预处理以得到文本段的序列和局部语音输入的序列;
词汇特征提取单元,用于提取所述文本段的序列的词汇特征以得到词汇特征向量的序列;
声学特征提取单元,用于提取所述局部语音输入的序列的声学特征以得到声学特征向量的序列;
跨模态特征交互单元,用于对所述词汇特征向量的序列和所述声学特征向量的序列进行跨模态特征交互以得到所述患者对象情感特征向量;
其中,所述跨模态特征交互单元,包括:
交互融合子单元,用于将所述词汇特征向量的序列和所述声学特征向量的序列通过基于门注意力机制的跨模态特征交互融合模块以得到词汇-声学特征交互特征向量的序列;
级联子单元,用于将所述词汇-声学特征交互特征向量的序列进行级联以得到所述患者对象情感特征向量;
其中,所述交互融合子单元,用于:
以如下跨模态特征交互融合公式对所述词汇特征向量的序列和所述声学特征向量的序列进行处理以得到所述词汇-声学特征交互特征向量的序列;其中,所述跨模态特征交互融合公式为:其中,
其中,所述融合模块,包括:
交融单元,用于将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到所述患者对象认知表征特征向量;
其中,所述交融单元,用于:
使用如下显著信息交融公式对所述患者对象情感特征向量和所述患者对象症状语义特征向量进行处理以得到所述患者对象认知表征特征向量;其中,所述显著信息交融公式为:其中,
2.根据权利要求1所述的基于情感分析的乳腺癌化疗患者症状分析系统,其特征在于,所述数据预处理单元,包括:细粒度划分子单元,用于将所述文本输入数据进行细粒度划分以得到所述文本段的序列;
时间尺度划分子单元,用于将所述语音输入数据进行基于预定时间尺度的划分以得到所述局部语音输入的序列。
3.根据权利要求2所述的基于情感分析的乳腺癌化疗患者症状分析系统,其特征在于,所述词汇特征提取单元,用于:提取所述文本段的序列中各个文本段的词频特征和逆向文档频率特征以得到所述词汇特征向量的序列。
4.根据权利要求3所述的基于情感分析的乳腺癌化疗患者症状分析系统,其特征在于,所述声学特征提取单元,用于:提取所述局部语音输入的序列中各个局部语音输入的梅尔频率倒谱系数、能量特征、音调特征和响度特征以得到所述声学特征向量的序列。
5.根据权利要求4所述的基于情感分析的乳腺癌化疗患者症状分析系统,其特征在于,所述认知功能分析模块,包括:分类单元,用于将所述患者对象认知表征特征向量通过分类器以得到分类结果,所述分类结果用于表示是否发出认知功能下降预警。
6.一种基于情感分析的乳腺癌化疗患者症状分析方法,其特征在于,包括:获取被分析患者对象的文本输入数据和语音输入数据,以及所述被分析患者对象的诊断书;
对所述被分析患者对象的文本输入数据和语音输入数据进行交互分析以得到患者对象情感特征向量;
对所述被分析患者对象的诊断书进行语义编码以得到患者对象症状语义特征向量;
将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到患者对象认知表征特征向量;
基于所述患者对象认知表征特征向量,确定是否发出认知功能下降预警;
其中,对所述被分析患者对象的文本输入数据和语音输入数据进行交互分析以得到患者对象情感特征向量,包括:对所述文本输入数据和所述语音输入数据进行数据预处理以得到文本段的序列和局部语音输入的序列;
提取所述文本段的序列的词汇特征以得到词汇特征向量的序列;
提取所述局部语音输入的序列的声学特征以得到声学特征向量的序列;
对所述词汇特征向量的序列和所述声学特征向量的序列进行跨模态特征交互以得到所述患者对象情感特征向量;
其中,对所述词汇特征向量的序列和所述声学特征向量的序列进行跨模态特征交互以得到所述患者对象情感特征向量,包括:将所述词汇特征向量的序列和所述声学特征向量的序列通过基于门注意力机制的跨模态特征交互融合模块以得到词汇-声学特征交互特征向量的序列;
将所述词汇-声学特征交互特征向量的序列进行级联以得到所述患者对象情感特征向量;
其中,将所述词汇特征向量的序列和所述声学特征向量的序列通过基于门注意力机制的跨模态特征交互融合模块以得到词汇-声学特征交互特征向量的序列,包括:以如下跨模态特征交互融合公式对所述词汇特征向量的序列和所述声学特征向量的序列进行处理以得到所述词汇-声学特征交互特征向量的序列;其中,所述跨模态特征交互融合公式为:其中,
其中,将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到患者对象认知表征特征向量,包括:将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到所述患者对象认知表征特征向量;
其中,将所述患者对象情感特征向量和所述患者对象症状语义特征向量通过显著信息交融模块以得到所述患者对象认知表征特征向量,包括:使用如下显著信息交融公式对所述患者对象情感特征向量和所述患者对象症状语义特征向量进行处理以得到所述患者对象认知表征特征向量;其中,所述显著信息交融公式为:其中,