1.一种多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,将医学报告和医学图像输入医学报告自动生成网络,包括以下步骤:步骤1、将原始医学图像I输入基于ResNet101的视觉特征提取模块,输出视觉特征;
步骤2、将原始医学报告输入基于BERT模型的文本特征提取模块,输出文本特征;
步骤3、将步骤1所得视觉特征和步骤2所得文本特征分别输入 SSM-Attention视觉文本特征整合模块;SSM-Attention视觉文本特征整合模块分别对视觉特征和文本特征进行单独处理,每类特征处理过程都如下:步骤3.1、进行线性变换,得到两个新序列和;
步骤3.2、将新序列依次经归一化层、线性层、激活函数SiLu、卷积层、状态空间模块SSM以及归一化层处理;同时,将新序列依次经归一化层、卷积层、激活函数ReLU、自注意力机制和归一化层处理;
步骤3.3、将步骤3.2处理后所得两个序列相乘生成门控特征,通过线性变换并与原始输入的视觉特征或文本特征相加,输出新的视觉特征和新的文本特征;
步骤4、将步骤3所得视觉特征输入Transformer编码器,通过Transformer编码器增强视觉特征;
步骤5、将步骤3得到的文本特征为和经Transformer编码器增强后的视觉特征一起输入多模态融合Mamba模块,所述多模态融合Mamba模块包括三层相同结构的多模态Mamba网络;最终输出融合特征;
步骤6、将融合特征输入Transformer解码器自动生成医学报告。
2.根据权利要求1所述的多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,为所述步骤1视觉特征提取模块的详细处理方法为:步骤1.1、进行Patch 嵌入,通过PatchEmbed 类将原始医学图像I分割成小块,每个小块的大小为 patch_size x patch_size,小块的数量为 num_patches = (H // patch_size) * (W // patch_size) 个小块;
步骤1.2、ResNet101主干网络中的前三个卷积块处理提取各个小块图像的低级特征和中级特征,输出一系列特征图;
步骤1.3、将所有特征图重新组织得到视觉特征。
3.根据权利要求1所述的多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,所述步骤2文本特征提取模块对原始医学报告的处理过程如下:步骤2.1、对原始医学报告的文本标签text进行预处理,包括分词、去除停用词和词汇表构建;
步骤2.2、使用BERT模型对预处理后文本标签进行嵌入处理:先通过双向Transformer编码器结构生成包含丰富上下文信息的词嵌入,然后转换为固定长度的向量词嵌入,接着通过池化操作将词嵌入向量组合成句子嵌入向量;
步骤2.3、为保留文本中的顺序信息,对每个词嵌入添加一个位置编码,位置编码使得模型能够区分相同词汇在不同位置的意义差异至此得到文本特征,大小为;其中,B是batch_size,L是序列长度Length,D是embed_dim维度;
文本特征的表达式如下:
;
是词汇的词嵌入向量,是位置编码向量。
4.根据权利要求1所述的多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,步骤3中SSM-Attention视觉文本特征整合模块的处理过程如下:首先,对视觉特征/文本特征进行线性变换,生成两个新的序列和;
然后,对新的序列和做下述不同操作:
;
;
接着,将乘以作为门控因子,生成门控后特征,再通过线性变换并与原始输入的视觉张量/文本特征相加,形成输出序列,表达式为:;
上式中,是指元素级乘法,是指原始输入的视觉特征/文本特征。
5.根据权利要求1所述的多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,步骤4中Transformer编码器对经过SSM-Attention模块后的新的视觉特征进行编码的过程如下:步骤4.1、位置编码,即添加位置编码以保留特征的空间信息;
步骤4.2、通过多头自注意力机制Multi-head Self-Attention捕捉特征之间的相互关系;
步骤4.3、通过前馈神经网络处理特征;
步骤4.4、通过多层Transformer编码器逐步提取高层次的特征表示。
6.根据权利要求1所述的多模态特征融合Mamba用于医学报告自动生成方法,其特征在于,所述步骤5多模态融合Mamba模块中,文本特征和视觉特征进入第一层多模Mamba网络后,输出;与文本特征进入第二层多模Mamba网络后,输出新的;新的和文本特征进入第三层多模Mamba网络,输出融合特征;
每一层多模Mamba网络的处理方法为:文本特征依次经归一化层、卷积层、状态空间模块SSM处理,同时,经Transformer编码器增强后的视觉特征执行步骤3.1至步骤3.2得到两个序列,所得两个序列再与处理后的文本特征相加得到新的视觉特征;这一层所得新的视觉特征和新的文本特征一起送入下一层网络结构;表达式如下:对于视觉特征处理如下:
;
;
是通过乘以作为门控因子,生成门控后的特征,形成输出序列;;
对于文本特征处理如下:
;
;
;
最终,融合特征表达如下:
。