1.一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:包括以下步骤:S1、获取肺炎病变图像集并将肺炎病变图像分辨率统一为224*224,所述肺炎病变图像集中包括了训练数据和测试数据;
S2、将训练数据输入到多模态双流协同特征提取器进行四次特征提取,得到四个编码特征,并分别对四个编码特征依次进行下采样,分别记为FS3、将最终编码特征输入到多模态语义信息增强层,经过视觉语义增强和文本语义增强,分别得到适合分割任务的分割特征和适合文本生成任务的生成特征;
S4、将生成特征输入到长短期记忆文本生成模块,得到病变区域的医学文本描述,并把医学文本描述经过转化线性层得到四个与解码特征尺度对应的文本特征;
S5、将四个与解码特征尺度对应的文本特征和四个维度不同的下采样的维度编码特征输入到文本特征纠正模块,得到纠正文本特征;
S6、将得到的分割特征和纠正文本特征输入到文本引导的掩码图重建解码器,得到带有文本信息的解码特征,再经过分割头得到二值分割预测图;
S7、设置网络模型损失函数,并对模型进行更新。
2.根据权利要求1所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述将训练数据输入到多模态双流协同特征提取器进行四次特征提取,得到四个编码特征,并分别对四个编码特征依次进行下采样,将最后一次得到的下采样后的编码特征作为最终编码特征的具体步骤如下:S2.1、将训练数据作为输入,同时送入到以卷积神经网络为主的“局部特征提取流”和以自注意力机制为主的“全局特征提取流”中,分别提取得到局部特征和全局特征,所述全局特征和局部特征的具体表达式如下:
F
F
F
F
式中,E
S2.2、将全局特征和局部特征通过全连接层将维度统一后拼接得到编码特征,所述编码特征的具体表达式如下:F
式中,[*]代表拼接操作,F
S2.3、重复S2.1-S2.2,分别对四个编码特征下采样,依次得到四个维度不同的下采样编码特征F
3.根据权利要求1所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述多模态语义信息增强层包括两个分支:第一个分支为视觉语义增强,包含不同扩张率的空洞卷积、批量归一化和RELU激活;第二分支为文本语义增强包含注意力机制、1*1卷积。
4.根据权利要求3所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述视觉语义增强分支经过扩张率为1、3、6、9的四种空洞卷积操作后,将得到的结果按通道数拼接,最后进行3*3卷积压缩维度和激活,得到分割特征,具体表达式如下:式中,
所述文本语义增强分支经过1*1卷积、特征重塑后送入注意力头为4,层数为2的自注意力层,具体表达式如下:L
式中,conv
5.根据权利要求1所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述将四个与解码特征尺度对应的文本特征和四个下采样后的维度编码特征输入到文本特征纠正模块,得到纠正文本特征的具体步骤如下:S5.1、将四个与解码特征尺度对应的文本特征和四个维度不同的下采样编码特征经过两个不同的映射层后相乘,得到注意力图AS5.2、将注意力图A
S5.3、将注意力矩阵按照每个单词维度与四个与解码特征尺度对应的文本特征进行点乘,得到视觉引导的句子特征;
S5.4、将句子特征经过1x1卷积学习后与四个与解码特征尺度对应的文本特征拼接,将句子级的信息补充到对应的解码特征尺度对应的文本特征中;
S5.5、将拼接后的结果经过自注意力操作后再与四个与解码特征尺度对应的文本特征按元素相加,相加后的结果经过1x1卷积学习后得到纠正文本特征。
6.根据权利要求1所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述将得到的分割特征和纠正文本特征输入到文本引导的掩码图重建解码器,得到带有文本信息的解码特征,再经过分割头得到二值分割预测图的具体步骤如下:S6.1、将分割特征和纠正文本特征分别作为引导特征和待引导特征,并经过反卷积,将分割特征上采样一倍;
S6.2、采用映射函数对引导特征和待引导特征进行空间上下文特征的编码,分别得到用于注意力计算的查询向量Q、关键向量K和数值向量V,以上采样后的分割特征作为查询向量Q,纠正文本特征为关键向量K和数值向量V;
S6.3、通过引导特征生成的查询向量Q与待引导特征生成的关键向量K的转置进行点积操作,生成C*C的注意力图;
S6.4、将生成C*C的注意力图与待引导特征相乘,得到引导补偿后的融合特征;
S6.5、得到的融合特征再与作为跳跃连接的四个编码特征沿通道维度拼接,将编码阶段的信息补充到解码过程中,最后经过拼接操作后的结果送入到两层残差块做进一步学习;
S6.6、重复S6.1-S6.5,逐步上采样四次,得到维度为[8,256,28,28],[8,128,56,56],[8,64,112,112],[8,32,224,224]的解码特征,其中,每个解码层的结构相同,最后将维度为[8,32,224,224]的解码特征经过分割头的卷积和Sigmod激活后,得到维度为[8,1,224,224]的二值分割预测图。
7.根据权利要求1所述的一种基于字幕生成任务增强的肺炎医学图像分割方法,其特征在于:所述设置网络模型损失函数,并根据最终优化目标对模型参数进行更新的具体步骤如下:S7.1、将最终编码特征经过的长短期记忆网络后,得到病变区域相关的医学文本描述,对生成的文本和真实的文本在特征维度上计算生成损失;
S7.2、将最终编码特征经过文本引导的掩码图重建解码器四次上采样解码后,得到二值分割预测图,对预测图和真实掩码图计算分割损失;
S7.3、最后将生成损失、分割损失相加,得到最终优化目标并对模型参数进行更新。