1.基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:方法步骤如下:步骤S1:获取数据集,并对数据集中的计算机断层扫描图像数据进行预处理;
步骤S2:基于步骤S1预处理后的数据集,制作训练数据集;
步骤S3:基于步骤S2制作的训练数据集,构建多尺度残差连接模块,防止训练数据集网络退化;
步骤S4:基于步骤S2制作的训练数据集的结构和多层次特征,构建多级损失函数模块;
步骤S5:整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系,构建通道增强自注意力模块;
步骤S6:消除步骤S3至步骤S5带来的参数量增加,构建门控卷积模块;
步骤S7:结合步骤S3的多尺度残差连接模块、步骤S4的多级损失函数模块、步骤S5的通道增强自注意力模块和步骤S6的门控卷积模块;构建多模态肝脏医学图像数据集扩充模型,对多模态肝脏医学图像数据集扩充模型进行实验和评估;
步骤S3中多尺度残差连接模块,具体为:
采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块;将3×3卷积核中提取的特征图步骤S4中构建多级损失函数模块,具体为:
多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成;内容损失关注于生成图像与真实图像在特定层的表示上的相似性,通过计算生成图像与真实图像在生成器的某一中间层的特征差异来实现;对抗损失区分开生成图像与真实图像;通过组合感知损失、内容损失和对抗损失得到最终的多级损失;
步骤S5中构建通道增强自注意力模块,具体为:步骤S51,将自注意力机制和卷积块注意力模块结合生成通道增强自注意力模块,将通道增强自注意力模块融入到生成器中;
步骤S52,生成器将输入特征图
步骤S53,获得自注意力机制和卷积块注意力模块两个输出特征后,通过串联的形式进行最终通道增强自注意力模块的输出特征计算,整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系,具体如公式(8)所示:其中,
2.根据权利要求1所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S1中对数据集中的计算机断层扫描图像数据进行预处理;具体为:步骤S11,将三维格式的公开数据集拆分为二维的切片数据集;
步骤S12,对三维格式的公开数据集中的计算机断层扫描图像数据进行豪斯菲尔德单位值调整。
3.根据权利要求2所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S2中制作训练数据集;具体为:步骤S21,获取步骤S1中预处理完成的数据集,将分辨率调整为256×256;
步骤S22,将分辨率调整后的数据集部分用作训练集,另外部分用作验证集;随后进行基于生成对抗网络的多模态肝脏医学图像数据集扩充模型的训练和验证。
4.根据权利要求3所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S3中多尺度残差连接模块,具体步骤为:步骤S31,采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块;特征提取方程如公式(1)所示:其中,
步骤S32,将3×3卷积核中提取的特征图
其中,
基于获得的新特征图F得到多尺度残差连接模块,输出方程见公式(3)所示:其中,
5.根据权利要求4所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S4中构建多级损失函数模块,多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成;具体为:步骤S41,计算感知损失,感知损失的公式见公式(4)所示:其中,
步骤S42,计算内容损失,具体公式为公式(5)所示:其中,
步骤S43,计算对抗损失,对抗损失的公式见公式(6)所示:其中,
步骤S44,计算最终的多级损失,具体见公式(7)所示:其中,
6.根据权利要求5所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S6中构建门控卷积模块,具体如下:计算门控卷积值,门控卷积的具体计算过程见公式(9)所示:其中,
7.根据权利要求6所述的基于生成对抗网络的多模态肝脏医学图像扩充算法,其特征是:步骤S7中设计多模态肝脏医学图像数据集扩充模型,对多模态肝脏医学图像数据集扩充模型进行实验和评估;具体如下:步骤S71,将步骤S3至步骤S6构建的模块整合成多模态肝脏医学图像数据集扩充模型,进行测试实验验证模型的可行性和可靠程度;
步骤S72,在步骤S1中数据集上进行实验,获取生成的计算机断层扫描图像和磁共振成像图像;
步骤S73,采用峰值信噪比、结构相似度指数以及平均绝对值指标全面评估生成的计算机断层扫描图像和磁共振成像图像的质量;
步骤S74,利用步骤S73中峰值信噪比、结构相似度指数以及平均绝对值指标去量化生成图像的质量,为算法性能的分析评估提供客观依据。