1.一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,包括以下步骤:图像预处理与数据增强:对皮肤镜图像进行尺寸归一化和噪声抑制,并通过随机旋转、翻转操作扩充数据集;
模型构建:构建融合CNN与Transformer的深度分割网络,包括:特征提取双编码器,用于分别提取基于卷积神经网络的局部特征与基于Transformer的全局特征;聚焦特征交互融合模块,用于实现卷积神经网络特征与Transformer特征之间的互补交互与融合;多尺度上下文注意力模块,用于引入多尺度空间感知能力并增强特征表示;解码器:通过上采样恢复分辨率,并与跳跃连接传递的编码器特征进行通道拼接,经卷积、批归一化及激活函数处理后逐层重建分割结果,最终输出皮肤病变区域的分割概率图;
模型训练:将所述数据集的图像,输入深度分割网络,采用Dice损失与二元交叉熵损失的联合损失函数优化网络权重,结合早停策略防止过拟合;
分割预测:将待分割皮肤镜图像输入训练完成的深度分割网络,输出皮肤病变区域的分割掩码图;
其中,所述多尺度上下文注意力模块,执行如下操作:
特征划分:接收输入特征图,并将其在通道维度上平均划分为四个子特征图,,和,其中每个子特征图的尺寸均为;
多尺度特征提取:通过四个并行分支,通过不同感受野结构分别在所述四个子特征图上捕获不同尺度的图像特征;
特征融合与输出:将四个并行分支输出的特征图、、和在通道维度拼接,形成融合特征图,最终得到输出特征图;
在所述多尺度特征提取的步骤中:
第一分支通过逐点卷积用于对输入特征提取精细特征;
第二分支通过逐通道卷积和逐点卷积操作用于对输入特征进行局部特征提取;
第三分支通过应用逐通道卷积、逐通道空洞卷积、逐点卷积对输入特征进行中等范围的上下文信息提取;
第四分支首先对输入特征下采样提取重要特征,同时保留其位置信息;随后通过逐通道卷积、逐通道空洞卷积、逐点卷积实现大范围建模,再通过位置信息将特征图上采样回原尺寸。
2.根据权利要求1所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述模型构建的步骤中,所述特征提取双编码器包括:Swin Transformer编码器和U-Net编码器;
其中,所述Swin Transformer编码器,包含四层结构,每层均由Swin Transformer块进行特征提取,输出特征维度分别为、、、,用于捕获病灶的长距离依赖关系;
所述U-Net编码器,包括五层结构,每层均由卷积层及池化层组成,输出特征维度分别为、、、、,用于提取病灶的局部细节特征。
3.根据权利要求2所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述模型构建的步骤中,所述多尺度上下文注意力模块,接收U-Net编码器第一层卷积所提取的特征,进行多尺度空间信息的提取与融合;
所述聚焦特征交互融合模块,接收U-Net编码器第二至五层所提取的特征与Swin-Transformer编码器第一至四层所提取的特征,实现逐层融合。
4.根据权利要求3所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述聚焦特征交互融合模块,执行如下操作:特征聚焦:通过SE模块增强特征,对Swin Transformer编码器特征图先进行1×1卷积通道匹配;并对来自U-Net编码器的特征图进行通道注意力增强;
特征交互:生成反向注意力掩码,交叉加权补充遗漏信息;
特征融合:将交互特征与直接相加特征拼接,经1×1卷积输出。
5.根据权利要求4所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述特征聚焦步骤中,将来自Swin Transformer编码器特征图通过一个1×1卷积层进行通道数匹配,随后输入至SE模块以增强其有效特征,方程式如下:;
对于来自U-Net编码器的特征图,则直接输入SE模块进行特征强化,处理过程如下:;
其中,表示1×1卷积操作,表示SE模块,表示Sigmoid激活函数,表示逐通道的元素乘法操作。
6.根据权利要求5所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述特征交互步骤中,将SE模块增强后的Transformer特征和CNN特征分别输入Sigmoid函数以生成注意力掩码;通过对所述注意力掩码取补,得到对应的反向注意力掩码;利用所述反向注意力掩码对异源特征进行交叉加权,计算过程如下:;
;
其中,和分别表示经过通道注意力处理后的Transformer特征图与CNN特征图;符号表示Sigmoid激活函数,J表示全一矩阵,与输出相减构成互补权重;表示逐元素乘法操作。
7.根据权利要求6所述的一种基于特征交互融合的皮肤病变图像分割方法,其特征在于,所述特征融合步骤中,对经过交叉特征加权处理的Transformer特征图与CNN特征图进行逐元素加法融合,并通过1×1卷积生成初步融合特征,作为第一组融合特征;
将聚焦增强后的Transformer特征图与CNN特征图同样进行逐元素加法,得到第二组融合特征;
将第一组融合特征和第二组融合特征进行拼接,通过1×1卷积调整通道数生成融合输出特征图;表达式如下:;
其中,表示特征拼接操作。