1.一种基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,包括:获取待分割皮肤病图像;
将所述待分割皮肤病图像输入皮肤病图像分割模型,输出皮肤病图像分割结果;所述皮肤病图像分割模型为训练过的联合注意卷积神经网络;
所述联合注意卷积神经网络为基于U‑Net的神经网络,所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet‑34作为U‑Net中的编码器,采用空间注意力模块作为U‑Net中对称编码器与解码器之间的跳跃连接,所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块,在解码器中每个特征解码块采用所述金字塔通道注意力模块,所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图,所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。
2.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,所述联合注意卷积神经网络中编码器包括依次连接的第1编码层至第N编码层,还包括依次连接的第1解码层至第N‑1解码层,N为正整数;
所述第N编码层和所述第1解码层连接;
所述空间注意力模块包括第1空间注意力模块至第N‑2空间注意力模块共N‑2个空间注意力模块,第n个空间注意力模块的第一输入端为第n编码层的输出特征,第n个空间注意力模块的第二输入端为第N‑n‑1解码层的输出特征,第n个空间注意力模块的输出端连接第N‑n解码层;n的取值范围为1至N‑2。
3.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,第N‑1编码层和第1解码层之间采用非局部操作。
4.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,各空间注意力模块利用公式 获得空间注意特征图;
l h
其中,x 表示第n编码层的输出特征,x 表示第N‑n‑1解码层的输出特征, 表示空间注H×W H×W意特征图,α1∈[0,1] 表示第一注意系数,α2∈[0,1] 表示第二注意系数,ReLU表示ReLUC激活函数, 表示第一注意力特征图, 表示第二注意力特征图, 表示通道连接;Φ 表示l以C为输出通道数的1×1卷积和批处理归一化,C取与x的通道数相同的值。
5.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,解码层用于进行第一特征图和第二特征图的相加,还用于采用所述特征解码块对相加结果进行解码,所述特征解码块包括依次连接的输入层、第一卷积层、第二卷积层和金字塔通道注意力模块,所述特征解码块还包括第三卷积层,所述第三卷积层的输入端与所述输入层连接,所述第三卷积层的输出与所述金字塔通道注意力模块的输出累加后经过ReLU激活函数后输出;
所述第一卷积层和所述第二卷积层均包括卷积核为3×3的卷积操作,所述第三卷积层包括卷积核为1×1的卷积操作。
6.根据权利要求5所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,所述金字塔通道注意力模块包括金字塔型的多尺度特征提取块、通道注意力权重提取单元和多尺度特征提取单元;
所述金字塔型的多尺度特征提取块用于将输入特征图的通道分为四组,每组通道采用不同大小的卷积核进行卷积操作,并将四组卷积结果在通道维度上拼接,得到第一多尺度特征图;
所述通道注意力权重提取单元用于采用全局平均池化将所述第一多尺度特征图的全局空间信息嵌入到通道描述符中,获得聚合特征,再将所述聚合特征进行内核大小为3的一维卷积,获得多尺度的通道注意力权重,采用激励函数Sigmoid校准所述多尺度的通道注意力权重;
所述多尺度特征提取单元用于将校准后的多尺度的通道注意力权重与所述第一多尺度特征图进行元素乘积运算,获得第二多尺度特征图。
7.根据权利要求6所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,所述多尺度融合注意力模块包括依次连接的卷积单元、上采样单元、通道注意力单元和像素归一化单元;
所述卷积单元用于统一对各所述第二多尺度特征图进行上采样后的特征图的通道数;
所述上采样单元用于对所述卷积单元输出的特征图,统一为设定尺寸并进行通道拼接,获得通道拼接特征图;
所述通道注意力单元用于对所述通道拼接特征图提取通道注意力特征;
所述像素归一化单元用于基于所述通道注意力特征提取所述通道拼接特征图的空间注意力特征,对所述空间注意力特征进行Softmax激活操作,获得注意特征图,对所述注意特征图进行卷积操作,获得皮肤病图像分割结果。
8.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,所述联合注意卷积神经网络的训练过程包括:获取皮肤病变图像的数据集;
将所述数据集中每个皮肤病变图像调整为第一设定尺寸;
将所述第一设定尺寸的皮肤病变图像随机裁剪为第二设定尺寸;
对所述第二设定尺寸的皮肤病变图像进行数据增强,获得数据增强后的数据集;
采用数据增强后的数据集训练所述联合注意卷积神经网络,将训练好的联合注意卷积神经网络作为皮肤病图像分割模型。
9.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法,其特征在于,采用混合损失函数训练所述联合注意卷积神经,所述混合损失函数为包括地图级损失、补丁级损失和像素级损失三个层面的损失函数。
10.一种基于联合注意卷积神经网络的皮肤病图像分割系统,其特征在于,包括:待分割皮肤病图像获取模块,用于获取待分割皮肤病图像;
皮肤病图像分割模块,用于将所述待分割皮肤病图像输入皮肤病图像分割模型,输出皮肤病图像分割结果;所述皮肤病图像分割模型为训练过的联合注意卷积神经网络;
所述联合注意卷积神经网络为基于U‑Net的神经网络,所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet‑34作为U‑Net中的编码器,采用空间注意力模块作为U‑Net中对称编码器与解码器之间的跳跃连接,所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块,在解码器中每个特征解码块采用所述金字塔通道注意力模块,所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图,所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。