1.一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,所述方法基于分类预测模型实现,所述分类预测模型由多尺度特征提取模块、特征金字塔模块、自适应特征融合模块和Softmax分类器构成,所述方法包括如下步骤:步骤1、将皮肤病理图像数据集中的图像输入多尺度特征提取模块,获得并输出第二阶段特征、第三阶段特征和第四阶段特征;
所述多尺度特征提取模块分为四个阶段,第一阶段由局部聚合模块组成,第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成;
步骤2、将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块,获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征;
步骤3、将第四阶段特征、特征金字塔的第一层输出特征和特征金字塔的第二层输出特征输入自适应特征融合模块,分别进行自适应平均池化层的处理后再将所有处理结果进行拼接,得到拼接后的特征;
将拼接后的特征通过逐点卷积处理,获得并输出最终的特征;
步骤4、将最终的特征输入Softmax分类器,输出分类结果,完成分类预测;
所述步骤2中,将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块,获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征,其中,特征金字塔模块中的交叉注意力计算公式为:;
其中,表示经过交叉注意力计算,表示通过映射矩阵对序列得到的查询向量,表示通过映射矩阵对序列得到的键向量,表示通过映射矩阵对序列得到的值向量,表示经过Softmax函数处理,表示转置,表示键向量的维度;
其中,将第二阶段特征、第三阶段特征和第四阶段特征输入特征金字塔模块,获得并输出特征金字塔模块的第一层输出特征和特征金字塔模块的第二层输出特征,具体步骤如下:将第四阶段特征通过上采样操作得到第四阶段上采样特征,对应过程存在的关系式为:;
其中,表示上采样操作,表示第四阶段上采样特征,表示第四阶段特征;
将第三阶段特征和第四阶段上采样特征进行交叉注意力计算,得到融合了第三阶段特征与第四阶段上采样特征的融合特征,对应过程存在的公式为:;
其中,表示融合了第三阶段特征与第四阶段上采样特征的融合特征,表示第三阶段特征;
将第四阶段特征和融合了第三阶段特征与第四阶段上采样特征的融合特征进行残差连接,获得并输出特征金字塔模块的第一层输出特征,对应过程存在的关系式为:;
其中,表示特征金字塔模块的第一层输出特征,表示残差连接;
对特征金塔模块的第一层输出特征进行上采样处理,得到特征金字塔模块的第一层上采样特征,对应过程存在的关系式为:;
其中,表示特征金字塔模块的第一层上采样特征;
将第二阶段特征和特征金字塔模块的第一层上采样特征进行交叉注意力计算,得到融合了第二阶段特征与特征金字塔模块的第一层上采样特征的融合特征,对应过程存在的关系式为:;
其中,表示融合了第二阶段特征与特征金字塔模块的第一层上采样特征的融合特征;
将特征金字塔模块的第一层输出特征和融合了第二阶段特征与特征金字塔模块的第一层上采样特征的融合特征进行残差连接,获得并输出特征金字塔模块的第二层输出特征,对应过程存在的关系式为:;
其中,表示特征金字塔模块的第二层输出特征。
2.根据权利要求1所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在所述步骤1中,多尺度特征提取模块分为四个阶段,第一阶段由局部聚合模块组成,第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成,所述局部聚合模块的具体构成如下:局部聚合模块由一个规则网络块组成,规则网络块依次由卷积核大小为1的卷积层、归一化层、ReLu函数、卷积核大小为3的组卷积层、归一化层、ReLu函数和卷积核大小为1的卷积层连接而成。
3.根据权利要求2所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在所述步骤1中,多尺度特征提取模块分为四个阶段,第一阶段由局部聚合模块组成,第二阶段、第三阶段和第四阶段均由全局-局部融合模块组成,全局-局部聚合模块的具体构成如下:全局-局部聚合模块由R个规则网络块串联作为局部聚合,随后依次连接特征重构层、Transformer块和特征重构层。
4.根据权利要求3所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在所述步骤1中,将皮肤病理图像输入多尺度特征提取模块,获得并输出第二阶段特征、第三阶段特征和第四阶段特征的具体步骤如下:将皮肤病理图像数据集中的图像输入多尺度特征提取模块,经过第一阶段的局部聚合模块,得到第一阶段特征;
将第一阶段特征输入第二阶段的全局-局部融合模块,获得并输出第二阶段特征;
将第二阶段特征输入第三阶段的全局-局部融合模块,获得并输出第三阶段特征;
将第三阶段特征输入第四阶段的全局-局部融合模块,获得并输出第四阶段特征。
5.根据权利要求1所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在所述步骤3中,将第四阶段特征、特征金字塔的第一层输出特征和特征金字塔的第二层输出特征输入自适应特征融合模块,分别进行自适应平均池化层的处理后再将所有处理结果进行拼接,得到拼接后的特征,对应过程存在的关系式为:;
其中,表示拼接后的特征,表示拼接操作,表示自适应平均池化操作。
6.根据权利要求5所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在所述步骤3中,将拼接后的特征通过逐点卷积处理,获得并输出最终的特征,对应过程存在的关系为:;
其中,表示最终的特征,表示经过ReLu函数处理,表示归一化操作,表示通过卷积操作。
7.根据权利要求6所述的一种联合异构网络与特征精化的皮肤病理图像诊断方法,其特征在于,在执行步骤4的过程中使用的分类损失表达式为:;
其中,表示多项损失函数,表示样本属于第类的概率,表示分类的类别数,表示多项式系数,表示微扰项。