1.一种近视性黄斑牵引性病变分级方法,其特征在于,包括:
将待分级OCT图像通过MTM分级模型的卷积神经网络,提取各个特征编码阶段的输出特征图;
将最后一个特征编码阶段的输出特征图通过MTM分级模型的方向感知注意力模块,提取最后一个特征编码阶段的方向感知注意力特征图,包括:将最后一个特征编码阶段的输出特征图进行通道平均池化,得到最后一个特征编码阶段的空间特征;
将最后一个特征编码阶段的空间特征分别通过1×3水平卷积核、3×1垂直卷积核,提取最后一个特征编码阶段的水平方向特征图、垂直方向特征图;
将最后一个特征编码阶段的水平方向特征图、垂直方向特征图逐元素相加后,通过Sigmoid激活函数,生成最后一个特征编码阶段的空间注意力权重;
将最后一个特征编码阶段的空间注意力权重与方向感知注意力模块的输入特征图逐元素相乘,得到最后一个特征编码阶段的空间特征图;
将最后一个特征编码阶段的空间特征图通过通道注意力模块,提取最后一个特征编码阶段的通道特征图;
通过可学习参数对最后一个特征编码阶段的输出特征图加权后,与该特征编码阶段的通道特征图逐元素相加,得到最后一个特征编码阶段的方向感知注意力特征图;
将最后一个特征编码阶段的方向感知注意力特征图通过MTM分级模型的分类器,得到MTM分级结果。
2.根据权利要求1所述的一种近视性黄斑牵引性病变分级方法,其特征在于,所述将最后一个特征编码阶段的空间特征图通过通道注意力模块,提取最后一个特征编码阶段的通道特征图,包括:将最后一个特征编码阶段的空间特征图依次通过全局平均池化、多层感知机,得到最后一个特征编码阶段的Avg-MLP处理特征图;
将最后一个特征编码阶段的空间特征图依次通过全局最大池化、多层感知机,得到最后一个特征编码阶段的Max-MLP处理特征图;
将最后一个特征编码阶段的Avg-MLP处理特征图与Max-MLP处理特征图分别与其对应的可学习参数加权处理后,逐元素相加,并通过Sigmoid激活函数,得到最后一个特征编码阶段的通道上的特征权重;
将最后一个特征编码阶段的通道上的特征权重与该特征编码阶段的空间特征图逐元素相乘,得到最后一个特征编码阶段的通道特征图。
3.根据权利要求1所述的一种近视性黄斑牵引性病变分级方法,其特征在于,MTM分级模型的训练过程包括:将MTM分级模型作为自蒸馏模型的主干网络,在主干网络的卷积神经网络前个特征编码阶段后均设置依次连接的方向感知注意力模块、辅助分支,得到自蒸馏模型;其中,为卷积神经网络的特征编码阶段数;
获取OCT图像训练集,将OCT图像训练集划分为多个批次;
将各批次样本通过自蒸馏模型,利用主干网络输出的Logits分布、每个辅助分支输出的Logits分布,对自蒸馏模型训练;
将训练好的自蒸馏模型中的主干网络,作为目标MTM分级模型。
4.根据权利要求3所述的一种近视性黄斑牵引性病变分级方法,其特征在于,通过结构知识蒸馏,对自蒸馏模型训练,包括:将当前批次样本通过自蒸馏模型,得到主干网络中卷积神经网络最后一个特征编码阶段的方向感知注意力特征图、主干网络输出的Logits分布、每个辅助分支内下采样模块输出的下采样后的方向感知注意力特征图;
将所有下采样后的方向感知注意力特征图与最后一个特征编码阶段的方向感知注意力特征图沿通道维度拼接后,依次通过1×1卷积层、全连接层,得到总教师Logits分布,并将其转化为总教师输出概率分布;
将主干网络输出的Logits分布转化为主干网络的输出概率分布;
以总教师输出概率分布与主干网络的输出概率分布之间的 KL 散度,作为结构知识蒸馏损失函数,对自蒸馏模型进行训练。
5.根据权利要求4所述的一种近视性黄斑牵引性病变分级方法,其特征在于,结构知识蒸馏损失函数公式为:,
其中,为结构知识蒸馏损失函数,为KL 散度,为总教师输出概率分布,为主干网络的输出概率分布,为结构损失温度参数,为的平方,为MTM类别数,为MTM类别索引,为总教师输出概率分布中类别的概率,为主干网络的输出概率分布中类别的概率。
6.根据权利要求3所述的一种近视性黄斑牵引性病变分级方法,其特征在于,获取OCT图像训练集,将OCT图像训练集划分为多个批次,包括:随机生成采样概率,判断是否满足当前批次所包含的类别数为0或采样概率小于设定概率阈值;
若满足,则在OCT图像训练集中任意选择一个类别,作为目标类别;
若不满足,则在当前批次所包含的类别中任意选择一个类别,作为目标类别;
判断OCT图像训练集中目标类别对应样本的数量是否大于0,若大于,则在目标类别对应样本中任意选取一个样本,作为当前批次样本,并在OCT图像训练集中删除该样本;若小于等于,则重新选择目标类别;
直至当前批次所包含的样本数等于预设样本数,得到当前批次所有样本。
7.根据权利要求6所述的一种近视性黄斑牵引性病变分级方法,其特征在于,通过当前批次所有样本的类别感知对比学习损失,对自蒸馏模型训练,包括:将当前批次样本通过自蒸馏模型,得到当前批次样本对应的主干网络中卷积神经网络最后一个特征编码阶段的方向感知注意力特征图、每个辅助分支内下采样模块输出的下采样后的方向感知注意力特征图;
将当前批次样本对应的主干网络中卷积神经网络最后一个特征编码阶段的方向感知注意力特征图、每个辅助分支内下采样模块输出的下采样后的方向感知注意力特征图进行批归一化后,沿通道维度进行拼接,并进行归一化操作,得到当前批次样本对应的归一化特征;
选择当前批次内任意样本作为锚点,将与其类别相同的样本作为该样本的正样本,类别不同的作为该样本的负样本,通过当前批次所有样本的类别感知对比学习损失,对自蒸馏模型训练。
8.根据权利要求3所述的一种近视性黄斑牵引性病变分级方法,其特征在于,通过历史知识蒸馏,对自蒸馏模型训练,包括:设定总训练轮次为,将当前批次样本通过第个训练轮次对应的自蒸馏模型,得到第个训练轮次对应的主干网络与各个辅助分支输出的Logits分布;其中,为训练轮次索引,;
基于当前批次样本的真实标签、第个训练轮次对应的主干网络与各个辅助分支输出的Logits分布、第个训练轮次的历史信息权重系数,计算第个训练轮次对应的主干网络与各个辅助分支输出的目标Logits分布;
将第个训练轮次对应的主干网络与各个辅助分支输出的目标Logits分布,转化为第个训练轮次对应的主干网络与各个辅助分支的教师概率分布;
将第个训练轮次对应的主干网络与各个辅助分支输出的Logits分布,转化为第个训练轮次对应的主干网络与各个辅助分支的学生概率分布;
以第个训练轮次对应的每个辅助分支的教师概率分布、学生概率分布之间的 KL 散度,作为第个训练轮次对应的历史知识蒸馏损失函数,对第个训练轮次对应的自蒸馏模型进行训练,将第个训练轮次对应的训练好的自蒸馏模型,作为目标自蒸馏模型。
9.根据权利要求3所述的一种近视性黄斑牵引性病变分级方法,其特征在于,同时通过结构知识蒸馏、历史知识蒸馏、类别感知对比学习对自蒸馏模型进行训练。
10.一种近视性黄斑牵引性病变分级系统,其特征在于,包括:
存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现所述权利要求1至9中任一项所述一种近视性黄斑牵引性病变分级方法的步骤。