1.基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,所述方法包括以下步骤:
步骤1:对视网膜图像进行预处理;
步骤2:预处理后的视网膜图像使用随机水平翻转、垂直翻转、角度范围为[0,360]的随机旋转,以及随机裁剪的数据增强的方法增加训练图像的数量,得到模型训练集;
步骤3:对现有U-Net网络在编码器、解码器、跳跃连接和损失函数三方面结合视网膜图像特点进行改进,增加多尺度残差输入MRI模块、多尺度残差输出MRO模块和多尺度均值池化模块;在编码器各层中的MRI模块分别处理不同尺度输入图像,各层MRI模块的输出分别传递给由不同膨胀率膨胀卷积、DropBlock、批量归一化BN和Relu激活函数组合而成的组合膨胀卷积DC模块,得到编码器各层输出特征,编码器各层通过跳跃连接DRes Path模块与对应解码器层的DC模块相连,除解码器第一层外,解码器各层多尺度残差输出MRO模块接收对应解码器层DC模块输出的特征,并生成不同尺度的输出特征图,加权融合不同尺度输出特征图得到视网膜分割结果图像;
步骤3采用DRes Path模块替换U-Net中的跳跃连接,在跳跃连接中进行特征变换,从而能更好融合特征并保留重要细节信息;DRes Path模块先将编码器对应层输出特征与此特征膨胀卷积后的结果相融合,然后再将融合后的特征传入解码器对应层;在DRes Path模块中引入残差连接;
步骤4:利用二进制交叉熵损失函数和dice损失函数组成混合损失函数,使用步骤2得到的训练数据集对步骤3设计的网络模型进行训练,直至混合损失函数收敛最优。
2.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤1中预处理操作如下:灰度处理后使用限制对比度的自适应直方图均衡方法和伽马校正方法以增强图像对比度,突出视网膜血管结构。
3.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3在编码器部分引入多尺度信息,将不同尺度下采样后的输入图像分别传递给多尺度残差输入MRI模块,用于提取不同尺度的特征;
所述多尺度残差输入MRI模块由两层卷积操作组成,每层卷积操作后都应用DropBlock、批量归一化和线性整流激活函数;第一层采用膨胀卷积增加图像通道数,以获取较高级别表示特征;
第二层1×1卷积操作减少通道数并压缩信息,以减少网络复杂度和提高计算效率,避免深度爆炸问题,这两个连续卷积层的序列在输入图像上执行3次,每次使用不同膨胀率,随后联合拼接这3个输出特征图,并通过残差连接将联合拼接的特征图与原始输入图像进行像素相加,以充分利用多尺度特征,增强特征传递能力,得到MRI模块输出特征图,为确保MRI模块输出特征与拼接的膨胀卷积模块输出特征相匹配,MRI模块通道数量随着网络深度增加而增加。
4.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3除解码器第一层外,在解码器各层的组合膨胀卷积模块后添加多尺度残差输出MRO模块,用于提取不同尺度的特征;
所述多尺度残差输出MRO模块在MRI模块基础上增加了上采样方法,以确保每个MRO输出特征图与解码器3DC块输出特征图尺寸一致,3个MRO模块和解码器中的3DC模块的输出均为1通道特征图,将其加权拼接形成一个4的通道特征图,其中加权系数w1~w4取值为0至1,最终该特征映射通过应用1×1卷积和Sigmoid激活函数进行处理,产生一个取值范围在0到1之间的概率值图像。
5.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3网络引入由不同膨胀率的膨胀卷积、DropBlock、批量归一化BN和Relu激活函数组合而成的组合膨胀卷积DC模块,膨胀率分别为1、2、3的这种组合结构命名为1DC模块、2DC模块和3DC模块,这些DC模块能够加速网络训练收敛,并有效缓解卷积网络过拟合问题;
步骤3改进后的U-Net模型在左侧编码器中随着深度增加逐渐增加DC模块的膨胀率,而在右侧解码器中随着深度减少逐渐降低DC模块的膨胀率。
6.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3在U-Net的每个编码器和解码器的卷积层之间添加一个多尺度均值池化MAP模块,多尺度均值池化MAP模块来解决分割对象大小变化问题,MAP模块输出,其中c为图像通道数,h为图像高度,w为图像宽度,Z计算方法如下:;
;
;
其中,表示输入MAP模块的特征,U表示上采样操作,为均值池化操作,其中表示池化核的大小,且,和表示卷积核,[ ]表示连接操作,代表标准卷积;
金字塔结构的MAP模块对输入特征图S进行编码,以捕捉全局上下文信息,该金字塔结构使用四个不同大小感受野进行池化操作,为了平衡参数增加,每层金字塔池化后特征图通过一个1×1卷积降维,将通道数降低为原来的1/N,N为金字塔层数,然后通过双线性插值对1×1卷积结果进行上采样,最后,将输入特征与所有上采样特征图拼接得到;然而中不同特征图之间存在语义不兼容问题,直接融合可能导致不准确分割,为了有效融合特征,MAP模块引入另一个1×1卷积层对进行处理,该卷积层在降低特征维度同时实现特征有效融合。
7.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3中U-Net网络采用二进制交叉熵损失函数Lbce和dice损失函数Ldice组成混合损失函数,二进制交叉熵损失函数Lbce和dice损失函数Ldice的计算分别如下式所示:;
;
其中是模型预测值,,其值反映了像素预测为血管像素的可能性:值越大,可能性越大;是标签,取值是0或1;n为图像的像素数量;总损失函数表示为:。
8.如权利要求1所述的基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法,其特征在于,步骤3模型训练期间使用Adam优化器,学习率设置为0.000001至0.001,网络训练迭代次数为150至250次,批量大小4至8,每个数据集的DropBlock的丢弃块大小设置为4至7,并保持每个神经元的输出概率为0.1至0.9。