1.基于深度学习的儿童肺肾脏图像分割方法,其特征在于,所述方法包括:获取儿童的肺部和肾脏医疗图像,作为待诊图像;对待诊图像进行增强和倾斜校正的预处理,得到待分割图像;
获取训练图像,并对训练图像进行一次分割,得到肺部原始图像和肾脏原始图像;ResNet34网络为主干网络,构建编码器和解码器,得到肺部图像分割模型;将肾脏原始图像作为CNN网络和Transformer网络的编译器输入,优化Transformer网络的全局检索能力,得到肾脏图像分割模型;
构建肾脏图像分割模型的具体步骤如下:
将肾脏原始图像作为CNN网络编译器的输入,得到局部特征F(CNN);
将肾脏原始图像作为Transformer网络编译器的输入,得到混合特征F(Trans);
将F(CNN)与F(Trans)调整至相同尺寸,并生成查询特征FQ(CNN)和支持特征FS(Trans);
根据FQ(CNN)和FS(Trans)计算注意力权重W(Q)和W(S)并进行加权融合,得到融合特征Ec;
引入语义蒸馏损失,根据CNN网络和Transformer网络在编码阶段生成的预测图进行语义蒸馏,对Transformer网络进行掩码学习,优化CNN网络的全局特征检索能力;
掩码学习的步骤如下:
基于融合特征Ec,在CNN网络和Transformer网络编译器的中间层进行上采样,得到与Ec尺寸相同的掩码图P(CNN)与P(Trans);
使用Softmax函数计算P(CNN)与P(Trans)的掩码分布,并用KL散度调整Transformer网络编译器中的权重矩阵最小化两种掩码图的分布差异,使P(CNN)的掩码分布逼近P(Trans)的掩码分布,完成Transformer网络的掩码学习;
将肾脏原始图像二次作为Transformer网络编译器的输入,得到混合特征F(kid);以DiceLoss函数为损失函数计算融合特征F(kid)的损失值;
将肾脏原始图像分为训练集和验证集,训练肾脏图像分割模型,并用梯度下降算法更新Transformer网络编译器的权重矩阵,直至损失值收敛;
使用肺部图像分割模型和肾脏图像分割模型处理待分割图像,分割肺部和肾脏的组织区域;获取儿童肺部和肾脏的彩色图像和运动视频,根据彩色图像提取肺部和肾脏的静态特征,根据运动视频提取肺部和肾脏的动态特征;反馈组织区域以及肺部和肾脏的静态特征和动态特征。
2.根据权利要求1所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,对待诊图像进行增强的处理步骤如下:获取待诊图像的像素L×W;把待诊图像转化成灰度值,得到待诊图像的灰度矩阵;
计算图像灰度矩阵中各像素点灰度值的均值μ,标准差σ;
计算L和W的最大公约数co,并对co进行连续平方根运算,直至co的平方根小于10,得到扫描窗口的阶数J;
以R(1,1)为起点,在灰度矩阵中取出J×J的单元矩阵;
根据μ和σ,分别对单元矩阵进行均值、中值和高斯滤波,得到矩阵(1)、矩阵(2)和矩阵(3);
计算单元矩阵各像素点与矩阵(1)至矩阵(3)对应像素点灰度值差值的绝对值,调整灰度矩阵中各元素的灰度值,得到增强图像;
若单元矩阵与矩阵(1)中对应像素点灰度值差值的绝对值最小,则把单元矩阵中的元素替换为矩阵(1)中元素;
同理,若单元矩阵与矩阵(3)中对应像素点灰度值差值的绝对值最小,则把单元矩阵中的元素替换为矩阵(3)中元素;
若单元矩阵与矩阵(1)至矩阵(3)中对应像素点灰度值差值的绝对值有两个或三个并列最小,则单元矩阵中的元素不变;
对增强后的图像使用霍夫变换,检测图像边缘并调整图像的旋转角度,使增强后图像中物体的中轴方向与图像的水平边缘垂直,得到待分割图像。
3.根据权利要求1所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,对训练图像进行一次分割的具体步骤如下:对训练图像中的肺部图像进行一次分割,确定肺部区域;
获取肺部图像的像素点数量ni,获取每个像素点的灰度值pi(1)~pi(ni);
根据肺部图像像素点的灰度值,迭代判定肺部区域像素点的阈值,迭代流程如下:流程a1:提取pi(1)~pi(ni)中的最大值pi(max)和最小值pi(min),设置阈值的初始值pt(0):;
流程a2:在pi(1)~pi(ni)中,将灰度值大于或等于pt(0)作为A类像素值,将灰度值小于pt(0)作为B类像素值;
流程a3:计算A类像素值的平均灰度值pi(A),B类像素值的平均灰度值pi(B);
将pt(0)的值更新为pt(1):;
流程a4:判断是否成立;
若成立,则在pi(1)~pi(ni)中,把灰度值大于或等于pt(1)的像素点设置为1,将灰度值小于pt(1)的像素点设置为0;
若不成立,则重复流程a2和流程a3的阈值更新过程,直至第z次和第(z+1)次更新后的阈值pt(z)和pt(z+1),满足;
其中,ε表示判定系数;
检索肺部图像中像素点灰度值为1的区域,得到待分割图像;
对待分割图像进行尺寸变换,并进行比例缩放、水平或垂直翻转、角度旋转以及亮度或对比度变化的数据增广处理,得到肺部原始图像;
处理训练图像中的肾脏图像,得到肾脏原始图像。
4.根据权利要求1所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,构建肺部图像分割模型的具体步骤如下:以ResNet34网络为主干网络,构建肺部图像分割模型的编码器和解码器;
编码器的构建过程如下:
将肺部原始图像作为ResNet34网络的输入,并通过卷积层逐级降低肺部原始图像的分辨率,并提取肺部原始图像在最后一级卷积层的特征图X(end);
针对ResNet34网络的最后一级卷积层使用查询向量、键向量、值向量和通道的权重矩阵计算最后一级卷积层特征图的全局相关性;
基于X(end)的全局相关性,使用SE模块更新ResNet34网络通道的权重矩阵,得到肺部原始图像的全局特征Fg。
5.根据权利要求4所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,解码器的构建步骤如下:获取反卷积层的数量D;
使用反卷积层,生成X(end)的每级的解码特征图FD(1)~FD(D);
在解码器中引入MSAM机制,对解码特征进行拼接,生成通道权重向量gF和空间权重向量lF:gF的计算式为:
;
lF的计算式为:
;
其中,pool(C)表示通道池化,pool(H)表示维度池化;concat表示拼接;
融合权重向量gF和lF,得到融合特征Fe;
;
在反卷积层的中间层中,引入边界不确定性模块,确定肺部器官区域;
使用sigmoid函数计算中间层每级反卷积层解码特征图FD(2)~FD(D-1)的概率p(FD(2))~p(FD(D-1));
判断是否成立,为FD(2)特征图分配区域;
若成立,则FD(2)对应区域为肺部器官区域;
若不成立,则FD(2)对应区域为背景区域;
同理,为FD(2)~FD(D-1)特征图分配区域;
对特征图FD(2)~FD(D-1)进行加权处理,并将加权后的特征图作为D级反卷积层的输入。
6.根据权利要求1所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,提取静态特征的具体步骤如下:肺部的静态特征包括:颜色特征、纹理特征和轮廓特征;
提取肺部的颜色特征:
将肺部的彩色图像转换到HSV空间,并调用OpenCV库中颜色直方图生成函数,统计肺部的彩色图像中不同颜色出现的频率;调用颜色矩生成函数,统计并计算色调、饱和度和明度的全局统计量以及颜色分布直方图,得到肺部的颜色特征;
纹理特征:
将肺部的彩色图像转换为灰度图像,计算GLCM矩阵;基于GLCM矩阵,提取对比度、相关性、能量和同质性等特征参数:再调用Gabor滤波器和小波变换滤波器,提取肺部的纹理特征;
轮廓特征:
调用Canny边缘检测算法,计算肺部彩色图像中每个像素点的梯度强度和方向,再调用非极大值抑制算法和双阈值检测算法,一次提取肺部彩色图像的边缘轮廓,得到肺部的轮廓特征;
提取肾脏的静态特征。
7.根据权利要求1所述的基于深度学习的儿童肺肾脏图像分割方法,其特征在于,提取动态特征的具体步骤如下:肺部的动态特征包括:运动特征、力学特征和功能特征;
在肺部运动图像中,计算每一帧肺部组织和肌肉的三维位移矢量,作为肺部的运动特征;
三维位移矢量包括:最大位移、平均运动幅度和运动速度;
最大位移:表示肺部组织和肌肉在呼吸周期中的移动距离;
平均运动幅度:表示肺部组织肺组织的扩张和收缩程度;
运动速度/加速度:表示呼吸频率;
通过配准算法从肺部运动图像中提取每一帧肺部组织和肌肉的位移场,基于位移场梯度推导Green-Lagrange应变张量,提取体积应变和剪切应变,作为肺部的力学特征;
体积应变:表示肺泡的扩张率;
剪切应变:表示多个肺泡的泡壁随呼吸运动而产生的相对滑动;
基于每一帧肺部组织和肌肉的位移幅值和肺部的整体收缩频率,计算儿童单次呼吸的进气量和呼气量,作为肺部的功能特征;
将肾脏随呼吸运动时肾实质、肾血管以及肾盂和输尿管的运动变化作为感测对象,提取肾脏的动态特征。