1.一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法,其特征在于,该方法包括以下步骤:构建多任务学习网络模型;其中,多任务学习网络模型包括共享底层网络、关键解剖结构检测器和超声切面分类器;
将胎儿超声数据集输入到多任务学习网络模型中进行检测,并经过共享底层网络进行特征提取;
将完成特征提取后的特征图通过共享网络特性进行共享特征,并将共享后特征图分别输入到关键解剖结构检测器和超声切面分类器中,进行对应任务的检测;在关键解剖结构检测器输出检测并框选完目标区域后的图像,在超声切面分类器中输出图像的质量与图像类型,将两者输出进行结合对输出的图像进行解析;
利用超声图像质量分析系统界面将输出图像和解析结构结果进行解析完成辅助超声图像检测;
其中,所述共享底层网络包括:
输入层,输入输入层的图像是原始图像采用马赛克增强和图像自适应预处理后的数据集图像;
卷积层结构,共享底层网络由五个卷积核为3的卷积层和一个卷积核为6的卷积层组成;
残差网络结构,整个共享底层网络共由4个卷积核为1、步长为1的含卷积层的残差边的残差结构块组成,其中,残差结构块中主干部分由继续嵌套N个残差边不含残差结构的残差块组成;
注意力机制块,在YoloV5主干网络第五层卷积层前引入一个GAM通道、空间混合注意力机制,用于增强特征提取,并经过第五个卷积层和残差层输出底层共享的特征图;其中,共享底层网络每一层的激活函数为SiLU激活函数;
注意力机制块为GAM混合注意力机制,在GAM混合注意力机制中融入了多层感知机模块,当输入的特征图经过GAM通道输出后与原始特征图进行按特征点进行乘积,得到的特征图与原始特征图在尺寸上保持一致,并将得到的特征图作为GAM混合注意力机制的输入,在GAM混合注意力机制中,使用卷积核为7的卷积层对特征图升维和降维,即使用膨胀卷积替换原始卷积提高卷积速度。
2.根据权利要求1所述的方法,其特征在于:
在生成共享底层网络后,结合SPPF、FPN和PAN增融合多尺度特征,并使用YoloV5提供的9组锚框生成关键解剖结构检测器;
其中,在共享底层网络和关键解剖结构检测器之间存在一个空间特征金字塔池化层(SPPF)的过渡层,用于将共享特征层尺寸固定和增强特征提取,为后续FPN提供丰富的特征层。
3.根据权利要求2所述的方法,其特征在于:
FPN包括卷积层、残差层、上采样层和特征融合层,对来自SPPF层的特征层利用卷积层和上采样层分别对特征层进行通道数和尺寸调整,融合来自共享网络的不同尺度特征,再利用残差层进行融合后的特征层特征提取,从而实现FPN的构建;其中,在FPN中依然会输出三个不同尺度的特征层,FPN最大尺度的特征层既作为PAN的输入特征,也作为目标检测网络的输出,中、小尺度特征层作为PAN的输入特征层;
PAN包括卷积层、残差层和特征融合层,对来自SPPF层的最大尺度的特征利用卷积层调整其通道数与来自PAN其他尺度的特征层进行融合,通过残差层提取融合后的特征,从而构建PAN;其中,在PAN结构中会输出两个不同尺度的特征层用于目标检测。
4.根据权利要求1所述的方法,其特征在于,对多任务学习网络模型进行训练,包括:步骤S11,对于使用YoloV5网络开源优秀的模型参数初始化GBI-YoloV5的共享底层络,并冻结主干网络参数,单独训练解剖关键区域检测模块;
步骤S12,使用步骤S11训练好的网络模型,初始化网络的共享底层网络,继续单独训练解剖关键解剖结构检测器,此次训练不冻结共享底层网络;
步骤S13,使用步骤S12训练好的网络模型初始化共享底层网络,并冻结共享底层网络和关键解剖结构检测器,单独训练超声切面分类器;
步骤S14,步骤S13中训练好的模型,为多任务学习网络模型的模型训练结果,使用此结果初始化整个网络即可解析胎儿心脏超声图像质量检测。
5.根据权利要求1所述的方法,其特征在于:
在将共享后的特征图输入超声切面分类器后,超声切面分类器使用Conv Block残差网络和Identity Block残差网络进行学习特征并调节特征的尺寸使得与其他尺度特征大小等同,调整后的特征图与尺寸相对于尺度特征图按特征点进行相加特征融合,在融合了三种尺度特征后使用平均池化展平特征图,最后使用一层全连接层进行输出分类结果。
6.根据权利要求1所述的方法,其特征在于:
在超声切面分类器进行分类任务时,采用由softmax和交叉熵损失函数共同组合而成的Softmax交叉熵损失函数替换交叉熵损失函数,对于softmax,表示为公式(3-2):(3-2)
其中,j表示类别索引,z为全连接层输出的离散概率分布结果,为全连接层输出的第k个值;
对于交叉熵损失函数,表示为公式(3-3):
(3-3)
其中,公式(3-3)的为公式(3-2)中的输出,为分类的真实值,公式(3-3)的输出即为分类的最终损失。
7.根据权利要求6所述的方法,其特征在于:
在关键解剖结构检测器中,整个目标检测的损失构成包括分类损失、目标置信度损失和定位损失,因此,检测器中整体的损失函数定义为公式 (3-4):(3-4)
其中,N为检测层个数,B为某类标签分配到的锚框的目标个数,S×S为当前尺度被分割成网格个数,Lbox、Lobj和Lcls分别代表目标置信度损失、置信度损失和分类损失三种损失,、和分别代表上述三种损失的权重;
对于目标置信度损失,主要采用CIOU矩形框损失,计算原理表示为公式(3-5):(3-5)
对于置信度损失和分类损失均采用二元交叉熵损失函数求解,该损失函数的计算原理表示为公式(3-6):(3-6)
其中,n为检测目标分类个数,为目标分类的标签,为标签的概率,b和bgt分别表示检测时锚框和真实框,W、H 、wgt和hgt分别代表锚框宽高和真实框宽高,ρ为锚框和真实框的中心点之间的距离,d,c分别两个框边界的最远距离,α为权重系数。
8.根据权利要求1所述的方法,其特征在于,搭建超声图像质量分析系统界面,包括:使用Anaconda软件源为Python环境安装相应的PyQt5所需的虚拟环境,通过PyCharm软件配置相应的PyQt5组件,该组件包括QT Design和Pyuic组件,即为PyQt5开发组件;
通过运行QT Design组件选择合适的窗口进行窗口组件布局,在QT Design完成设计后以ui文件保存,使用Pyuic组件把ui直接转换成Python脚本,该脚本内以类形式进行存储,因此Python使用类方法即可调用此脚本,并使用Python编程语言完成分布式并行处理、各控件功能、系统初始化功能,从而实现PyQt5设计可视化系统设计。