1.一种基于深度学习的脊柱区域超声图像语义分割方法,其特征在于,包括以下步骤:
步骤A、构建数据集:将采集到的脊柱区域超声视频数据转换成JPG格式的图片集合,选择棘突和横突区域清晰的图像进行预处理,并对图像中的棘突和横突区域进行标注,得到对应标签图,即棘突类标签和横突类标签,利用棘突类标签和横突类标签生成辅助类标签,构建出脊柱区域超声图像数据集,数据集中图像尺寸为448pix×448pix;
步骤B、划分数据集:将得到的数据集划分成三个部分,即训练集、验证集和测试集;
步骤C、生成概率热图:利用步骤B中得到的训练集中各类标签生成可反映先验知识的概率热图;
步骤D、搭建神经网络模型:设计可结合步骤C中得到的概率热图以提高分割性能的神经网络模型SpineHNet;
步骤E、模型训练与验证:使用步骤B中划分的训练集和验证集对步骤E中设计的神经网络模型SpineHNet进行训练和验证;
步骤F、模型测试:使用步骤B中划分的测试集对训练好的神经网络模型SpineHNet的性能进行测试;
所述步骤C中,生成概率热图的具体操作为:设置一个与数据集中图像尺寸相同的全0矩阵Z和初始中心点坐标CO;对于训练集中每一张存在辅助类的标签图,得到图中非背景类点的坐标集合M1,计算标签图中辅助类区域的质心PA,并计算PA与CO之间的横坐标差值dx、纵坐标差值dy,将M1中各项的横、纵坐标分别与dx、dy相减,得到新的坐标集合M2,将M2中各项坐标对应到矩阵Z中,对于不超出矩阵Z范围的坐标位置,将其值加1;将矩阵Z中各项值除以训练集中存在辅助类标签的图像的总数,得到概率热图H;
所述步骤D中,神经网络模型SpineHNet包括两个处理阶段,两个处理阶段均以Encoder-Decoder类型的网络作为骨干网络;
神经网络模型SpineHNet的处理流程为:输入图像经过第一阶段的网络处理,输出辅助类的预测图;通过预测图确定辅助类质心PA',计算概率热图H的中心点CO与PA'之间的横坐标差值dx'、纵坐标差值dy';设置一个与概率热图H形状相同的矩阵H',定义M3是概率热图H中所有非0项的坐标集合,如果M3中的坐标与dx'、dy'相加后的位置仍在H范围中,则H'中对应坐标位置的值设为H中该坐标的横、纵坐标与dx'、dy'相加后的位置的值,否则H'中对应坐标位置的值为0,遍历完M3后,得到重定位后的热图H';将Sigmoid函数处理后的H'与输入图像在通道维度上拼接后输入到第二阶段的网络中进行处理,得到目标类的预测图。
2.根据权利要求1所述的基于深度学习的脊柱区域超声图像语义分割方法,其特征在于,所述步骤A中,生成辅助类标签的具体操作为:对于一张同时包含棘突和横突的图像,通过图像对应的标签图计算出棘突类的质心P1;以质心P1的横坐标为分界线,将横突类区域划分成左右两块区域,通过各自的标签图计算出左右两块区域的质心P2、P3;以P1、P2和P3为顶点构建出三角形区域,将三角形区域对应到原图像中,计算出三角形区域在原图像中像素值的中位数m;将三角形区域中像素值小于m且为背景类的点设置为辅助类。
3.根据权利要求1所述的基于深度学习的脊柱区域超声图像语义分割方法,其特征在于,所述步骤B中,单个病例的图片数据只存在单个集合中。
4.根据权利要求1所述的基于深度学习的脊柱区域超声图像语义分割方法,其特征在于,所述步骤E中,使用训练集训练神经网络模型SpineHNet的模型参数,使用验证集验证神经网络模型SpineHNet的表现。