1.基于长短程特征的胸腰椎关键点自动识别方法,其特征在于包括如下步骤:
步骤1、获取一定数量的脊柱前后位X射线图像,对每幅X射线图像中的每个胸椎和腰椎椎体标注左上、右上、左下和右下四个位置,形成样本集;
步骤2、将样本集分成训练集、验证集和测试集;
步骤3、构建网络模型,构建的网络模型包括具有d个编码层的编码器、具有d个解码层的解码器、d-1个椎体位置捕捉模块和处理单元,d为大于1的正整数;
d个编码层依次相连接,d个解码层也依次相连接,且第d个编码层的输出端与第1个解码层的输入端连接;第1个椎体位置捕捉模块设于第2个编码层和第3个编码层之间,第2个椎体位置捕捉模块设于第3个编码层和第4个编码层之间,…,第d-2个椎体位置捕捉模块设于第d-1个编码层和第d个编码层之间,第d-1个椎体位置捕捉模块设于第d个编码层和第1个解码层之间,第1个椎体位置捕捉模块与第d个解码层跳跃连接,第2个椎体位置捕捉模块与第d-1个解码层跳跃连接,…,第d-1个椎体位置捕捉模块与第2个解码层跳跃连接;
所述椎体位置捕捉模块包括短程特征联系模块和长程特征联系模块,所述椎体位置捕捉模块的具体处理过程为:将输入到椎体位置捕捉模块的原始特征图进行两次图块划分,一次图块划分是将原始特征图均匀划分成q个第一特征图块,另一次图块划分是将原始特征图均匀划分成q-1个第二特征图块;第二特征图块和第一特征图块的图像大小相同,q为大于1的正整数;
再利用短程特征联系模块分别对每个第一特征图块和每个第二特征图块进行自注意力处理,得到每个第一特征图块所对应的第一特征图以及每个第二特征图块所对应的第二特征图,并按照第一特征图块的先后顺序对所有第一特征图进行拼接,得到第一输出特征图;另外按照第二特征图块的先后顺序对所有第二特征图进行拼接,得到第二输出特征图,第一输出特征图和第二输出特征图均与原始特征图的图像大小相同,最后将第一输出特征图和第二输出特征图进行融合,得到短程特征联系模块输出的特征图;
另外利用长程特征联系模块分别对每个第一特征图块和每个第二特征图块进行全局平均池化处理,得到每个第一特征图块所对应的第三特征图以及每个第二特征图块所对应的第四特征图;接着对所有第三特征图进行自注意力处理,得到第五特征图,并将第五特征图与原始特征图相加,得到第三输出特征图;同样地,对所有第四特征图进行自注意力处理,得到第六特征图,并将得到第六特征图与原始特征图块相加,得到第四输出特征图;最后将第三输出特征图和第四输出特征图进行融合,得到长程特征联系模块输出的特征图;
将短程特征联系模块输出的特征图、长程特征联系模块输出的特征图和原始特征图相加,即得到椎体位置捕捉模块的输出;
处理单元包括中心定位模块、中心对比学习模块、中心偏移模块和角定位模块,中心定位模块、中心对比学习模块、中心偏移模块和角定位模块均与第d个解码层的输出端连接;
步骤4、将训练集中所有的样本图像分批次输入到步骤3中构建的网络模型中进行训练,并使用验证集中所有样本图像验证训练后的网络模型性能;经过多次训练与验证后,筛选出最优的网络模型;
步骤5、将测试集中的待测试图像输入到最优的网络模型中,即得到待测试图像的关键点定位结果;该待测试图像的关键点定位结果包括中心偏移模块预测得到每节椎体的中心点在待测试图像中的坐标以及角定位模块预测得到各椎体端点在待测试图像中的坐标。
2.根据权利要求1所述的胸腰椎关键点自动识别方法,其特征在于:在第二特征图块划分前,先将原始特征图的上下各空出h/2q的距离,再将原始特征图中除空出位置以外的图像进行均匀划分,即得到q-1个第二特征图块,h为原始特征图的高度。
3.根据权利要求2所述的胸腰椎关键点自动识别方法,其特征在于:所述短程特征联系模块输出的特征图中第j个特征图块的计算公式为:其中,为第一输出特征图中的第j个第一特征图,为第二输出特征图中的第j个第一特征图,Mean(.)为均值处理。
4.根据权利要求2所述的胸腰椎关键点自动识别方法,其特征在于:所述长程特征联系模块输出的特征图中第j个特征图块Fjinter的计算公式为:其中,为第三输出特征图中的第j个特征图,为第四输出特征图中的第j个特征图。
5.根据权利要求1~4任一项所述的胸腰椎关键点自动识别方法,其特征在于:所述步骤4中每次训练网络模型时,计算总损失函数Lall,并根据总损失函数Lall反向更新网络模型中的网络参数,得到一次训练完成后的网络模型;
Lall的计算公式为:
Lall=Lhm+Lhc+Lcenoff+Lcoroff
其中,Lhm为根据中心定位模块输出结果计算得到的第一损失函数,Lhc为根据中心对比学习模块输出结果计算得到的第二损失函数,Lcenoff为根据中心偏移模块输出结果计算得到的第三损失函数,Lcoroff为根据角定位模块输出结果计算得到的第四损失函数。
6.根据权利要求5所述的胸腰椎关键点自动识别方法,其特征在于:所述中心定位模块的具体计算过程为:通过计算原始图像中每节椎体的左上、右上、左下和右下四个端点坐标的平均值,并将其作为每节椎体的中心点坐标,再将每节椎体的中心点通过高斯变换转化为高斯热图,最后采用高斯热图预测每节椎体的中心点坐标;上述原始图像为训练集中的一个训练样本;
所述第一损失函数Lhm的计算公式为:
其中,N为高斯热图上的像素点总数,i为高斯热图上的像素点位置索引,yi为原始图像上第i个位置的像素值,pi为高斯热图上第i个位置的像素值,α和β均为超参数。
7.根据权利要求6所述的胸腰椎关键点自动识别方法,其特征在于:所述中心对比学习模块的具体计算过程为:将第d个解码层的输出端通过特征提取层得到输出特征图,该输出特征图与高斯热图的大小相同,筛选出高斯热图中像素值大于T的像素点位置,记为第一位置集合,并将输出特征图中每个处于第一位置集合中位置的特征作为正样本,将输出特征图中除正样本以外的特征作为负样本;
所述第二损失函数Lhc的计算公式为:
其中,Pi为输出特征图中正样本的位置集合,A为输出特征图中正样本的总个数,i为输出特征图中所有样本位置,Ei为输出特征图,i+为输出特征图中正样本的位置,为输出特征图中正样本所对应的特征图,τ为超参数;Ni为输出特征图中负样本的位置集合,i-为输出特征图中负样本的位置,为输出特征图中负样本所对应的特征图,sim(.)为余弦相似度。
8.根据权利要求6所述的胸腰椎关键点自动识别方法,其特征在于:所述中心偏移模块是在中心定位模块预测得到每节椎体的中心点坐标的基础上,预测得到每节椎体的中心点在原始图像中的坐标;
所述第三损失函数Lcenoff的计算公式为:
其中,M为椎体中心点的总数,x′k和y′k为预测得到第k节椎体的中心点在原始图像中的横坐标和纵坐标,xk和yk为第k节椎体中心点在原始图像中的理论横坐标和理论纵坐标,n为原始图像大小与解码器恢复的特征图的比值,为向下取整函数。
9.根据权利要求8所述的胸腰椎关键点自动识别方法,其特征在于:所述角定位模块是在中心偏移模块预测每节椎体的中心点坐标的基础上,预测得到各椎体端点在原始图像中的坐标;
所述第四损失函数Lcoroff的计算公式为:
其中,P为每个椎体的四个端点集合,x′i和y′i为预测得到第i节椎体的中心点在原始图像中的横坐标和纵坐标,xi和yi为第i节椎体中心点在原始图像中的理论横坐标和理论纵坐标,xi,p和yi,p为预测得到第i节椎体端点p在原始图像中的横坐标和纵坐标。
10.一种Cobb角计算方法,其特征在于:应用有如上述权利要求1~9任一项所述的基于长短程特征的胸腰椎关键点自动识别方法。