1.一种基于轮廓特征编码的3D/2D术中配准方法,其特征在于,包括以下步骤:
S1、使用分割方法剔除脊柱CT的软组织并生成X射线图像;
S2、在生成的X射线图像上提取出轮廓并进行特征编码;
S3、将提取的轮廓与X射线图像输入网络并建立回归模型用来预测正确的旋转参数和偏移参数;
S4、获取正确姿态下的清晰DRR图像对齐到X射线的统一坐标系下完成配准;
其中S3中,X射线图像和轮廓图像经过ConEncoder,将ConEncoder的中间层分别输出X射线特征编码Vx和轮廓特征编码Vc;轮廓特征编码Vc分两路:一路经ECABlock将其与X射线图像特征编码Vx融合后输入CerEncoder,经过全连接层生成旋转参数,另一路继续走ConEncoder,最后接全连接层生成偏移参数;Ecablock代表注意力模块,ConEncoder和CerEncoder代表两种不同的编码器。
2.如权利要求1所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:所述S1之后包括,S11、提取出X射线图形中骨组织的轮廓,来进行CT图像配准。
3.如权利要求2所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:所述S11、提取出X射线图形中骨组织的轮廓,来进行CT图像配准,包括:将提取出X射线骨组织的轮廓的轮廓掩码保存为二值图像,对二值图像进行特征编码。
4.如权利要求3所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:所述S11、提取出X射线图形中骨组织的轮廓,来进行CT图像配准,包括:对合成图像进行高斯模糊,获得模糊的图像,来模拟成像不稳定的情形,从而模拟出手术中低剂量X射线成像缺失信息的情况。
5.如权利要求4所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:模拟X射线的衰减效果,将Z轴距离作为模拟探测器的位置,两者成正比的为图像增加或减少模糊程度。
6.如权利要求5所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:在获取X射线图像以及单独保存的轮廓后,将其输入设计的编码器进行特征编码,利用回归方法计算特征与空间参数的对应关系。
7.如权利要求6所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:在所述网络的训练阶段,通过回归器预测的姿态与特征产生对应,每个所述DRR图像与X射线图像采用有标注的数据集;将使用真实值与预测结果的偏差作为损失,则损失定义为公式如下:其中,N代表样本总数,Gth代表真实的标签数据,Pre代表预测的结果,Θ,ξ分别代表旋转和偏移参数,“||”代表绝对值,L 代表真实的标签数据,P 代表预测的结果。
8.如权利要求7所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:采取投影后的DRR图像与X射线图像对应的轮廓的不变性点匹配,整体轮廓看作为一个点集,没有轮廓的点标注为0,在轮廓范围内的点集标注为1,由于投影空间角度的差异导致轮廓的点不能完全一致,只考虑原本在轮廓上面的点,忽略部分漂移出去的点,损失则为:,
C代表轮廓上的点,t代表目标图像,m代表运动图像,“||.||”代表欧式距离,N代表标记点的总数;
为了加强形状特征与空间旋转的对应关系,将整体DRR图像进行梯度特征编码,让回归器学习到形状特征,使用特征方向向量偏差作为损失,网络通过读取特征方向向量可以学习具体的形状,避免了低级语义信息模糊造成的影响,得到的空间角度导致生成图像的形状对应关系如下:,
S代表梯度向量,t代表目标图像,m代表运动图像,“||.||”代表欧式距离,N代表梯度向量的总数;
最终网络的总损失如下:
其中,λl、λc、λg分别代表不同损失的权重因子,代表其总损失。
9.如权利要求8所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:将投影分割后的CT图像模拟生成的X射线图像进行梯度特征编码,使用特征方向向量偏差作为损失,网络通过读取梯度向量学习轮廓的形状,计算两张图像轮廓形状张量的误差,每个像素点的梯度大小和方向下面的公式表达:其中,表示水平方向像素点的梯度,表示垂直方向像素点的梯度,(x,y)表示二维坐标,G与D代表合并的在特征通道中的张量。
10.如权利要求9所述的基于轮廓特征编码的3D/2D术中配准方法,其特征在于:所述对二值图像进行特征编码,其中,编码器包括用于提取轮廓的特征以及X射线图像的特征的轮廓编码器以及混合编码器;所述轮廓编码器包括依次设置的卷积模块、Relu层和批归一化层。