1.一种基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,包括如下步骤:
步骤1、获取目标跨模态医学图像配准任务的图像数据并进行预处理;
步骤2、设计一个含特征自适应融合块的全卷积双U形参数化神经架构搜索空间;
步骤3、构建训练神经网络的损失函数;
步骤4、确立验证神经网络性能的验证指标;
步骤5、根据步骤2中的搜索空间、步骤3中的损失函数和步骤4中的验证指标构建模态自适应配准网络架构设计的最优化问题;
步骤6、利用贝叶斯优化求解步骤5中的最优化问题,获得最优网络架构;具体包括如下步骤:
步骤61、初始化;对神经网络架构参数随机采样次,得到一组初始观测点样本,其中每个观测点样本对应的神经网络用步骤3中的损失函数训练,然后获取其准确度损失,从而形成初始观测集;
步骤62、构造代理模型;定义一个后验概率分布:其中表示一个阈值,由一定分位数确定,其中表示概率,将观测集中的网络架构参数划分为优势集和劣势集,采用核密度估计分别从优势集和劣势集中估计出和:其中为高斯核函数;
步骤63、构造采集函数EI:其中用于返回两个数中的最大值,表示输入的数学期望;
步骤64、最大化采集函数EI;通过步骤62中的核密度估计计算出当前观测空间对应的和,然后在上随机采样次,获得个候选参数;然后,将候选参数带入和算出每个候选参数对应的即,最后从中选取数值最大元素对应的网络架构参数即为下一个次迭代的新观测点;
步骤65、将新观测点纳入观测集并更新概率分布,经过对概率分布的不断迭代更新最终获得最优的神经网络架构参数。
2.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤1中,配准任务一次对齐两张不同模态的图像,两种模态的图像来自同一位患者或来自不同患者,然后对图像数据去噪,调整对比度,最后通过刚性配准方法对图像数据预配准。
3.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤2中,特征自适应融合块包括特征融合块、特征选择块和相关性正则项;特征融合块部分,将两个经过超参数加权处理的特征图张量在通道维度上进行拼接,随后利用三维卷积操作将通道数量减半以实现特征融合;特征选择块部分,采用空间注意力机制实现,将融合后的特征图张量通过注意力机制对图像不同部位的融合特征进行加权处理以实现特征选择,随后,将融合及注意力加权后的特征图张量与两个原始特征图张量分别按照一定比例进行张量加法运算,以得到最终的融合特征图张量;相关性正则项部分,为了逐渐缩小跨模态的融合特征图张量间的偏差,构建相关性正则项,其中是两个融合特征图张量间的相关系数,为偏置。
4.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤2中,设计一个含特征自适应融合块的全卷积双U形参数化神经架构搜索空间具体包括如下步骤:步骤21、构建全卷积双U形搜索空间;用两个U形含跳跃连接的编码器解码器网络分别处理跨模态的浮动图像和参考图像,两个U形网络的每个层次之间都有一个特征自适应融合块;在编码器阶段,两个输入图像分别通过卷积层、归一化层及激活函数得到两个特征图张量,随后特征自适应融合模块将这两个特征图张量作为输入,输出的两个融合加权后的特征图张量分别经过最大池化操作缩小尺寸进入下一层次;在解码器阶段,特征自适应融合块输出的两个融合特征图张量经过三线性插值扩大尺寸进入下一个层次,在两个U形网络分别输出最终的混合特征图张量后,将这两个混合特征图张量进行张量相加,再经过一个输出通道数为3的三维卷积和归一化层,输出预测的形变场,最后通过空间变换网络,将形变场作用于浮动图像得到与参考图像对齐的配准后图像;
步骤22、将搜索空间参数化;采用离散参数表示双U形网络中各层次的三维卷积核尺寸,以及归一化类型、激活函数类型和特征自适应融合块中特征融合块的三维卷积核尺寸;以网络层次为模块,对每个模块进行整数编码;采用连续参数表示特征自适应融合块中的、、、四个加权系数,其取值范围均在[0,1]之间。
5.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤3中,构建训练神经网络的损失函数具体为:其中是模态独立邻域描述符,是图像或的体素集素周围的非局部区域,是素处的位移向量,表示输入的绝对值,表示输入的范数,是梯度算子,是第个特征自适应融合块的相关性正则项,是网络含特征自适应融合块的总数,和均为正则化系数。
6.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤4中,确立验证神经网络性能的验证指标具体为:用Dice分数DS或目标配准误差TRE作为验证指标;Dice分数测量两组分割标签的重叠度,Dice分数越大表示配准越准确其定义为:其中和是两组分割标签各自的第个体素,是体素总数,目标配准误差是参考图像和配准后的浮动图像中对应地标之间的欧几里德距离,距离越小表示配准越准确其定义为:其中和分别是参考图像和配准后的浮动图像第个地标点的三维坐标,表示一张图像上地标点的总数。
7.如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法,其特征在于,步骤5中,构建模态自适应配准网络架构设计的最优化问题具体为:其中是步骤2中含特征自适应融合块的全卷积双U形参数化神经架构搜索空间,表示神经网络架构参数,是神经网络参数,是神经网络参数空间,是对应的网络经训练后得到的最优神经网络参数,是步骤3中的损失函数,是配准网络训练后的准确度损失,对应步骤4中的或。
8.一种实现如权利要求1所述的基于贝叶斯神经架构搜索的跨模态医学图像配准方法的系统,其特征在于,包括:数据预处理模块、搜索空间模块、和贝叶斯优化模块;数据预处理模块获取目标跨模态医学图像配准任务的图像数据并进行图像去噪、对比度调整和刚性配准;搜索空间模块设计一个含特征自适应融合块的全卷积双U形参数化神经架构搜索空间;贝叶斯优化模块利用损失函数和验证指标,在搜索空间的约束下,构建模态自适应配准网络架构设计的最优化问题,并采用贝叶斯优化求解,获得最优网络架构。
9.如权利要求8所述的基于贝叶斯神经架构搜索的跨模态医学图像配准系统,其特征在于,两个U形网络的每个层次之间都有一个特征自适应融合块;在编码器阶段,两个输入图像分别通过卷积层、归一化层及激活函数得到两个特征图张量,随后特征自适应融合模块将这两个特征图张量作为输入,输出的两个融合加权后的特征图张量分别经过最大池化操作缩小尺寸进入下一层次;在解码器阶段,特征自适应融合块输出的两个融合特征图张量经过三线性插值扩大尺寸进入下一个层次,在两个U形网络分别输出最终的混合特征图张量后,将这两个混合特征图张量进行张量相加,再经过一个输出通道数为3的三维卷积和归一化层,输出预测的形变场,最后通过空间变换网络,将形变场作用于浮动图像得到与参考图像对齐的配准后图像。