1.一种基于并联生成网络的跨模态医学图像合成方法,其特征在于,所述方法包括如下步骤:
1)根据专家经验确立分组依据,用对应模态的小样本训练集,分别对基于CNN的分组器CA、CB进行训练,过程如下:
1.1)根据专家经验,指定MR数据集的组1,2,3...n,共n个组的代表性图像,其中每个组别的特征为图像所表现的空间解剖结构,CT参考图的获得方式同上;
1.2)用MR的训练集对分组器CA进行训练,用CT的训练集对分组器CB进行训练,分组器对训练样本进行组别概率向量计算,以获得训练样本的预测标签,通过训练分组器,使训练样本的预测标签与其真实标签一致;
2)检测并拟合分组器CA、CB的分组性能,并建立共用的特征空间:利用两个模态已配对的测试样本集,比较测试样本在CA、CB的组别概率向量差值,公式如下:Lverify(CA,CB)=∑|CA(xi)-CB(yi)|,i=1,2,...t其中xi为待测试的MR图像,yi为待测试的CT图像,测试集共有t对CT/MR成对图像,t个组别概率向量差值的和即为拟合分组器的损失函数,通过最小化Lverify(CA,CB),令两个分组器的性能达到拟合,对拟合好的分组器,通过其组别概率向量建立两个模态共有的特征空间;
3)对合成器的训练集进行分组:
对训练好的分组器CA和CB,给CA输入一张来自MR待分组数据集的MR图,得到该MR的组别概率向量Vx=(P1,P2,...Pk,...Pn),其中Pk=max(P1,P2,...Pn),即概率值最高的组k为该MR所预测的组别,以此对MR数据集进行分组,CT数据集分组方法同上,组别概率向量Vy=(PA,PB,...PN);
4)分组后的数据训练合成器,过程如下:
4.1)循环对抗生成网络CycleGAN用作在并联通道的合成模型;
4.2)对训练集中每张真实样本,计算该样本在合成前后,在分组器特征空间的特征差值,作为跨模态组别概率正则项,由真实MR跨模态合成的CT图,与该真实MR图,有该正则项如下:Lcross-class(CA,CB,GA)=|CA(x)-CB(GA(x))| =|P1-PA’|+|P2-PB’|+......+|Pn-PN’|其中P1,P2,......,Pn为真实MR图由分组器CA计算得到的组别概率值;PA’,PB’,......,PN’为合成CT图由分组器CB计算得到的组别概率值,同理,由真实CT图跨模态合成的MR图,与该真实CT图,有该正则项如下:Lcross-class(CA,CB,GB)=|CB(y)-CA(GB(y)| =|PA-P1’|+|PB-P2’|+......+|PN-Pn’|
4.3)对训练集中少量成对的真实样本,计算合成样本与同模态真实样本,在分组器特征空间的特征差值,作为同模态组别概率正则项;
由真实MR跨模态合成的CT图,与该真实MR图,有该正则项如下:Lhomo-class(CA,CB,GA)=|CB(y)-CB(GA(x)| =|P1-P1’|+|P2-P2’|+......+|Pn-Pn’|同理,由真实CT图跨模态合成的MR图,与该真实CT图,有该正则项如下:Lhomo-class(CA,CB,GB)=|CA(x)-CA(GB(y))| =|PA-PA’|+|PB-PB’|+......+|PN-PN’|
5)将两个正则项与合成器原有的损失函数加权结合,共同指导合成器的训练;
合成模型的跨模态组别概率正则项为两个生成器的跨模态组别概率正则项之和:Lcross-class(CA,CB,GA,GB)=Lcross-class(CA,CB,GA)+Lcross-class(CA,CB,GB)合成模型的同模态组别概率正则项为两个生成器的同模态组别概率正则项之和:Lhomo-class(CA,CB,GA,GB)=Lhomo-class(CA,CB,GA)+Lhomo-class(CA,CB,GB)模型中的每条并联通道上的CycleGAN训练时的损失函数见公式:L(GA,GB,DA,DB)=LGAN(GA,GB,DA,DB)+λLcyc(GA,GB)+βLcross-class(CA,CB,GA,GB)+θLhomo-class(CA,CB,GA,GB)注:LGAN(GA,GB,DA,DB)是对抗式生成损失函数,Lcyc(GA,GB)是循环一致性损失函数,
Lcross-class(CA,CB,GA,GB)是跨模态组别概率正则项,Lhomo-class(CA,CB,GA,GB)是同模态组别概率正则项。