1.一种基于交叉感知融合的头颈癌放疗剂量预测方法,其特征在于,包括以下步骤:
(1)建立包含病人CT图像、计划靶区、危及器官和真实剂量分布图的训练数据集B;
(2)构建基于交叉感知融合的生成对抗网络,记作CPFTransGAN,具体包括:
(2-a)构建一个由四阶段编-解码结构构成的生成器网络,记作CPFTransGenerator,具体结构为:编码器共包含四个阶段,每个阶段均由一个嵌入模块和交叉感知融合模块依次连接组成,嵌入模块通过可学习的嵌入层,将输入特征的大小转换为指定大小,即对于大小为H×W×C的输入特征,其中H、W、C分别表示输入特征的高、宽、通道数,经过嵌入模块,其大小转换为交叉感知融合模块作为编码块,对嵌入模块输出的特征图进行特征提取;解码器同样包含四个阶段,每个阶段均采用一个交叉感知融合模块作为解码块进行解码,具体结构包括:在解码器第四阶段中,解码块采用同阶段编码块的输出作为输入进行解码,将解码后的特征输入步长为2的上采样卷积模块得到特征F4,同时对依次进行1×1卷积和步长为8的上采样,得到第四阶段解码特征D4;在解码器第三阶段中,门控注意力模块以特征F4和同阶段编码块的输出作为输入进行特征融合,融合后的特征与F4进行相加,相加后的特征输入交叉感知融合模块进行解码,将解码后的特征输入步长为2的上采样卷积模块得到特征F3,同时对依次进行1×1卷积和步长为4的上采样,得到第三阶段解码特征D3;在解码器第二阶段中,门控注意力模块以特征F3和同阶段编码块的输出作为输入进行特征融合,融合后的特征与F3进行相加,相加后的特征输入交叉感知融合模块进行解码,将解码后的特征输入步长为2的上采样卷积模块得到特征F2,同时对依次进行1×1卷积和步长为2的上采样,得到第二阶段解码特征D2;在解码器第一阶段中,门控注意力模块以特征F2和同阶段编码块的输出作为输入进行特征融合,融合后的特征与F2进行相加,相加后的特征输入交叉感知融合模块进行解码,将解码后的特征进行1×1卷积得到第一阶段解码特征D1;接着,将各阶段解码特征D1、D2、D3、D4进行相加和Sigmoid激活,得到剂量预测结果;
(2-a-ⅰ)步骤(2-a)所述的交叉感知融合模块由N个基于交叉感知的混合CNN-Transformer结构,记作CPF Transformer,级联构成,其中N为大于0的自然数;
(2-a-ⅱ)步骤(2-a-ⅰ)所述的基于交叉感知的混合CNN-Transformer结构,记作CPFTransformer,具体结构包括:构建两条支路,其中第一条支路由一个自注意力残差模块和两个交互增强模块连接组成,第二条支路由一个多尺度感知残差模块和两个交互增强模块连接组成;在两条支路之间引入交叉连接,具体结构为,对于输入特征其中H1、W1、C1分别表示输入特征图的高、宽和通道数,首先对进行通道分离,得到两个子特征和子特征X0和X1分别经过自注意力残差模块和多尺度感知残差模块后,得到特征A0和特征A1;将特征A0和X1输入第一条支路的第一个交互增强模块,得到特征F0;将特征A1和X0输入第二条支路的第一个交互增强模块,得到特征F1;将特征F0和A1输入第一条支路的第二个交互增强模块,得到特征T0;将特征F1和A0输入第二条支路的第二个交互增强模块,得到特征T1;最后,将特征T0和特征T1进行拼接,得到CPFTransformer的输出;
(2-a-ⅲ)步骤(2-a-ⅱ)所述的自注意力残差模块,具体结构包括:对于输入特征X0,依次经过一个归一化层和多头自注意力结构,得到特征R0,然后利用残差连接,将特征X0和R0进行相加,得到特征A0;(2-a-ⅳ)步骤(2-a-ⅱ)所述的多尺度感知残差模块,具体结构包括:对于输入特征X1,依次经过一个归一化层和多尺度感知融合结构,得到特征R1,然后利用残差连接,将特征X1和R1进行相加,得到特征A1;
(2-a-ⅴ)步骤(2-a-ⅳ)所述的多尺度感知融合结构,记作MSPF,具体结构包括:将输入特征Xin分别输入三个线性层,得到特征h、w和p;将特征h输入多尺度混合卷积层得到特征m1,并将特征m1与特征w相乘得到特征f1;将特征f1输入多尺度混合卷积层得到特征m2,并将特征m2与特征w相乘得到特征f2;将特征f2输入多尺度混合卷积得到特征m3,并将特征m3与特征w相乘得到特征f3;将特征f3输入线性层得到特征k,并将特征k与特征p相乘,得到MSPF模块的输出R1;
(2-a-ⅵ)步骤(2-a-ⅴ)所述的多尺度混合卷积层,具体结构包括:将输入特征进行通道分离,其中H2、W2、C2分别表示输入特征q的高、宽和通道数,即按照输入特征的通道数量将其平均分为四组,得到4个子特征和将4个子特征分别输入卷积核为3×3、5×5、7×7、9×9的深度可分离卷积,然后将得到的特征进行拼接得到多尺度混合卷积层的输出特征q′;
(2-a-ⅶ)步骤(2-a-ⅱ)所述的交互增强模块,记作IE,其特征在于,具体结构包括:IE模块接受两个输入,即来自当前支路的输入特征和来自另一条支路的输入特征;首先,将来自当前支路的输入特征C和来自另一条支路的输入特征O进行拼接,然后将拼接后的特征依次输入归一化层和全连接前馈网络,得到特征H,然后通过残差连接,将特征H和C进行相加操作,得到输出特征;
(2-b)构建鉴别器网络,该网络由一个初始卷积层,三个中间卷积层和一个输出卷积层依次连接构成,具体结构包括:对于输入图像其中H3、W3、C3分别表示输入特征I的高、宽和通道数,将输入一个包含步长为2的4x4卷积和LeakyReLU激活函数的初始卷积层,得到特征将特征t1依次输入三个中间卷积层,分别得到特征每个中间卷积层均包含一个4x4卷积、归一化层和LeakyReLU激活函数,其中前两个中间卷积层4x4卷积的步长为2,第三个中间卷积层4x4卷积的步长为1;将特征输入一个包含步长为1的4x4卷积和Sigmoid激活函数的输出卷积层,得到一个与输入图像大小相关的二维判别矩阵(2-c)将CPFTransGenerator生成器网络输出的生成剂量图像G和真实剂量图像R分别输入步骤(2-b)所述鉴别器,得到生成剂量图像G和真实剂量图像R对应的二维判别矩阵J1和J2;构建鉴别器损失函数,具体定义为:其中,L1和L2分别表示生成数据损失和真实数据损失,N1和N2分别表示判别矩阵J1和J2的像素总数目,J2(p)表示判别矩阵J2中第p个像素的值,J1(p)表示判别矩阵J1中第p个像素的值;w1和w2为自适应动态调整的权重系数,通过分析L1和L2梯度方向是否冲突并结合判别器对真实和生成剂量图的真假判断进行调整,具体包括:首先,计算生成结果损失L1和真实剂量损失L2的梯度方向的夹角,若夹角超过90°,表明两个梯度方向冲突,此时根据梯度动态分配权重,具体为:其中,ε为一个取值较小的常数,用于防止分母为零或权重过小,ε取值范围为(0.001,0.1),这种权重分配方式使总梯度方向与冲突项或正交,避免反向优化干扰;若L1和L2的梯度方向一致,则结合判别器对真实和生成两类样本的判断对权重w1和w2进行调整,当判别器过度信任真实样本时,即判别器将真实样本判定为真的概率接近1时,则增大生成样本权重w1,加强生成样本学习;当判别器无法区分生成样本时,即生成样本被判定为真的概率接近1时,则增大真实样本权重w2,加强真实样本学习,提升判别器的判别能力;
(2-d)构建多尺度十字窗口自注意力编码网络,记作MCENet,网络输入包含生成剂量图和真实剂量图,MCENet网络是一个四阶段的编码网络,具体结构包括:将生成剂量G和真实剂量R分别输入至一个包含CSWin自注意力模块和步长为2的最大池化层的编码块,得到中间特征g1和r1,并采用均值绝对误差对中间特征g1和r1计算损失,得到生成剂量图G和真实剂量图R在第一阶段的损失其中g1(j)和r1(j)分别表示特征图g1和r1中的第j个像素,T1表示特征图g1的像素总数目;将特征g1和r1分别输入至一个包含CSWin自注意力模块和步长为2的最大池化层的编码块,得到中间特征g2和r2,并采用均值绝对误差对中间特征g2和r2计算损失,得到生成剂量图G和真实剂量图R在第二阶段的损失其中g2(j)和r2(j)分别表示特征图g2和r2中的第j个像素,T2表示特征图g2的像素总数目;将特征g2和r2分别输入至一个包含CSWin自注意力模块和步长为2的最大池化层的编码块,得到中间特征g3和r3,并采用均值绝对误差对中间特征g3和r3计算损失,得到生成剂量图G和真实剂量图R在第三阶段的损失其中g3(j)和r3(j)分别表示特征图g3和r3中的第j个像素,T3表示特征图g3的像素总数目;将特征g3和r3分别输入至一个包含CSWin自注意力模块和步长为2的最大池化层的编码块,得到中间特征g4和r4,并采用均值绝对误差对中间特征g4和r4计算损失,得到生成剂量图G和真实剂量图R在第四阶段的损失其中g4(j)和r4(j)分别表示特征图g4和r4中的第j个像素,T4表示特征图g4的像素总数目;将S1、S2、S3和S4进行加权相加,得到的结果作为多尺度十字窗口自注意力编码网络的损失,用于约束生成剂量图与真实剂量图之间的多尺度差异;具体地,MCENet网络损失函数Lmcs定义为:其中,λi为第i阶段损失的权重系数,g1(j)和r1(j)分别表示第i阶段生成的中间特征图gi和ri中的第j个像素,Ti表示特征图gi的像素总数目;
(3)根据鉴别器和MCENet网络损失,构建CPFTransGAN网络的损失函数L:
其中,G(i)和R(i)分别表示生成剂量图G和真实剂量图R第i个像素的值,N3为生成剂量图G的像素总数目,LG表示通过计算测剂量图G和真实剂量图R之间的平均绝对误差得到的损失,表示由鉴别器计算得到的自适应加权损失,Lmcs表示由多尺度十字窗口自注意力网络计算得到的损失;
(4)采用训练数据集B对CPFTransGAN网络进行训练直到损失函数L收敛,其中训练数据集B中的CT图像、计划靶区、危及器官拼接后作为网络输入,真实剂量分布图用于损失计算;
(5)运用训练好的网络模型对待测试的数据进行预测,其中测试数据包含病人CT图像、计划靶区和危及器官图,CPFTransGenerator生成器的输出即为剂量预测结果。
2.如权利要求1所述的一种基于交叉感知融合的头颈癌放疗剂量预测方法,其特征在于,步骤(2-a)所述的门控注意力模块,记作AG,具体结构包括:AG模块接受两个输入v1和v2,其中v1表示与当前AG模块连接的上采样层的输出,v2表示与当前AG模块连接的编码块的输出,即同阶段编码块的输出;将v1和v2分别输入两个平行的分支得到特征q1和q2,每个分支包含依次连接的1×1卷积、归一化层和ReLU激活函数;将特征q1和q2进行相加,并对相加的结果依次执行1×1卷积、归一化层和Sigmoid激活,得到特征z;将与z输入特征s1进行点乘,得到门控注意力模块的输出。
3.如权利要求1所述的一种基于交叉感知融合的头颈癌放疗剂量预测方法,其特征在于,步骤(2-a-ⅲ)所述的多头自注意力结构为CSWin Transformer结构。