1.基于结构和功能MRI影像多模态融合的脑龄预测方法,其特征在于,包括以下步骤:获取原始结构磁共振影像数据,并进行重采样,将重采样后的结构磁共振影像数据输入至卷积神经网络,得到结构特征图;
将结构特征图展平,并通过线性映射得到降维后的结构特征标记序列,将结构特征标记序列进行全局平均操作,得到结构全局特征向量;
获取功能磁共振成像原始时序数据,计算脑区时间序列的皮尔逊相关系数;
以脑区为节点,各脑区之间的相关性为边构建图结构,将图结构输入至图注意力网络,得到图全局功能特征,再通过线性映射得到最终的功能特征;
采用交叉注意力机制融合结构特征标记序列与功能特征,得到交叉注意力融合特征;
构造门控融合机制,将交叉注意力融合特征与结构全局特征向量进行拼接,并计算门控权重,得到融合特征,将融合特征输入全连接层,实现脑龄预测;
构建图结构的步骤包括:
将各个脑区之间的相关性作为节点的特征向量,表示当前节点与其他节点之间的连接强度,每个节点的特征向量记为,其中表示节点i与节点n之间的连接强度;
基于绝对连接强度构建稀疏图,当节点之间无连接时,边连接关系为0,否则边连接关系为连接强度绝对值;
将图结构输入至图注意力网络,得到图全局功能特征,再通过线性映射得到最终的功能特征的步骤包括:将节点特征向量和稀疏图输入至图注意力网络中,通过第一层图注意力卷积对节点特征向量进行加权聚合,采用多个注意力头并通过激活函数ELU进行非线性变换,得到节点特征d1;
然后通过第二层图注意力卷积对节点特征d1进行特征提取,采用多个注意力头并通过激活函数ELU进行非线性变换,得到节点特征d2;
将第三层图注意力卷积作为输出层,将节点特征d2输入至第三层图注意卷积,并采用单头注意力机制对节点特征进行压缩和整合,得到节点特征d3;
将节点特征d3通过一层线性映射计算注意力权重,注意力权重与节点特征逐元素相乘,得到加权后节点特征d4;
通过图级全局池化操作,将加权后的节点特征d4在图的维度上求均值,生成整张图的全局特征表示;
将全局特征表示输入线性回归层进行映射,输出图结构模态的低维表示,作为功能特征。
2.根据权利要求1所述的基于结构和功能MRI影像多模态融合的脑龄预测方法,其特征在于,将重采样后的结构磁共振影像数据输入至卷积神经网络,得到结构特征图的步骤包括:将重采样后的结构磁共振影像数据输入到DenseNet121网络的主干网络,经由初始卷积模块进行预处理后得到第一组特征图;将第一组特征图输入至第一稠密块,得到特征图f1;将特征图f1输入至第一过渡层,得到特征图f2;将特征图f2输入至第二稠密块,得到特征图f3;将特征图f3输入至第二过渡层,得到特征图f4;将特征图f4输入至第三稠密块,得到特征图f5;将特征图f5输入至第三过渡层,得到特征图f6;将特征图f6输入至第四稠密块,生成结构特征图。
3.根据权利要求2所述的基于结构和功能MRI影像多模态融合的脑龄预测方法,其特征在于,将结构特征图展平,并通过线性映射得到降维后的结构特征标记序列,将结构特征标记序列进行全局平均操作,得到结构全局特征向量的步骤包括:将结构特征图按通道维度保持不变,并沿空间维度展平成,再转换成,其中,B表示批量大小,C表示特征通道数,N表示空间位置总数,分别表示特征图的深度、高度和宽度,每一个空间位置都对应一个C维的特征标记,每个特征标记为体积图像中局部区域的深度空间特征表示;
将每个特征标记通过维度变换映射为64维的统一维度表示,最终得到的形状为,构成结构特征标记序列;
将得到的结构特征标记序列沿空间维度进行全局平均操作,得到64维结构全局特征向量。
4.根据权利要求3所述的基于结构和功能MRI影像多模态融合的脑龄预测方法,其特征在于,采用交叉注意力机制融合结构特征标记序列与功能特征,得到交叉注意力融合特征的步骤包括:将结构特征标记序列表示为矩阵,将矩阵T和功能特征进行映射,表示为:,
,
,
式中,分别表示注意力机制中的查询向量、键矩阵和值矩阵;分别表示可学习的线性映射权重矩阵;分别表示对应的偏置项;
然后进行多头注意力的计算,公式为:
,
式中,表示每个注意力头的维度;
将多头的输出结果拼接起来,表示为:
,
式中,表示第m个注意力头的输出,表示为输出映射矩阵,表示拼接操作;
之后特征通过前馈网络处理,得到最终融合后的交叉注意力融合特征。
5.根据权利要求4所述的基于结构和功能MRI影像多模态融合的脑龄预测方法,其特征在于,构造门控融合机制,将交叉注意力融合特征与结构全局特征向量进行拼接,并计算门控权重,得到融合特征的步骤包括:将交叉注意力融合特征与结构全局特征向量拼接为向量,然后计算门控权重,公式为:,
式中,表示门控权重的线性映射参数,表示门控权重的偏置,为Sigmoid函数;
根据门控权重计算,得到融合特征,表示为:
。