欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310175391X
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,操作如下:将低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型,得到相应的超分辨率MRI图像;

所述基于跨模态和跨尺度特征融合的超分辨率网络模型的构建包括以下步骤:

S1:构建基于跨模态和跨尺度特征融合的超分辨率网络模型;

所述超分辨率网络模型包括跨模态参考分支网络和主分支网络;

所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和跨模态参考分支网络参考图像特征提取模块;

主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、主分支网络上采样和特征融合模块、主分支网络图像重建模块、主分支网络高分辨率图像输出模块;

S2:从公开数据集中获取目标模态和参考模态高分辨率MRI图像;

其中,公开数据集中以T1W作为目标模态高分辨率MRI图像,以T2W和FLAIR作为参考模态高分辨率参考图像;

S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理,得目标模态低分辨率MRI图像数据;

S4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块,获得参考模态MRI图像的梯度图;

结合3D卷积层和激活函数构建特征提取模块;将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取模块;

S5:将S4得到的梯度图输入参考分支网络特征提取模块,捕捉参考高分辨率图像的结构化依赖性和空间关系,并输出参考模态MRI图像特征;

将特征提取模块加入主分支网络中作为主分支网络浅层特征提取模块;

S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征;

S7:将S6提取的浅层特征输入主分支网络深度特征提取模块,得到多层次深度特征;

其中,将多个残差通道注意力块堆叠作为主干,跨尺度特征迁移模块灵活嵌入残差通道注意力块块之间,组成主分支网络深度特征提取模块;

S8:将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块输出的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块,自适应调整、融合来自不同分支的特征获得融合特征;

S9:将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块,得到重建的高分辨率图像;

S10:设置损失函数,对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练;

S11:重复S4‑S10,直至模型收敛,得到训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型。

2.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,所述跨模态参考分支网络参考图像梯度图提取模块的输出端与跨模态参考分支网络参考图像特征提取模块连接,跨模态参考分支网络参考图像特征提取模块输出端分别与跨尺度特征迁移模块和主分支网络上采样和特征融合模块连接;

所述主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模块连接,跨模态参考分支网络参考图像特征提取模块输出端、主分支网络深度特征提取模块输出端和跨尺度特征迁移模块输出端与主分支网络上采样和特征融合模块连接,主分支网络上采样和特征融合模块输出端与主分支网络图像重建模块连接,主分支网络图像重建模块输出端与主分支网络高分辨率图像输出模块连接。

3.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S3对目标模态高分辨率MRI图像数据进行模拟退化预处理,得目标模态低分辨率MRI图像数据,具体做法为:采用基于图像空间的模拟退化方式与基于频域的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程;其中,在基于图像空间的模拟退化中采用高斯模糊和双三次下采样获得低分辨率MRI图像数据;在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域,根据超分辨率重建系数对频域数据的边缘部分进行截断处理,并用零填充的方式对截断的部分进行填充,随后对填充过的频域数据进行傅里叶逆变换,将其转化至图像空间,对MRI图像进行空间下采样生成最终的低分辨率MRI图像数据。

4.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块中,获得参考模态MRI图像的梯度图,具体做法为:使用了一个卷积层来实现梯度图提取的操作,其中,梯度的提取操作的表达公式如下:H

G(IRef)=IRef(H+1,W,L)‑IRef(H‑1,W,L),

w

G(IRef)=IRef(H,W+1,L)‑IRef(H,W‑1,L),

L

G(IRef)=IRef(H,W,L+1)‑IRef(H,W,L‑1),

H W

式中,IRef代表参考模态高分辨率MRI图像,H代表高度,W代表宽度,L表长度,G (·)、GL(·)、G (·)代表在对应方向上提取梯度的操作; 代表获得具有梯度强度和梯度方向的梯度信息的操作,GI(·)代表提取仅包含梯度强度信息的梯度图的操作,||·||2代表求梯度强度平方和的平方根的操作。

5.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S5中利用3D卷积层和激活函数结合构建特征提取模块的具体做法为:选用渗漏修正线性单元LReLU作为激活函数,其中,ReLU会将负数输入映射为0不同,LReLU会将负数输入乘以一个权重,权重的取值范围为0.001‑0.01,使其输出极小的负数,而防止负数全输出0造成的神经元失活的问题。

6.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征,具体做法为:激活函数选用LReLU,则浅层特征提取过程表示为:X0=FConv(ILR),

式中,X0代表目标模态低分辨率MRI图像浅层特征,ILR为目标模态低分辨率MRI图像,FConv(·)代表提取目标模态低分辨率MRI图像浅层特征的操作。

7.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S7中,将S6提取的浅层特征输入主分支网络深度特征提取模块,得到多层次深度特征,具体做法为:将M个残差通道注意力块堆叠作为主干,10≤M≤15,跨尺度特征迁移模块灵活嵌入残差通道注意力块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征,将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出低分辨率尺度特征融合得到多层次深度特征;

将跨尺度特征迁移模块嵌入第m个和第m+1个残差通道注意力块之间处理得到特征的具体做法为:将第m个的残差通道注意力块输出特征Xm输入跨尺度特征迁移模块,探索MRI图像不同尺度特征的全局自相似性先验信息,得到具有丰富高分辨率细节的特征Ym;将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m,将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m,其中,将特征信息Xm输入跨尺度特征迁移模块,以步长s进行下采样得下采样特征 1≤s≤3;将Xm、 进行卷积操作得Q、K,分别以步长为g和块大小p,对Q、K进行切块得q、k,1≤g≤3,1≤p≤3,计算每个q、k之间的相似性权重,来探索Q和K的全局跨尺度依赖关系,计算公式如下:式中,<·,·>代表内积操作,qi代表第i个q块,kj代表第j个k块,wi,j代表第i个q块、第j个k块之间的相似度权重,exp(·)代表以自然常数e为底的指数函数;

对Xm进行卷积操作得到V,以步长s×g和块大小q进行切块得v,与相似度权重进行卷积操作,计算公式如下:式中,vj代表第j个v块,wi,j代表第i个q块、第j个k块之间的相似度权重,v′i代表第i个通过注意力操作后得到的高分辨率补丁, 代表元素级乘法操作;

所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节的特征Ym,将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m,将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m,具体公式如下:Y′m=Fup(Xm)+Ym,

X′m=Fdown(Y′m+XRef),

[X′m,Y′m]=FPMFE([Xm,IRef]),

式中,m代表第m个残差通道注意力块,Xm代表第m个残差通道注意力块输出特征,Ym代表具有丰富高分辨率细节的特征,Y′m和X′m代表具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征,Fup(·)为步长为s的反卷积上采样操作,Fdown(·)为步长为s的卷积下采样操作,FPMFE(·)为跨尺度特征迁移模块函数;

将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出的低分辨率尺度特征连接得到多层次深度特征的具体做法为:将跨尺度特征迁移模块输出低分辨率尺度特征X′m作为第m+1个残差通道注意力块的输入得到Xm+1,再将M个残差通道注意力块输出特征和X′m沿着通道方向拼接得到多层次深度特征Xc。

8.根据权利要求6所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S8中将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块,自适应调整、融合来自不同分支的特征获得融合特征的具体做法为:将参考模态MRI图像特征信息IRef、跨尺度特征迁移模块的目标尺度特征Y′m和多层次深度特征Xc融合得初步融合特征Ya;其中,IRef和Y′m的尺度与目标尺度相同,将与目标模态低分辨率MRI图像尺度相同的多层次深度特征Xc用3D亚像素卷积层进行上采样得到目标尺度上采样特征;特征Ya通过空间注意力得到特征特征YSA;特征通过通道注意力得到特征YCA;沿着通道方向将特征YSA和特征YCA拼接并经过卷积操作后得融合特征Yf,计算公式如下:Yf=FNConv([YCA,YSA]),

式中,Yf是融合特征,[YCA,YSA]是特征YSA和特征YCA拼接的过程,FNConv(·)为无激活函数的卷积操作。

9.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S9将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块,得到重建的高分辨率图像的具体做法为:将目标模态低分辨率图像进行上采样得目标模态低分辨率图像上采样特征 并与融合特征Yf融合得重建的高分辨率图像,计算公式如下:式中,SR代表超分辨率,LR代表低分辨率,ISR代表重建的高分辨率图像,Yf代表融合特征, 代表目标模态低分辨率图像上采样特征。

10.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法,其特征在于,步骤S10中设置损失函数,对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练的具体做法为:超分辨率网络模型进行迭代训练,反复迭代到网络模型收敛,选择有正则项的平均绝对误差MAE作为损失函数,其表达公式如下:式中,F(·)代表ILR和IHR之间的映射函数,LR即低分辨率,HR代高分辨率,N代表训练数据量。