欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025111322469
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述方法包括:Step1、获取对齐的多模态医学图像数据集:从公开数据集获取对齐的多模态医学图像数据,用于生成图像退化以提供训练样本;

Step2、依据真实成像原理构建退化数据:通过成像原理生成低剂量PET数据、CT金属伪影数据、存在运动伪影的MRI数据;

Step3、利用特征选择机制学习退化原型;

Step4、利用LoRa分支处理多种退化:通过低秩分解策略,将基础融合模型分解为多个分支,在融合不同退化数据时,能通过不同分支进行处理;

Step5、通过退化原型提示促进退化消除和特征融合:设计基于可学习特征原型的提示模块,通过在不同的LoRa分支中注入退化相关的不变特征,帮助LoRa分支消除退化,促进融合;

Step6、整合各分支特征,构建融合图像:通过整合不同尺度中的消除退化融合特征,经由输出层构建出融合图像;

所述Step3包括:

Step3.1、将退化图像和参考图像输入到基于卷积的特征编码器中提取到浅层特征、和深层特征、;

Step3.2、通过对深层特征、进行图像分块编码得到序列信息,将其输入到Transformer中进行特征提取,提取到的特征记为、;为了聚合图像退化类别相关的信息,还拼接了一个可学习的退化类别令牌、;

Step3.3、将包含全局信息的退化类别令牌、作为每组待融合特征所带有的退化表示:、经由全连接层得到的分类预测结果与当前特征的退化类别标签一致,使得、指导退化原型的学习;

Step3.5、引入了由可学习的参数构成的退化原型;在网络进行特征融合时,退化原型通过特征选择机制,从退化原型当中筛选出与当前退化相关的提示信息;其中,信息筛选依赖退化相关特征退化类别令牌、中蕴含的退化信息来进行;

Step3.6、通过将退化相关特征退化类别令牌、送入线性层和Softmax函数,得到与退化原型相同形状的信息筛选头;此时,信息筛选头将与退化原型点乘,从退化原型中选择出退化相关的特征表示,即提示信息,将作为提示信息帮助后续网络消除退化。

2.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step1包括:所述对齐的多模态医学图像数据中的每个多模态医学图像对,都有一组特征互补的医学图像组成,包括:MRI-T1、MRI-T2;MRI、CT;PET、CT;

首先对多模态医学图像的数据集进行预处理,预处理的具体方法为:将三维图像的分辨率统一重采样到256×256×256;对数据进行随机反转进行数据增强,图像的像素值被归一化到[0,1]之间。

3.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step2包括:(1)、对于MRI-T1、MRI-T2融合场景,通过模拟T2印象成像过程中患者移动在K空间中产生的成像特点,构造了存在运动伪影的MRI数据;

(2)、对于MRI、CT融合场景,收集了来自临床采集的金属伪影掩码,利用增加噪声和光束硬化来模拟金属伪影成像,构造CT金属伪影数据;

(3)、对于PET、CT融合场景,通过对标准剂量PET数据实行下采样操作并加入泊松噪声,来模拟低剂量PET的成像效果,构造了低剂量PET数据。

4.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step4包括:Step4.1、利用低秩分解技术,将基础融合模型中的多通道卷积替换为低秩卷积,构建出3组不同的LoRa分支;

Step4.2、步骤Step3得到浅层特征被级联之后作为待融合的特征,带有退化的融合特征分别送入到基础融合模型和构建出的LoRa分支中进行去退化和融合,各自结果被整合送入输出层,得到最终的融合结果;

在训练的开始阶段,将基础融合模型和LoRa分支一同更新参数;在训练的后半阶段,基础融合模型的参数将被冻结,通过只更新LoRa分支来微调整个网络框架。

5.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step5包括:在基础融合模型以及LoRa分支中加入了可学习特征原型的提示模块;

将浅层特征、级联之后采用编码成多尺度特征,i=1, 2, 3, 4,被分别输入到对应尺度的基础网络和LoRa网络、、中进行特征的恢复与融合,其中i代表了网络所在的尺度;

基础网络和LoRA网络、、在处理特征时,需要先前得到的提示信息进行辅助才能得到融合特征;融合特征的计算公式为:;

其中、、为经由全连接层得到的分类预测结果,代表了源图像退化类型的分类分数。

6.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step6包括:Step6.1、在多尺度特征整合架构中设计4尺度的融合分支;将浅层特征、级联并经过卷积下采样操作分别得到多尺度特征;

Step6.2、多尺度特征被分别送入跳跃链接嵌入模块中,得到消除退化后的融合特征 ;

Step6.3、融合特征 将经由上采样操作整合到一起,最终送入由卷积和ReLU激活函数组成的输出层output()中得到消除退化的融合图像:。

7.根据权利要求1所述的基于退化原型学习的多退化医学图像统一融合方法,其特征在于:所述Step6还包括:引入像素强度损失用于保证融合结果在视觉效果上,凸显源图像当中的高对比度信息;像素强度损失表示为:;

引入了梯度损失用于使得源图像中的边缘轮廓和细节纹理得到保留:;

其中,表示未出现退化的待融合图像,表示退化图像所对应的清晰图像标签,表示取最大值操作,表示梯度算子。

8.基于退化原型学习的多退化医学图像统一融合系统,其特征在于,所述系统包括:用于执行如权利要求1至7任一项所述的基于退化原型学习的多退化医学图像统一融合方法的模块。

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于退化原型学习的多退化医学图像统一融合方法。