欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114321815
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,所述系统包括:获取数据单元:用于获取多模态脑肿瘤数据,对所述多模态脑肿瘤数据进行预处理获得多模态数据;

特征提取单元:用于基于第一编码器,提取所述多模态数据中每个模态的第一特定特征Fm;

特征融合单元:用于基于所述第一特定特征Fm和第一融合令牌Ff,获得第一特征f1;基于模态稀疏掩码融合Transformer模型,对所述第一特征f1进行交互,获得第二特征Z,基于所述第二特征Z,提取每个模态的权重IMm,基于所述权重IMm获得第三特征基于空间维度,将所述第三特征进行整形获得第四特征预测单元:用于将所述第四特征输入脑肿瘤分割模型获得第一损失L1,基于所述第一损失L1获得预测分割结果;

所述第一损失L1表示预测的分割结果与真实标签之间的误差值;

所述第二特征Z和所述第四特征均包括包含跨模态信息的第二融合令牌Ff1和包含模态内的全局信息的第二特定特征Fm1;

所述第一特定特征Fm、所述第二特定特征Fm1、所述第一特征f1和所述第三特征均包括第一模态T1、第二模态T2、第三模态T1c和第四模态Flair,所述第一模态T1用于提取非增强肿瘤区域信息,所述第二模态T2用于提取水肿区域和坏死区域的肿瘤区域信息,所述第三模态T1c用于提取增强肿瘤区域和非增强肿瘤区域的肿瘤区域信息,所述第四模态Flair用于提取完整的肿瘤区域信息;

所述模态稀疏掩码融合Transformer模型包括若干层模态稀疏掩码融合Transformer,每层所述模态稀疏掩码融合Transformer均包括多头模态稀疏掩码注意力机制、前馈神经网络层和归一化层;

特征融合单元具体包括:

第一融合单元:用于将所述第一特定特征Fm进行整形,将整形后的所述第一特定特征Fm与所述第一融合令牌Ff和所述第一融合令牌Ff的位置编码进行级联,获得所述第一特征f1;

第二融合单元:用于基于模态稀疏掩码注意力机制,将所述第一特征f1投影至预设空间获得第五特征Zm;基于所述模态稀疏掩码融合Transformer模型,将所述第五特征Zm和所述第一特征f1进行融合获得所述第二特征Z,所述预设空间包括查询空间、键空间和值空间;

所述第二特征Z的计算公式为:

C2←MSDA(Zm)+f1;

Z←(FFN(LN(C2))+C2);

其中,f1表示第一特征f1,Zm表示第五特征Zm,MSDA表示多头掩码注意力机制,FFN表示前馈神经网络,LN表示归一化,Z表示第二特征Z,C2表示融合过程中的相关参数;

第三融合单元:用于提取所述第二融合令牌Ff1的注意力张量中每个模态的注意力信息Wj,对所述注意力信息Wj进行切片获得每个模态的空间权重Wm;将所述空间权重Wm进行整形获得所述权重IMm;基于所述权重IMm,对所述第二特定特征Fm1进行加权,获得所述第三特征第四融合单元:用于将所述第三特征沿所述空间维度进行整形获得第六特征将所述第六特征进行级联获得第七特征将所述第二融合令牌Ff1进行整形获得第八特征基于模态掩码Transformer层,将所述第七特征和所述第八特征沿通道维度进行融合,获得所述第四特征

2.根据权利要求1所述的基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,特征提取单元还用于:将所述第一特定特征Fm输入至第二编码器进行分割并投影至潜在空间,获得潜在空间投影的第二损失L2。

3.根据权利要求1所述的基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,所述第一编码器包括五个编码器层,第一编码器层包括三个卷积层和一个残差连接,第二编码器层至第五编码器层的每一层均包括三个MobileNetV3反向残差模块和一个残差连接。

4.根据权利要求1所述的基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,脑肿瘤分割模型包括解码器,所述解码器包括多尺度空洞注意力机制和通道融合Transformer层。

5.根据权利要求4所述的基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,预测单元具体包括:第一预测单元:用于将所述第四特征输入所述解码器,获得第三特定特征Fm2,基于所述通道融合Transformer层,将所述第三特定特征Fm2和所述第四特征进行融合,获得第九特征D1;

第二预测单元:用于将所述第九特征D1进行级联获得最终特征D,基于所述最终特征D获得所述第一损失L1,基于所述第一损失L1获得预测分割结果。

6.根据权利要求2所述的基于稀疏注意力机制的多模态脑肿瘤图像分割系统,其特征在于,获得第二损失L2的计算方式为:Lrgl=∑m∈MLDice(Drgl(Em(xm)),Yg)+LWCE(Drgl(Em(xm)),Yg);

其中,Lrgl表示第二损失L2,LDice表示Dice损失函数,Drgl表示第二编码器,Em表示第一编码器,LWCE表示加权交叉熵损失函数,Yg表示脑肿瘤真实注释,xm表示任何3D输入模态路径,m表示模态,M表示第一特定特征Fm,包括第一模态T1、第二模态T2、第三模态T1c和第四模态Flair。