欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110114243
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于边界感知和注意力机制的医学图像分割方法,其特征在于:包括以下几个步骤:A、准备医学图像数据集,并对医学图像数据集进行划分;

B、对医学图像数据集中的医学图像进行数据增强;具体包括依次进行随机旋转、随机垂直翻转、随机水平翻转以及调整图像大小;

C、创建一种基于边界感知和注意力机制的医学图像分割网络模型,所述的医学图像分割网络模型为编码器解码器架构,具体包括边界感知模块,特征融合模块和特征增强模块;

所述的解码器均为四层,编码器和解码器的对应层之间有跳跃连接,编码器为金字塔视觉Transformer的PVT v2-b2预训练模型;

所述的边界感知模块用于提取编码器模块输出的四层特征的边界信息并融合输出一个最终边界特征;

所述的特征融合模块用于将解码器跳跃连接的特征、经过边界增强的特征以及上采样的特征进行融合,特征增强模块将进一步增强通过特征融合模块操作后生成的特征;

D、将步骤B中数据增强后的医学图像输入到步骤C中创建的医学图像分割网络模型中;

E、将步骤D中输入网络模型的医学图像首先经过PVT v2-b2预训练模型进行编码,提取的E1,E2,E3,E4;

F、将步骤E中得到的多尺寸特征图E1,E2,E3,E4输入到边界感知模块中;首先多尺寸特征图E1,E2,E3,E4分别通过边界检测模块,分别输出四个经过边界检测后的特征图,这些特征图边缘区域得到增强,非边缘区域保持不变;

然后将四个经过边界检测后的特征图按通道维度拼接在一起,得到融合后的特征图;

通过计算注意力权重,用于学习特征图之间的权重关系;将注意力权重与融合后的特征图相乘,得到加权融合后的特征图;

然后,通过卷积层生成输出边界特征图;

最后再下采样以匹配不同层级的特征大小得到四个不同尺度的边界特征图B1,B2,B3,B4;

G、对步骤E中提取的多尺度特征图E1,E2,E3,E4进行解码操作;特征融合模块将解码器跳跃连接的特征与经过边界增强和上采样的特征进行融合,增加重要通道的特征表示,并通过步骤F中边界特征图B1,B2,B3,B4进行增强边界特征,特征增强模块将进一步增强通过特征融合模块操作后生成的特征,四个层级得到四个输出特征图O1、O2、O3、O4,最后将四个输出特征图O1、O2、O3、O4相加在一起得到最终的分割图;

H、训练结束后,将训练好的模型的所有参数信息都保存下来;

I、将待测样本输入得到的医学图像分割模型中,计算输出分割结果图。

2.根据权利要求1所述的基于边界感知和注意力机制的医学图像分割方法,其特征在于:所述步骤F中,将步骤E中得到的多尺寸特征图E1,E2,E3,E4输入到边界感知模块中,得到四个特征图为通道数为1,大小分别为1/4宽高、1/8宽高、1/16宽高和1/32宽高的边界特征图B1,B2,B3,B4,具体过程如下:首先将四个层级的特征图E1,E2,E3,E4分别对输入特征图进行水平和垂直方向上的边缘检测,然后通过对水平方向梯度和垂直方向梯度分别平方、相加,再开平方得到梯度幅值;

将输入图像和梯度幅值在通道维度上进行拼接,再通过一个卷积层对拼接后的特征图进行卷积操作,将通道数减少;

再通过Sigmoid激活函数将输出特征图进行非线性映射,将特征值限制在0到1之间;将经过映射的特征图与输入特征图x相乘,得到增强后的特征图,其中只有边缘区域得到了增强,非边缘区域保持不变,分别得到四个边缘增强后的特征图;

然后,对上述得到的四个特征通道数的降维操作,对各个特征图进行处理;通过插值操作将降维后的特征图x4、x3、x2调整为与x1相同的大小;

gx=convx(x)

gy=convy(x)

pooled=sigmoid(conv(concatenate(x,g)))enhanced=pooled*x

其中,x表示要进行边界感知操作的输入特征图,convx和convy分别表示水平和垂直方向上的3x3卷积操作,sqrt表示开平方运算,concatenate表示在通道维度上进行拼接,conv表示用作变换通道数的1x1卷积操作,sigmoid表示Sigmoid激活函数,gx表示水平方向梯度,gy表示垂直方向梯度,g表示梯度幅值,pooled表示经过映射的特征图,enhanced表示增强后的图像。

3.根据权利要求1所述的基于边界感知和注意力机制的医学图像分割方法,其特征在于:所述步骤G中,对步骤E中的多尺度特征图E1,E2,E3,E4进行解码,得到四个输出特征图O1、O2、O3、O4,具体包括如下步骤:首先将E4进行1x1的卷积层,接着将与B4进行相乘操作,再经过特征增强模块后,分别经过两个分支,一个分支经过1x1的卷积层和32倍上采样为原始输入特征大小作为输出O4;

一个分支上采样为E3特征大小的特征D3,然后将上述D3与E3进行交叉通道注意力融合,接着将融合特征与B3进行相乘操作强化边界信息,再将强化后的边界信息与D3进行交叉通道注意力融合,然后经过特征增强模块;特征增强后,分别经过两个分支,一个分支经过1x1的卷积层和16倍上采样为原始输入特征大小作为输出O3;

一个分支上采样为E2特征大小的特征D2,然后将上述D2与E2进行交叉通道注意力融合,接着将融合特征与B2进行相乘操作强化边界信息,再将强化后的边界信息与D2进行交叉通道注意力融合,然后经过特征增强模块;特征增强后,分别经过两个分支,一个分支经过1x1的卷积层和8倍上采样为原始输入特征大小作为输出O2;

一个分支上采样为E1特征大小的特征D1,然后将上述D1与E1进行交叉通道注意力融合,接着将融合特征与B2进行相乘操作强化边界信息,再将强化后的边界信息与D1进行交叉通道注意力融合,然后经过特征增强模块,特征增强后,最后经过1x1的卷积层和4倍上采样为原始输入特征大小作为输出O1;

最后将O1,O2,O3,O4相加在一起得到最终的分割图。

4.根据权利要求3所述的基于边界感知和注意力机制的医学图像分割方法,其特征在于:所述的交叉通道注意力融合过程具体包括以下步骤:

基于全局平均池化和用一维卷积来计算通道注意力权重,并将它们进行加权融合,得到综合的通道注意力权重;

基于综合的通道注意力权重,通过Sigmoid激活函数将通道注意力权重映射到0到1的范围,得到缩放因子;将两个初始输入特征图分别与缩放因子以及(1-缩放因子)相乘,得到加权后的特征图;突出了重要通道的特征表示,同时保留了原始特征的一部分;

avg_pool_p=avg_pool(p)

channel_att_p=conv(avg_pool_p)

avg_pool_q=avg_pool(q)

channel_att_q=conv(avg_pool_q)

scale=sigmoid(channel_att_p+channel_att_q)out=p*scale+q*(1-scale)

其中,p、q分别表示要进行交叉通道注意力融合的两个输入特征,avg_pool表示全局平均池化,conv表示一维卷积操作,max_pool表示自适应最大池化,sigmoid表示Sigmoid激活函数,avg_pool_p,avg_pool_q分别表示p,q经过全局平均池化后的特征,channel_att_p,channel_att_q分别表示p,q的通道注意力权重,scale表示缩放因子,out表示输出特征图。

5.根据权利要求1所述的基于边界感知和注意力机制的医学图像分割方法,其特征在于:所述的特征融合模块进行融合的过程具体包括以下步骤:基于上采样模块,在解码器中,将特征经过包含上采样、卷积、批归一化和激活函数的上采样模块,通过上采样操作增加特征图的分辨率,以便与低层特征进行融合;

基于经过上采样模块的特征和跳跃连接的特征,使用交叉通道注意力模块进行融合后,将突出了重要通道的特征表示,然后与边界特征逐像素相乘突出边界信息;

基于交叉通道注意力和突出边界信息的特征,再次与上采样后的特征融合,再次将增强边界信息的特征突出重要通道特征;

d=relu(bn(conv(upsample(u))))

f=CECA(d,e)*b

out=CECA(d,f)

其中,u与e分别表示需要上采样的特征和跳跃连接特征,b表示步骤F中得到的通道数为1的边界特征图,conv表示用作变换通道数的3x3卷积操作,upsample表示上采样,bn表示批量归一化,relu表示ReLU激活函数,CECA表示交叉通道注意力,d表示经过上采用模块后的特征,f表示经过交叉通道注意力模块进行融合后并突出边界信息的特征,out表示输出的特征图。

6.根据权利要求1所述的基于边界感知和注意力机制的医学图像分割方法,其特征在于:所述的特征增强过程包括以下步骤:给定输入,使用核大小为11x11的深度卷积和Hadamard积计算输出;使得每个空间位置(h,w)与以(h,w)为中心的11×11方形区域内的所有像素相关,通道间的信息交互可以通过线性层来实现;每个空间位置的输出是正方形区域内所有像素的加权和;

基于多层感知机模块,通过非线性变换对通过卷积特征调制模块的特征进行进一步的处理,以提取更高级的语义特征;

基于将这两个模块的输出与输入特征进行加权相加,可以融合局部和全局关系的特征表示,并保留输入特征的部分信息;

a=Dconv(linear(ln(h)))

v=linear(ln(h))

z=linear(a*v)

attn=h+z

out=attn+mlp(attn)

其中,h表示要进行特征增强的输入特征图,ln表示层归一化,linear表示1x1卷积,Dconv表示11x11深度卷积,mlp表示MLP模块,a表示经过层归一化、1x1卷积、深度卷积后的特征,v表示经过层归一化、1x1卷积后的特征,z表示经过逐元素乘积、1x1卷积后的特征,attn表示经过Conv-Mod模块的输出特征图,out表示最终输出特征图。