欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024109243549
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,包括以下步骤:步骤1、获取维度为3×H×W的太赫兹图像I,将太赫兹图像I同时输入目标检测DETR分支和SAM掩码预测分支;

所述目标检测DETR分支的执行过程如下:

首先,太赫兹图像I经卷积神经网络ResNet50进行特征提取,得到特征图Fi1;然后,将生成的位置编码Fpos与特征图Fi1按位相加,得到特征图Fo2,接着,将特征图Fi2重塑并输入至Transformer编码器Enc,输出特征图Feo;其次,构建N个可学习的嵌入向量Fl,并将嵌入向量Fl和特征图Feo一起输入Transformer解码器Dec,输出特征图Fdo;最后,利用两个并行且不共享权重的全连接层FC1、FC2,将特征图Fdo映射成两个输出:边界框预测和分类预测;

所述SAM掩码预测分支包括图像编码器EncI、提示编码器Encp和掩码解码器Decm,SAM掩码预测分支的执行过程如下:所述图像编码器EncI使用基于MAE预训练的视觉转换器ViT,太赫兹图像I经图像编码器EncI处理后得到图像嵌入Iemb;所述提示编码器Encp接收目标检测DETR分支的预测结果,即边界框预测和分类预测,进行提示编码得到提示嵌入Pemb;然后,将图像嵌入Iemb和提示嵌入Pemb一起输入到掩码解码器Decm,完成肿瘤的掩码预测Mask,将掩码预测Mask和太赫兹图像I经过process转换为最终预测的肿瘤边界框Box,肿瘤的分类结果仍然采用DETR分支的预测Clsp作为最终的分类预测Cls;

步骤2、采用课程学习的思想,将由易到难的太赫兹乳腺肿瘤图像数据集进行分批次的训练,以增加模型的泛化性和鲁棒性;并将预测的边界框和类别与标注的真值进行损失计算,进行100轮监督学习,使用loss函数约束网络进行优化。

2.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述目标检测DETR分支的具体处理方法如下:步骤A、太赫兹图像I先经过卷积神经网络ResNet50提取特征,经过五次尺寸上的下采样,每次将特征图的H、W降为原来1/2,输出维度为2048×H/32×W/32的特征图,再利用1×1卷积层将卷积神经网络输出的特征图的维度降低至256,记作特征图Fi1,其维度为256×H/32×W/32;然后生成一个大小为256×H/32×W/32的位置编码Fpos,将其与输入特征图Fi1按位相加,其相加后维度依旧是256×H/32×W/32,记作特征图Fi2;

特征图Fi2的计算公式如下:

Fi2=ResNet50(I)+Fpos;

步骤B、先将特征图Fi2的尺度大小重塑为(H/32×W/32)×256,然后输入至Transformer编码器Enc,经过编码器Enc后输出相同大小的特征图Feo,特征图Feo维度是(H/32×W/32)×256;接着构建N个维度为256的可学习的嵌入向量Fl,将可学习的嵌入向量Fl和特征图Feo作为Transformer解码器Dec的输入,经过解码器后输出大小为100×256的特征图Fdo;N=100;

所述特征fdo的计算公式如下:

Fdo=Dec(Enc(Fi2),Fl);

步骤C、利用两个并行且不共享权重的全连接层FC1、FC2,将Transformer解码器的输出Fdo映射成两个输出:边界框预测和分类预测,分类预测结果维度为100×2,边界框预测用于位置回归其维度为100×4;

其中,分类的目标Clsp包括肿瘤的良性和肿瘤的恶性,边界框的目标Boxp是指边界框归一化的中心坐标和宽高;

Clsp和Boxp计算公式如下:Clsp=FC1(Fdo);Boxp=FC2(Fdo)。

3.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述SAM掩码预测分支肿瘤的掩码预测Mask的计算公式如下:

Mask=Decm(EncI(I),Encp(Clsp,Boxp));

Box=process(Mask,I);

Cls=Clsp。

4.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述步骤2中损失函数计算方式如下:L=Lcls+Lreg;

其中,Lcls代表分类损失函数,即网络预测的目标类别和真实的目标类别之间的损失,Lreg代表边界框损失函数,即网络预测的目标位置和真实的目标位置之间的损失;

N是总样本数,yi是第i个样本的所属类别,pi是第i个样本的预测值;

Lreg=1-IoU;

上式中,IoU类的损失函数是基于预测框和标注框之间的交并比,记预测框为P,标注框为G,则对应的IoU表示为:IoU=P∩G/P∪G。