1.一种基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,包括以下步骤:步骤1、获取维度为3×H×W的太赫兹图像I,将太赫兹图像I同时输入目标检测DETR分支和SAM掩码预测分支;
所述目标检测DETR分支的执行过程如下:
首先,太赫兹图像I经卷积神经网络ResNet50进行特征提取,得到特征图Fi1;然后,将生成的位置编码Fpos与特征图Fi1按位相加,得到特征图Fo2,接着,将特征图Fi2重塑并输入至Transformer编码器Enc,输出特征图Feo;其次,构建N个可学习的嵌入向量Fl,并将嵌入向量Fl和特征图Feo一起输入Transformer解码器Dec,输出特征图Fdo;最后,利用两个并行且不共享权重的全连接层FC1、FC2,将特征图Fdo映射成两个输出:边界框预测和分类预测;
所述SAM掩码预测分支包括图像编码器EncI、提示编码器Encp和掩码解码器Decm,SAM掩码预测分支的执行过程如下:所述图像编码器EncI使用基于MAE预训练的视觉转换器ViT,太赫兹图像I经图像编码器EncI处理后得到图像嵌入Iemb;所述提示编码器Encp接收目标检测DETR分支的预测结果,即边界框预测和分类预测,进行提示编码得到提示嵌入Pemb;然后,将图像嵌入Iemb和提示嵌入Pemb一起输入到掩码解码器Decm,完成肿瘤的掩码预测Mask,将掩码预测Mask和太赫兹图像I经过process转换为最终预测的肿瘤边界框Box,肿瘤的分类结果仍然采用DETR分支的预测Clsp作为最终的分类预测Cls;
步骤2、采用课程学习的思想,将由易到难的太赫兹乳腺肿瘤图像数据集进行分批次的训练,以增加模型的泛化性和鲁棒性;并将预测的边界框和类别与标注的真值进行损失计算,进行100轮监督学习,使用loss函数约束网络进行优化。
2.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述目标检测DETR分支的具体处理方法如下:步骤A、太赫兹图像I先经过卷积神经网络ResNet50提取特征,经过五次尺寸上的下采样,每次将特征图的H、W降为原来1/2,输出维度为2048×H/32×W/32的特征图,再利用1×1卷积层将卷积神经网络输出的特征图的维度降低至256,记作特征图Fi1,其维度为256×H/32×W/32;然后生成一个大小为256×H/32×W/32的位置编码Fpos,将其与输入特征图Fi1按位相加,其相加后维度依旧是256×H/32×W/32,记作特征图Fi2;
特征图Fi2的计算公式如下:
Fi2=ResNet50(I)+Fpos;
步骤B、先将特征图Fi2的尺度大小重塑为(H/32×W/32)×256,然后输入至Transformer编码器Enc,经过编码器Enc后输出相同大小的特征图Feo,特征图Feo维度是(H/32×W/32)×256;接着构建N个维度为256的可学习的嵌入向量Fl,将可学习的嵌入向量Fl和特征图Feo作为Transformer解码器Dec的输入,经过解码器后输出大小为100×256的特征图Fdo;N=100;
所述特征fdo的计算公式如下:
Fdo=Dec(Enc(Fi2),Fl);
步骤C、利用两个并行且不共享权重的全连接层FC1、FC2,将Transformer解码器的输出Fdo映射成两个输出:边界框预测和分类预测,分类预测结果维度为100×2,边界框预测用于位置回归其维度为100×4;
其中,分类的目标Clsp包括肿瘤的良性和肿瘤的恶性,边界框的目标Boxp是指边界框归一化的中心坐标和宽高;
Clsp和Boxp计算公式如下:Clsp=FC1(Fdo);Boxp=FC2(Fdo)。
3.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述SAM掩码预测分支肿瘤的掩码预测Mask的计算公式如下:
Mask=Decm(EncI(I),Encp(Clsp,Boxp));
Box=process(Mask,I);
Cls=Clsp。
4.根据权利要求1所述的基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,其特征在于,所述步骤2中损失函数计算方式如下:L=Lcls+Lreg;
其中,Lcls代表分类损失函数,即网络预测的目标类别和真实的目标类别之间的损失,Lreg代表边界框损失函数,即网络预测的目标位置和真实的目标位置之间的损失;
N是总样本数,yi是第i个样本的所属类别,pi是第i个样本的预测值;
Lreg=1-IoU;
上式中,IoU类的损失函数是基于预测框和标注框之间的交并比,记预测框为P,标注框为G,则对应的IoU表示为:IoU=P∩G/P∪G。