1.一种基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,包括如下步骤:S1、获取白细胞目标检测数据集并预处理;
S2、构建MFDS-DETR模型并训练,
所述MFDS-DETR模型包括骨干网络、高层筛选特征融合金字塔、可形变自注意力模块、编码器和解码器,所述骨干网络采用残差连接方式的ResNet-50,并在所述ResNet-50上增加卷积块,该卷积块包括2个1*1卷积和1个3*3卷积,所述高层筛选特征融合金字塔包括特征选择模块和特征融合模块,所述可形变自注意力模块包括偏移模块和注意力模块;
S3、使用训练好后的MFDS-DETR模型,在骨干网络中,将预处理后的数据集作为输入,通过骨干网络提取特征得到特征图,先使用1*1卷积减少通道数,随后使用3*3卷积来降低特征图尺寸,最后使用1*1卷积来扩充通道数,进而输出不同尺度的特征图;
S4、在高层筛选特征融合金字塔中,通过特征选择模块对不同尺度的特征图进行特征选择得到高层特征和低层特征,随后采用特征融合模块将高层信息和低层信息进行多尺度融合得到多尺度融合特征向量;
S5、在可形变自注意力模块中,通过偏移模块得到不同尺度的偏移输出向量,最后将不同尺度的偏移输出向量通过注意力模块进行加权从而获得最终的输出向量;
所述步骤S5中得到通不同尺度的偏移输出向量的方法为:
在多尺度融合特征向量输入到偏移模块之前,首先需要将多尺度融合特征向量转换为特征图,随后根据参考点坐标获得输入的查询向量;对于查询向量使用线性变换,获得该查询向量的偏移量Δpq,随后根据每个参考点的偏移量找到该参考点所关注的点,即采样点,并采用双线性插值的方式获得该点的输出offsetvalue,每个所述查询向量,有H个关注头,而对于每个关注头则有K个偏移点;
所述步骤S5中获得最终的输出向量的方法为:首先对于输入的查询向量进行线性变换,随后采用Softmax函数获得每个偏移量的权重向量,将每个偏移量输出与对应的权重向量相乘并相加获得采样值Samplevalue,随后将该参考点中每个关注头进行拼接获得最后采样的输出向量Sampleoutput,最后将采样的输出向量进行线性变换获得最终的输出Output,表达式如下:Weight=Softmax(WQ)
Output=W*Sampleoutput;
S6、将步骤S5输出的最终的输出向量作为输入,通过编码器提取全局特征;
S7、将提取的全局特征作为输入,通过解码器得到最终目标检测结果。
2.根据权利要求1所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述步骤S1中数据预处理的方法为:对白细胞目标检测数据集中的图像数据的白细胞通过LabelMe标注为(x1,y1),(x2,y2),其中x1,y1表示的左上角的坐标,x2,y2表示的右下角的坐标,进而将标注格式转换为(x1,y1)和标注框的宽和高,并且将所有图像的标注文件分别进行整合,整合为COCO格式的标注数据;
在获得COCO格式的训练数据之后,需要对输入图像进行数据增广,通过对训练数据集进行数据增广,使用随机裁剪,中心裁剪,加入椒盐噪声和高斯噪声来进行数据增强。
3.根据权利要求1所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述特征选择模块包括通道注意力模块和维度匹配模块,所述通道注意力模块包括全局平均池化和全局最大池化,所述维度匹配模块包括1*1卷积;
通过所述特征选择模块进行特征选择的方法为:首先经过全局平均池化和全局最大池化,然后将计算的特征进行相加,随后通过激活函数Sigmoid来计算每个通道的权重值,最后输出每个通道的权重fCA∈RC×1×1,随后将获得的权重信息与自身尺度的特征图相乘,获得筛选后的特征图;在维度匹配模块中采用1*1卷积将每个尺度的特征图的通道数缩小至256。
4.根据权利要求2所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述特征融合模块采用转置卷积、双线性插值组合和CA模块;
通过特征融合模块得到多尺度融合特征向量的方法为:给定一个输入高层特征fhigh∈RC×H×W,输入低层特征首先高层特征通过步长为2,卷积核为3*3的转置卷积扩展特征尺寸随后为了统一高层特征和低层特征的尺寸,使用双线性插值对高层特征进行下采样或上采样,得到其中,C表示特征图的通道数,H表示特征图高度,W表示特征图宽度;获取到尺寸一致的特征之后,使用CA模块将高层特征转换为相对应的注意力权重用来筛选低层特征,最后将筛选后的低层特征与高层特征相融合得到多尺度融合特征向量,表达式如下:fatt=BL(T-Conv(fhigh))
fout=flow*CA(fatt)+fatt。
5.根据权利要求4所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述编码器设置有6层,每层所述编码器由可变形自注意力和FFN网络结构组成,所述编码器提取全局特征的方法为:最终的输出向量中加入空间位置编码和尺度编码作为编码器的输入;通过可变性自注意力初始化参考点获得输出向量;通过残差结构对输出向量归一化,随后通过FFN网络结构进行一学习白细胞特征。
6.根据权利要求5所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述解码器包括自注意力特征提取模块和交叉注意力特征提取模块;
所述自注意力特征提取模块包括自注意力模块和FFN,其中自注意力模块是通过输入向量之间彼此交互学习,计算不同对象的权重,从而找到更关注的区域信息,自注意力计算公式如下述所示:Attention(Q,K,V)=Cos(Q,K)×V
所述交叉注意力特征提取模块的结构上与编码器相同,但是编码器,交叉注意力机制的输入分别来自输出位置编码和编码器最后一层提取的全局特征。
7.根据权利要求6所述的基于多尺度融合和可变形自注意力的白细胞检测方法,其特征在于,所述MFDS-DETR模型的损失函数是由分类损失,回归损失,辅助损失组成的联合损失函数,表达式如下: