1.一种检测无人机小目标的动态特征和上下文增强方法,其特征在于,包括以下步骤:S1:对无人机拍摄的图像进行预处理;
S2:将步骤S1中的处理后的图像数据划分为训练数据集、验证数据集和测试数据集;
S3:基于无人机采集的数据集构建一种动态特征和上下文增强的小目标检测模型;
S4:使用步骤S2中的训练数据集和验证数据集对步骤S3搭建的检测模型进行训练、验证和优化,并将得到的最优模型权重进行保存;
S5:将步骤S2中的测试数据集输入S3中构建的模型,通过加载S4中的最优模型权重,以检测无人机拍摄的小目标。
2.根据权利要求1所述检测无人机小目标的动态特征和上下文增强方法,其特征在于,步骤S1,对无人机拍摄的图像进行预处理,包括以下步骤:S11:对无人机从不同高度和不同城市拍摄的图像数据进行筛选,将没有标签和拍摄重影的图像筛除,保留有标签和没有重影的图像数据;
S12:对步骤S11中有标签和没有重影的图像数据重新调整分辨率,保持所有图像分辨率一致。
3.根据权利要求1所述检测无人机小目标的动态特征和上下文增强方法,其特征在于,步骤S2,将步骤S1中的处理后的图像数据划分为训练数据集、验证数据集和测试数据集,包括以下步骤:S21:对步骤S12相同分辨率的图像数据的所有图片名字进行重命名;
S22:根据S21中重命名的图像将所对应的标签进行重命名,使得标签与图像一一对应;
S23:对S22重命名后的图像和标签分别建立图像和标签文件夹,并将图像和标签分别放入这两个文件夹;
S24,将所有步骤S23的图像样本按照3:2:1的比例划分为训练数据集、验证数据集和测试数据集。
4.根据权利要求1所述检测无人机小目标的动态特征和上下文增强方法,其特征在于,步骤S3,基于无人机采集的数据集构建一种动态特征和上下文增强的小目标检测模型,包括以下步骤:S31:训练数据集被重新分配尺寸,并被输入主干网中,通过5个普通卷积块和4个残差卷积块进行特征提取,其中第2个残差卷积块输出浅层特征,第3个残差卷积块输出中间层特征,第4个残差卷积块输出深层特征;
S32:将提取到的浅层特征、中间层特征和深层特征分别送入自适应多维注意力AMA模块中进一步选择关键特征信息;其中自适应多维注意力的结构为:对提取的特征划分为水平特征 和垂直特征 ,利用自适应最大池化 进行下采样处理,对处理后的特征按通道维度进行拼接,并继续划分为水平特征 和垂直特征 ,水平特征 和垂直特征的公式表示为: ,其中 表示按照通道维度将特征进行拼接, 表示划分,接着,通过3×3卷积和1×1卷积分别对水平特征 和垂直特征处理得到特征 和 ,对特征 和 继续使用 得到特征 和特征 ,将特征 和特征 依次送入组卷积、激活函数和组卷积中,通过更新参数 来选择重要的特征信息 ,重要特征信息 的计算公式为: ,其中, 表示激活函数,参数 ,且 , ,
, 和 表示权重, 代表将通道数分成 组,以减少参数数量, 表示
通道数, 表示宽度, 表示高度, 表示集合,将 、 和 逐元素相乘,得到最后的输出特征 ,输出特征的计算公式为: ,其中 表示逐元素相乘,表示通过AMA模块选择的重要输出特征;
S33,将AMA模块应用到浅层、中间层和深层特征提取位置,并通过区域特征处理模块RFP捕捉更多小目标的详细信息;模块RFP的具体结构为:浅层和中间层被AMA选择的重要特征 还存在粗糙的特征信息,因此,将所有样本的特征信息进行层归一化,利用3×3卷积实现跨通道的交互,然后使用正则化方法处理特征并与 按通道拼接,得到特征 ,对特征 进行层归一化处理,并利用1×1标准卷积进行特征的平滑并与 按通道拼接得到特征 ,对特征 使用层归一化、3×3卷积和激活函数将特征映射到复杂的空间,以提高模型的性能,特征 和特征 的计算公式为:,
,其中 表示来自浅层的AMA选择的 个粗糙样本, 表示中间
层的AMA选择的 个粗糙样本, 表示按通道拼接, 表示3×3标准卷积, 表示1×1卷积, 表示层归一化方法, 表示正则化方法, 是输入部分的恒等映射,表示所有输入样本的特征都被层归一化, 和 分别代表均值和标准差, 是一个接近于零的常数,因为所选特征 是连续的随机变量,所以为了控制特征的计算,选择了累积分布函数,计算公式为: ,其中 是卷积得到的特征, 表示 的高斯正态分布的累积分布, 为平均值, 是标准差, 是圆的周长,是指数函数,然后,通过1×1卷积有选择地提取特征,此时,噪声被去除,最后,使用正则化方法进一步细化特征并与特征 按通道拼接得到输出特征 ,特征处理的过程表示为: ,;
为样本 和 的光滑特征, 为带噪声的输入特征, 表示RFP模块选择的最终结果,是1×1卷积, 是正则化方法, 是按通道拼接;
S34,深层特征被输入到多维池化TransformerMPT模块,该模块包括AMA模块、组串联池化模块GTP和组自注意力GSA模块,具体来说:深度网络捕获的全局信息被AMA选择以后,被送入GTP以扩大感受野,并减少模型的参数数量,被GTP处理后的特征被送入GSA中,以提高相似特征之间的相关性,最后,将相关性高的特征输出到预测模块;GTP结构单元为:输入特征经过两个路径分支,其中一个路径单独使用一个1×1组卷积,另一个路径,使用连续的1×1组卷积和3×3组卷积,再使用1×1组卷积后,通过连续的三个最大池化层,其中池化核大小都是5,三个池化层输出的特征与最大池前的1×1组卷积输出特征进行通道拼接,以得到输出特征,再利用一个1×1和3×3组卷积处理,并与另一条路径的输出特征按照通道拼接,拼接后的特征被1×1组卷积处理后,与AMA选择的特征和RFP输出的特征按通道拼接以得到最终输出特征,GTP中感受野和参数数量的计算公式为:,
,其中
是当前层的感受野, 是前两层的感受野,表示层数, 是卷积核的大小, 表示前两层步长, 表示上一层步长, 和 分别表示卷积核大小为1和3, 是输入特征映射的个数, 是输出特征映射的个数, 为隐藏层中特征映射的个数, 是分组的个数, 为GTP模块参数的数量;GSA结构单元为:GTP输出的特征被送入GSA中,通过4个组自注意力中的16个头对信息进行处理,最后通过全连接激活函数层得到输出特征,并连续递归3次得到最终的输出特征;组自注意力由中对查询向量 、键向量 和值向量 的计算公式为: , ,其中 是组自注意力, 是组自注意力中头的个数, 为Concat,目的是根据通道维度拼接信息, 为比例因子,用于调整该值, 和是可学习权值, 是转置向量, 是向量集合, 均表示参数值, 是归一化方法,由两个RFP模块和一个MPT模块处理后的特征被送入预测模块进行模型的回归和预测。
5.根据权利要求1所述检测无人机小目标的动态特征和上下文增强方法,其特征在于,步骤S4,使用步骤S2中的训练数据集和验证数据集对步骤S3搭建的检测模型进行训练、验证和优化,并保存最优权重,具体方法为:S41:对训练集输入到模型中进行训练,设置各项训练的参数,其中初始学习率设置为
0.01,总的训练轮数为300轮,每20轮保存一次权重,结束训练时保留最优权重;
S42:构建模型反向传播的损失函数,通过交并比IoU计算候选框和真实框的面积重合比例, 计算公式为: ,其中 表示面积;接着,通过定位损失 计算预测框和真实框之间的误差,类别损失和置信度损失采用相同的二元交叉熵损失BCELoss,分别记为 和 ,定位损失 的计算公式为: ,, ,其中,是预测框, 是真实框,
表示计算两个中心点间的欧式距离,表示能够同时包含预测框和真实框的最小闭包区域的对角线距离, 表示平衡参数, 衡量长宽比是否一致, 是宽度, 是高度;类别损失函数 和置信度损失函数 的计算公式为:,
,
其中 是类别的数量, 表示样本 的概率值, 是样本 的期望, 表示样本 的概率值, 是样本 的期望;最终的总体损失函数计算公式为:,其中 表示总体损失的计算结果;
S43:通过验证数据集验证模型的性能,在模型预测部分需要计算平均精度 来体现模型性能的好坏, 的数值越高,模型的检测效果越好, 的计算公式为:的计算公式为: , , ,
,其中, 是查准率,表示预测框中有多少真正包含了目标, 是召回率,表示真正的目标中有多少被预测框包含, 表示预测框里有目标, 表示预测框里没有目标, 表示有目标的位置没有预测框, 表示 和 与 轴和 轴围成的面积,即 ,表示预测的类别数量;将 结果最高的权重进行保存;
S44:训练过程中,为了保证模型参数的优化更新,利用SGD优化器进行优化,以解决局部最优点问题,引入了随机性,即将每个数据样本输入网络计算梯度后就进行一次更新,其计算公式为: ,其中, 是模型的参数,表示样本 和样本 输入模型后在 的范围内对参数进
行更新,表示样本的个数, 表示批次大小, 是学习率,循环更新到训练次数结束,输出模型的最优权重;
S45:按照步骤S43继续计算 的数值,直到完成所有训练次数为止。
6.根据权利要求1所述检测无人机小目标的动态特征和上下文增强方法,其特征在于,步骤S5,将步骤S2中的测试数据集输入S3中构建的模型,通过加载S4中的最优模型权重,以检测无人机拍摄的小目标,具体方法为:S51:将步骤S2的测试数据集输入到步骤S3构建的模型中,设置置信度为0.6;
S52:将步骤S4中保存的最优权重加载到步骤S3构建的模型中,冻结主干网部分,测试输出 结果。