1.一种用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,包括:步骤1,根据目标检测模型的定位结果,从定位结果中提取源域和目标域的目标边界框内特征;
步骤2,根据目标检测模型的分类结果,先获取源域和目标域目标边界框内特征对应的类别标签,再将此类别标签和粗粒度域标签进行合并,得到细粒度域标签;
步骤3,根据源域和目标域的目标边界框内特征,通过细粒度域分类器获得源域和目标域的目标边界框内特征的细粒度域分类分数;
步骤4,根据细粒度域标签和细粒度域分类分数,计算细粒度特征对抗对齐损失。
2.如权利要求1所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,步骤2中“将类别标签和粗粒度域标签合并为细粒度域标签的方法”具体包括:将源域数据对应的粗粒度域标签设置为[1,0],将目标域数据对应的粗粒度域标签设置为[0,1];
将粗粒度域标签向量[1,0]和向量[0,1]中的0元素转化为维度K与第i个目标边界框内特征的类别标签ci相同的0向量;
将第i个目标边界框内特征的类别标签ci按照其维度K分解成
再与其维度相同的0向量进行拼接,得到第i个源域目标边界框内特征的细粒度域标签第i个目标域目标边界框内特征的细粒度域标签
其中, 表示目标边界框内特征的类别标签的维度均为K, 表示目标边界框内特征的细粒度域分类分数的维度均为2K。
3.如权利要求2所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,步骤2中“获取源域和目标域目标边界框内特征对应的类别标签”具体通过如下两种方式之一实现:第一方式,首先,利用公式(1)对第i个目标边界框内特征的类别分类分数进行softmax处理,获得的类别概率分数:式中,pi,j、yi,j、yi,k表示第i个目标边界框内特征的类别概率分数pi的第j个元素、类别分类分数yi的第j个元素、第k个元素,j=1,2,…,K;
然后,将元素pi,j最大对应的第i个目标边界框内特征的类别标签ci中第j个元素ci,j置为1,而将类别标签ci中其他元素置为0,从而得到第i个目标边界框内特征的类别硬标签;
第二方式,首先,利用公式(3)描述的温度系数T调整第i个目标边界框内特征的类别分类分数的softmax分布的平滑程度,获得类别概率分数:再如式(4)所示,将目标边界框内特征的类别概率分数pi作为类别软标签:ci,j=pi,j (4)。
4.如权利要求1所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,步骤3具体包括:步骤31,在普通域分类器输出层的每个神经元分别拓展到K个神经元,构建的细粒度域分类器包括:M2个全连接层,其中的前(M2‑1)个全连接层均紧跟激活函数,用N2,i表示细粒度域分类器中第i个全连接层的神经元个数,其中i=1,2,…,M2;
步骤32,以第i个源域或目标域目标边界框内特征作为细粒度域分类器的输入,细粒度域分类器预测到,第i个源域目标边界框内特征的细粒度域分类分数第i个目标
域目标边界框内特征的细粒度域分类分数
其中,
表示第i个源域目标边界框内特征的细粒度域分类分数 的第j′个元素, 表示第i个目标域目标边界框内特征的细粒度域分类分数 的第j′个元素,j′=1,2,…,2K。
5.如权利要求1所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,步骤4具体包括:通过式(5)对第i个源域目标边界框内特征的细粒度域分类分数、通过式(6)对第i个目标域目标边界框内特征的细粒度域分类分数分别进行softmax处理,得到第i个源域目标边界框内特征的细粒度域概率分数中第j′个元素 和第i个目标域目标边界框内特征的细粒度域概率分数中第j′个元素利用公式(7)计算源域目标边界框内特征的细粒度特征对抗对齐损失 利用公式(8)计算目标域目标边界框内特征的细粒度特征对抗对齐损失
6.如权利要求1或5所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,还包括:步骤5,将源域和目标域目标边界框内特征的细粒度特征对抗对齐损失 合并到目标检测模型自身的损失中,再对结合细粒度域分类器的目标检测模型进行训练,获得最优的用于自适应的跨域目标检测的模型权重。
7.如权利要求6所述的用于跨域目标检测的细粒度特征对抗对齐方法,其特征在于,步骤5具体包括:通过公式(9)中,使用系数α来调节源域和目标域目标边界框内特征的细粒度特征对抗对齐损失之和,再将其加到目标检测模型损失 上,从而得到结合细粒度域分类器的目标检测模型的总损失以公式(9)为优化目标,对结合细粒度域分类器的目标检测模型进行训练,当 完成收敛后,选取在本次训练过程中最优的模型权重。
8.一种用于跨域目标检测的细粒度特征对抗对齐系统,其特征在于,包括:源域和目标域目标边界框内特征提取模块,其用于根据目标检测模型的定位结果,从定位结果中提取源域和目标域的目标边界框内特征;
源域和目标域细粒度域标签合成模块,其用于根据目标检测模型的分类结果,先获取源域和目标域目标边界框内特征对应的类别标签,再将此类别标签和粗粒度域标签合并为细粒度域标签;
源域和目标域细粒度域分类分数获取模块,其用于根据源域和目标域的目标边界框内特征,通过细粒度域分类器获得源域和目标域的目标边界框内特征的细粒度域分类分数;
细粒度特征对抗对齐损失计算模块,其用于根据细粒度域标签和细粒度域分类分数,计算细粒度特征对抗对齐损失。
9.如权利要求8所示的用于跨域目标检测的细粒度特征对抗对齐系统,其特征在于,细粒度特征对抗对齐损失计算模块还用于通过公式(9)中,使用系数α来调节源域和目标域目标边界框内特征的细粒度特征对抗对齐损失之和,再将其加到已知的目标检测模型损失上,从而得到结合细粒度域分类器的目标检测模型的总损失 以公式(9)为优化目标,对结合细粒度域分类器的目标检测模型进行训练,当 完成收敛后,选取在本次训练过程中最优的模型权重;
式中: 为通过式(7)计算源域目标边界框内特征的细粒度特征对抗对齐损失,为通过式(8)计算目标域目标边界框内特征的细粒度特征对抗对齐损失:式中, 为第i个源域目标边界框内特征的细粒度域概率分数中第j′个元素,为第i个目标域目标边界框内特征的细粒度域概率分数中第j′个元素, 为第i个源域目标边界框内特征的细粒度域标签中第j′个元素, 为第i个目标域目标边界框内特征s t的细粒度域标签中第j′个元素,n 、n分别为源域、目标域局部特征图的总数,K为源域和目标域目标边界框内特征的类别标签的维度,j′=1,2,…,2K。