欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019105940124
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多层特征对齐的跨域目标检测方法,其特征在于,包括以下步骤:

Step1:对源域数据和目标域数据进行预处理;

Step2:将预处理后的源域数据输入SSD检测模型,通过对有标注信息的源域数据进行端到端的训练,得到一个全监督的初始检测模型,并作为下一步训练的预训练模型;

Step3:利用预训练模型对预处理后的源域数据和目标域数据进行特征提取;

Step4:使用对抗生成网络实现源域与目标域多层特征对齐;

所述Step4具体为:通过Step3特征提取后,得到源域特征Fm(xS)和目标域特征Fm(xT),其中m表示第m层卷积特征,然后使用对抗生成网络实现源域与目标域特征的对齐,其中设定对抗生成网络的判别器为Dm,其为一个二分类网络,并以Fm作为生成器,对于判别器,设定源域分类标注为1,目标域分类标注为0,则第m层判别器训练目标函数 为二分类交叉熵损失函数:其中,xS采样于源域数据分布p(xS),xT采样于目标域数据分布p(xT),E(·)表示计算期望值,Dm(Fm(xS))表示源域数据xS的第m层特征属于真实数据的概率,Dm(Fm(xT))表示目标域数据的第m层特征属于生成数据的概率;

在生成网络中,将源域数据集作为真实数据,将目标域数据作为生成数据,则第m层生成网络目标函数 为:联合上述两式,当判别器的输入特征来自于源域时,Dm(Fm(xS))的值趋近于1,当判别器的输入特征来自于目标域时,Dm(Fm(xT))趋近于0,而对于生成器,也即特征提取网络Fm,其目的是使得Dm(Fm(xS))趋近于1,因此,其训练过程中第m特征层的损失函数V(Dm,Fm)为一个极大极小的博弈问题:也即最小化如下式子:

Step5:将对抗生成网络即对齐网络模型与预训练模型联合训练,得到在源域数据集上训练好的最终检测模型;

将对齐网络模型与预训练模型联合训练,得到最终的检测模型,训练过程中损失函数为:式中,LD为不同特征层判别器损失函数 的和,LF为在源域数据上的检测损失Ldet与不同特征层生成器损失函数 的和, 为不同特征层的对抗损失的权重。

2.根据权利要求1所述的基于多层特征对齐的跨域目标检测方法,其特征在于,所述Step1中预处理是指对数据进行增广,具体为通过亮度、饱和度以及色调调整,随机裁剪固定区,随机裁剪随机大小,随机翻转固定角度和随机翻转随机角度,得到増广图片,再做归一化处理,并将图片裁剪到固定大小,使其尺寸为300×300。

3.根据权利要求1所述的一种基于多层特征对齐的跨域目标检测方法,其特征在于,所述Step2的具体过程为:构建SSD检测模型,其以去掉全连接层的VGG16为基本网络模型,然后再加入Conv6、Conv7、Conv8、Conv9、Conv10和Conv11六个卷积层,并抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2作为特征层,将预处理的源域数据输入SSD检测模型进行特征提取,在每个特征层的每个像素点上生成尺度大小和长宽比不一的6个默认边框,对默认边框进行与标注边框进行匹配,得到训练过程中的正样本与负样本;

首先,将与标注边框交并比最大的默认边框进行匹配,然后,对于默认边框,将标注边框与其交并比大于0.5的进行匹配;

具体而言,Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2层的特图征上的默认边框尺寸所占原图比例大小为:式中,u=5表示进行预测的层数,smin取值0.2,smax取值0.9,sk表示第k个预测层的默认边框尺寸所占原图像的比例大小,在预测层Conv4_3上的默认边框尺寸所占原图像的比例大小为0.1,即当k=6时,sk=0.1,令Sk表示第k个预测层的默认边框尺寸,则Sk=300×sk;

对于默认边框的长宽比,取αr={1,2,3,1/2,1/3},则第k层的前五个默认边框宽和高分别为 和 对于第k层的第六个默认边框Sk′长宽比取1,且有 取S7=312,从而在每个预测层的每个像素点将会根据上述设置的尺寸大小的长宽比生成不同的默认边框;

此外,每个预测的特征层的每个像素点将分别送入尺寸大小为3×3×qm的卷积核,以进一步得到分类置信得分与回归偏量,qm为第m层特征层的通道数;

在训练过程中,目标损失函数为:

其中,N为与标注边框相匹配的默认边框的个数,Lloc为定位损失函数,Lconf为分类置信度的损失量,α为正则化参数,x为输入图像,c为目标类别,l为模型预测边框,g为标注边框,对于定位损失函数,得到对默认边框的位置偏差,定义边框为{cx,cy,w,h},其中(cx,cy)为边框中心坐标,w和h分别为宽和高,设默认边框为d,则Lloc为:其中,

分别为第j个标注边框的中心坐标、宽和高, 分别为第i个默

认边框的中心坐标、宽和高, 为平滑函数,且有

当 时,第i个默认边框与第j个类别为k的标注边框相匹配,并将默认边框

送入正样本集合Pos;否则,

分类损失Lconf为softmax损失函数:

其中, 为第i个默认边框为p类的概率, 第i个默认边框预测为背

景时的分类得分,Neg表示匹配的负样本集合,在这里为背景;Pos表示匹配的正样本,为要检测的类别, 当 时,第i个默认边框与第j个类别为p的标注边框相匹配,并将默认边框送入正样本集合Pos;否则, 并将默认边框送入负样本集合Neg;

将预处理的源域数据输入SSD检测模型,通过以上过程,训练得到一个全监督的检测模型,并将训练得到的模型作为下一步训练的预训练模型。

4.根据权利要求1所述的基于多层特征对齐的跨域目标检测方法,其特征在于,所述Step3具体为:将预处理后的源域数据和目标域数据分别并在预训练模型中的卷积层Conv1、Conv2、Conv3和Conv4上进行特征提取。