1.一种基于编解码结构的多模态显著性对象检测方法,其特征在于,步骤如下:步骤1、根据应用的真实环境选择合适的数据集,确定数据的格式、分布、数量,划分训练集和测试集;
步骤2、确定网络模型的组成部分,设计执行流程,选择合适的损失函数;
步骤3、设置参数,选择优化器,训练模型,得到模型参数;
步骤4、使用测试集对训练后的模型进行测试。
2.根据权利要求1所述的一种基于编解码结构的多模态显著性对象检测方法,其特征在于,步骤1选择合适的数据集,并进行预处理,划分训练集和测试集,具体操作如下;
彩色图像采用RGB颜色空间的格式,深度图像采用0-255灰度值表达深度信息的格式,数据集中深度图像的像素值含义要与深度感知设备保持一致;对选取的数据采用水平镜像翻转、旋转90°、旋转180°、旋转270°,从而实现五倍的数据集扩增,并将数据集中深度图像的像素值进行线性变换,像素值0代表深度为0,像素值255代表深度为255。
3.根据权利要求2所述的一种基于编解码结构的多模态显著性对象检测方法,其特征在于,步骤2、确定网络模型的组成部分,设计执行流程,选择合适的损失函数,具体操作如下;
网络模型分为显著性对象预测分支和对比度特征学习分支;
显著性对象预测分支以彩色图像为输入的,基于编解码结构,用于完成显著性对象预测任务;编码部分使用ResNet-34网络,解码部分为对比度引导的多模态特征混合解码器,所述的对比度引导的多模态特征混合解码器对彩色特征和对比度特征进行充分融合,首先使用拼接操作,将对比度特征中的信息补充到显著性对象预测过程中,然后再次使用彩色特征与对比度特征生成特征滤波器,对颜色特征进行增强;在解码部分每个阶段均有损失函数进行监督,损失函数如公式(1)所示,采用最后一个阶段的输出作为最终的显著性对象预测结果;
显著性对象预测分支的损失函数:
Lrgb=YlogP+(1-Y)log(1-P) (1)该损失函数为交叉熵损失函数,Y代表显著性结果真值,P代表算法预测的结果;
对比度特征学习分支以深度图像为输入,采用编解码结构,用于从深度图像中学习对比度特征,并作为先验信息补偿到显著性对象预测分支,在对比度特征学习分支解码部分的最后一个阶段使用对比度损失函数进行监督,对比度损失函数如公式(2)所示;
对比度特征学习分支的损失函数:
Ldepth=a*(Lfore+Lback)+b*Lboth (2)Lfore=-log(1-4*Dfore)
Lback=-log(1-4*Dback)
Lboth=-log(Dfore-Dback)2
其中,a、b为超参数,设置为a=1,b=10;Dfore代表深度图像中,前景区域即显著性对象区域的像素方差,Dback代表深度图像中,背景区域即非显著性对象区域的像素方差;
具体执行流程:
1)将深度图像输入对比度特征学习分支,学习得到对比度特征
2)将彩色图像输入显著性对象预测分支中,经过编码器作用,学习得到彩色特征
3)将相应特征层级的对比度特征 的彩色特征 输入显著性对象预测分支解码部分的对应解码器中,得到融合特征 并将融合特征 并输入下一级解码器,重复执行;
4)取显著性对象预测分支最后一个解码器的输出结果作为显著性对象检测的预测结果;
中:F代表特征,d代表特征来自对比度特征学习分支,i代表是对比度特征学习分支解码端第i个层级的特征层; 中:F代表特征,R代表特征来自显著性对象预测分支,j代表是显著性对象预测分支编码器第j个层级的特征层; 中:F代表特征,f代表特征是经过融合的,n代表是显著性对象预测分支解码端第n个层级的特征层。
4.根据权利要求3所述的一种基于编解码结构的多模态显著性对象检测方法,其特征在于,步骤3设置训练参数,选择优化器,将训练集输入模型中进行训练,得到模型参数,具体操作如下;
1)训练参数设置:训练迭代次数18000次,每次训练使用8张图片;
分置学习率策略:显著性对象预测分支学习率设置为1e-4,对比度特征学习分支学习率设置为1e-6;
使用学习率衰减策略:当迭代次数为13000次时,显著性对象预测分支学习率减小为1e-5;
2)优化器:使用Adam优化器;
3)将训练集输入模型中进行训练,得到模型参数。