欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107819408
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种彩色可见光与红外图像显著性目标检测方法,该方法首先构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集,并搭建一个神经网络;其次将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行多轮网络训练,网络训练结束后得到神经网络训练模型;再次使用神经网络训练模型对测试图像对进行预测,预测得到测试图像对的显著性目标图像,其特征在于:所述的神经网络主要由特征提取模块、非对称特征互补模块、特征选择与融合模块、语义增强解码器构成,其中:所述的特征提取模块包括两个ResNet50骨干网路;第1个ResNet50骨干网络的第一层的输入端接收一幅大小为H×W×3的彩色可见光图像,第1个RseNet50骨干网络的第一层的输出端输出的特征图记为FR1,第1个ResNet50骨干网络的第二层的输入端接收FR1,第1个RseNet50骨干网络的第二层的输出端输出的特征图记为FR2,第1个ResNet50骨干网络的第三层的输入端接收FR2,第1个RseNet50骨干网络的第三层的输出端输出的特征图记为FR3,第1个ResNet50骨干网络的第四层的输入端接收FR3,第1个RseNet50骨干网络的第四层的输出端输出的特征图记为FR4,第1个ResNet50骨干网络的第五层的输入端接收FR4,第1个RseNet50骨干网络的第五层的输出端输出的特征图记为FR5;第2个ResNet50骨干网络的第一层的输入端接收一幅大小为H×W×3的红外图像,第2个RseNet50骨干网络的第一层的输出端输出的特征图记为FT1,第2个ResNet50骨干网络的第二层的输入端接收FT1,第2个RseNet50骨干网络的第二层的输出端输出的特征图记为FT2,第2个ResNet50骨干网络的第三层的输入端接收FT2,第2个RseNet50骨干网络的第三层的输出端输出的特征图记为FT3,第2个ResNet50骨干网络的第四层的输入端接收FT3,第2个RseNet50骨干网络的第四层的输出端输出的特征图记为FT4,第2个ResNet50骨干网络的第五层的输入端接收FT4,第2个RseNet50骨干网络的第五层的输出端输出的特征图记为FT5;其中,ResNet50骨干网络共有五层,FR1和FT1的大小为 FR2和FT2的大小为 FR3和FT3的大小为FR4和FT4的大小为 FR5和FT5的大小为

所述的非对称特征互补模块由彩色可见光特征互补模块和红外特征互补模块构成;

所述的彩色可见光特征互补模块包括结构相同的五个彩色可见光特征互补块;第1个彩色可见光特征互补块的第一输入端接收FR1、第二输入端接收FT1,第1个彩色可见光特征互补块的输出端输出的特征图记为 第2个彩色可见光特征互补块的第一输入端接收FR2、第二输入端接收FT2,第2个彩色可见光特征互补块的输出端输出的特征图记为 第

3个彩色可见光特征互补块的第一输入端接收FR3、第二输入端接收FT3,第3个彩色可见光特征互补块的输出端输出的特征图记为 第4个彩色可见光特征互补块的第一输入端接收FR4、第二输入端接收FT4,第4个彩色可见光特征互补块的输出端输出的特征图记为第5个彩色可见光特征互补块的第一输入端接收FR5、第二输入端接收FT5,第5个彩色可见光特征互补块的输出端输出的特征图记为 其中, 的大小为 的大小为 的大小为 的大小为 的大小为

所述的红外特征互补模块包括结构相同的五个红外特征互补块;第1个红外特征互补块的第一输入端接收FT1、第二输入端接收FR1,第1个红外特征互补块的输出端输出的特征图记为 第2个红外特征互补块的第一输入端接收FT2、第二输入端接收FR2,第2个红外特征互补块的输出端输出的特征图记为 第3个红外特征互补块的第一输入端接收FT3、第二输入端接收FR3,第3个红外特征互补块的输出端输出的特征图记为 第4个红外特征互补块的第一输入端接收FT4、第二输入端接收FR4,第4个红外特征互补块的输出端输出的特征图记为 第5个红外特征互补块的第一输入端接收FT5、第二输入端接收FR5,第5个红外特征互补块的输出端输出的特征图记为 其中, 的大小为的大小为 的大小为 的大小为 的大小为

所述的特征选择与融合模块包括五个结构相同的特征选择与融合块;第1个特征选择与融合块的第一输入端接收 第二输入端接收 第1个特征选择与融合块的输出端输出的特征图记为 第2个特征选择与融合块的第一输入端接收 第二输入端接收第2个特征选择与融合块的输出端输出的特征图记为 第3个特征选择与融合块的第一输入端接收 第二输入端接收 第3个特征选择与融合块的输出端输出的特征图记为 第4个特征选择与融合块的第一输入端接收 第二输入端接收 第4个特征选择与融合块的输出端输出的特征图记为 第5个特征选择与融合块的第一输入端接收 第二输入端接收 第5个特征选择与融合块输出的特征图记为 其中, 的大小为 的大小为 的大小为的大小为 的大小为

所述的语义增强解码器包括三个结构相同的语义增强解码块;第1个语义增强解码块的第一输入端接收 第二输入端接收 第三输入端接收 第1个语义增强解码块的输出端输出的特征图记为S1,并将S1作为第1幅粗显著性目标图像;第2个语义增强解码块的第一输入端接收 第二输入端接收 第三输入端接收 第2个语义增强解码块的输出端输出的特征图记为S2,并将S2作为第2幅粗显著性目标图像;第3个语义增强解码块的第一输入端接收 第二输入端接收 第三输入端接收 第3个语义增强解码块的输出端输出的特征图记为S3,并将S3作为第3幅粗显著性目标图像;其中,S1的大小为 S2的大小为 S3的大小为将第1幅粗显著性目标图像S1、第2幅粗显著性目标图像S2、第3幅粗显著性目标图像S3进行逐元素相加操作并进行上采样操作,将得到的特征图记为Sf,并将Sf作为最终的显著性目标图像;其中,上采样操作的模式为双线性,Sf的大小为H×W×1。

2.根据权利要求1所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:训练集的构建过程为:选取至少200对原始彩色可见光图像和与其对应的原始红外图像;然后对每幅原始彩色可见光图像和与其对应的原始红外图像进行降采样操作,将图像大小降采样为H×W;再将所有大小为H×W的彩色可见光图像和与其对应的红外图像构成训练集。

3.根据权利要求2所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:神经网络训练模型的获得过程为:将训练集中的每对彩色可见光图像和与其对应的红外图像输入到神经网络中进行网络训练,在每轮网络训练结束之前计算损失函数L来优化神经网络,在总共进行150轮网络训练后得到神经网络训练模型;其中,在网络训练的前40轮中在网络训练的后110轮中Sf表示神经网络输出的最终的

显著性目标图像,G表示标签图像,Sj表示神经网络中得到的第j幅粗显著性目标图像,Lbce()表示二元交叉熵损失,Liou()表示交并比损失。

4.根据权利要求3所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:使用神经网络训练模型对测试图像对进行预测,预测得到测试图像对的显著性目标图像的过程为:任意选取一对原始彩色可见光图像和与其对应的原始红外图像;然后对该对原始彩色可见光图像和原始红外图像进行降采样操作,将图像大小降采样为H×W,并作为测试图像对;再将测试图像对输入到神经网络训练模型中,预测得到测试图像对的显著性目标图像。

5.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:彩色可见光特征互补块主要由第1个卷积层至第5个卷积层、第1个Batch Normalization层至第5个Batch Normalization层、第1个ReLU激活层至第5个ReLU激活层组成;对于第i个彩色可见光特征互补块,第1个卷积层的输入端作为第i个彩色可见光特征互补块的第一输入端接收FRi,第1个Batch Normalization层的输入端接收第1个卷积层的输出端输出的特征图,第1个ReLU激活层的输入端接收第1个Batch Normalization层的输出端输出的特征图,第1个ReLU激活层的输出端输出的特征图记为 第2个卷积层的输入端作为第i个彩色可见光特征互补块的第二输入端接收FTi,第2个Batch Normalization层的输入端接收第2个卷积层的输出端输出的特征图,第2个ReLU激活层的输入端接收第2个Batch Normalization层的输出端输出的特征图,第2个ReLU激活层的输出端输出的特征图记为 对 和 进行元素相乘操作,并将得到的特征图记为 对 和进行元素相减操作,其中 作为被减特征,并将得到的特征图记为 对

和 进行通道连接操作,并将得到的特征图记为 第3个卷积层的输入端接收第3个Batch Normalization层的输入端接收第3个卷积层的输出端输出的特征图,第3个ReLU激活层的输入端接收第3个Batch Normalization层的输出端输出的特征图,第3个ReLU激活层的输出端输出的特征图记为 对 和 进行元素相加操作,并将得到的特征图记为 第4个卷积层的输入端接收 第4个Batch Normalization层的输入端接收第4个卷积层的输出端输出的特征图,第4个ReLU激活层的输入端接收第4个Batch Normalization层的输出端输出的特征图,第4个ReLU激活层的输出端输出的特征图记为 第5个卷积层的输入端接收FRi,第5个Batch Normalization层的输入端接收第

5个卷积层的输出端输出的特征图,第5个ReLU激活层的输入端接收第5个Batch Normalization层的输出端输出的特征图,第5个ReLU激活层的输出端输出的特征图记为对 和 进行元素相加操作,并将得到的特征图记为 即为第i个彩色可见光特征互补块的输出端输出的特征图;其中,1≤i≤5,FRi表示第1个ResNet50骨干网络的第i层的输出端输出的特征图,FTi表示第2个ResNet50骨干网络的第i层的输出端输出的特征图,第1个卷积层至第5个卷积层均为2D卷积层,第1个彩色可见光特征互补块中:第1个卷积层和第2个卷积层的输入尺寸为 输出尺寸为 卷积核大

小为3×3、滑动步长为1、自动填充为1,第3个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第4个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第5个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长

为1、自动填充为1;第2个彩色可见光特征互补块中:第1个卷积层和第2个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为

1,第3个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、

滑动步长为1、自动填充为1,第4个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1,第5个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1;第

3个彩色可见光特征互补块中:第1个卷积层和第2个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第3个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第4个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为1,第5个卷积层的输入尺寸为 输出尺寸为卷积核大小为3×3、滑动步长为1、自动填充为1;第4个彩色可见光特征互补块中:第1个卷积层和第2个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第3个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第4个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第5个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为1;第5个彩色可见光特征互补块中:第1个卷积层和第2个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为

1、自动填充为1,第3个卷积层的输入尺寸为 输出尺寸为 卷积核

大小为3×3、滑动步长为1、自动填充为1,第4个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1,第5个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为

1。

6.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:红外特征互补块主要由第6个卷积层至第9个卷积层、第6个Batch Normalization层至第9个Batch Normalization层、第6个ReLU激活层至第9个ReLU激活层、第1个空间注意力层组成;对于第i个红外特征互补块,第6个卷积层的输入端作为第i个红外特征互补块的第一输入端接收FTi,第6个Batch Normalization层的输入端接收第6个卷积层的输出端输出的特征图,第6个ReLU激活层的输入端接收第6个Batch Normalization层的输出端输出的特征图,第6个ReLU激活层的输出端输出的特征图记为 第7个卷积层的输入端作为第i个红外特征互补块的第二输入端接收FRi,第7个Batch Normalization层的输入端接收第7个卷积层的输出端输出的特征图,第7个ReLU激活层的输入端接收第7个Batch Normalization层的输出端输出的特征图,第7个ReLU激活层的输出端输出的特征图记为 对 和 进行元素相乘操作,并将得到的特征图记为 对和 进行元素相减操作,其中 作为被减特征,并将得到的特征图记为 对和 进行通道连接操作,并将得到的特征图记为 第8个卷积层的输入端接收 第8个Batch Normalization层的输入端接收第8个卷积层的输出端输出的特征图,第8个ReLU激活层的输入端接收第8个Batch Normalization层的输出端输出的特征图,第8个ReLU激活层的输出端输出的特征图记为 对 和 进行元素相加操作,并将得到的特征图记为 第9个卷积层的输入端接收 第9个Batch Normalization层的输入端接收第9个卷积层的输出端输出的特征图,第9个ReLU激活层的输入端接收第9个Batch Normalization层的输出端输出的特征图,第9个ReLU激活层的输出端输出的特征图记为 第1个空间注意力层的输入端接收FRi,第1个空间注意力层的输出端输出的特征图记为 对 和 进行元素相乘操作,并将得到的特征图记为 即为第i个红外特征互补块的输出端输出的特征图;其中,1≤i≤5,FRi表示第1个ResNet50骨干网络的第i层的输出端输出的特征图,FTi表示第2个ResNet50骨干网络的第i层的输出端输出的特征图,第6个卷积层至第9个卷积层均为2D卷积层,第1个红外特征互补块中:第6个卷积层和第7个卷积层的输入尺寸为 输出尺寸为卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第8个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第9个卷积层的输入尺寸为 输出尺寸为 卷积核大

小为3×3、滑动步长为1、自动填充为1、膨胀率为1;第2个红外特征互补块中:第6个卷积层和第7个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第8个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第9个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1;第3个红外特征互补块中:第6个卷积层和第7个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第8个卷积层的输入尺寸为 输出尺寸为 卷积核大小

为3×3、滑动步长为1、自动填充为1、膨胀率为1,第9个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1;第4个红外特征互补块中:第6个卷积层和第7个卷积层的输入尺寸为 输出尺寸为卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第8个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第9个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1;第5个红外特征互补块中:第6个卷积层和第7个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第8个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第9个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1。

7.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:特征选择与融合块主要由第1个平均池化层、第2个平均池化层、第1个最大池化层、第2个最大池化层、第1个全连接层、第2个全连接层、第1个Sigmoid激活层、第2个Sigmoid激活层、第10个卷积层至第19个卷积层、第10个Batch Normalization层至第17个Batch Normalization层、第10个ReLU激活层至第12个ReLU激活层、第1个PReLU激活层至第

6个PReLU激活层组成;对于第i个特征选择与融合块,第1个平均池化层和第1个最大池化层各自的输入端均作为第i个特征选择与融合块的第一输入端接收 第1个平均池化层的输出端输出的特征图记为 第1个最大池化层的输出端输出的特征图记为 第2个平均池化层和第2个最大池化层各自的输入端均作为第i个特征选择与融合块的第二输入端接收 第2个最大池化层的输出端输出的特征图记为 第2个平均池化层的输出端输出的特征图记为 对 和 进行通道连接操作,并将得到的特征图记为对 和 进行通道连接操作,并将得到的特征图记为 第1个全连接层的输入端接收 第1个全连接层的输出端输出的特征图记为 第2个全连接层的输入端接收 第2个全连接层的输出端输出的特征图记为 对 和 进行元素相加操作,并将得到的特征图作为第1个Sigmoid激活层的输入,将对第1个Sigmoid激活层的输出端输出的特征图进行通道分割后输出的特征图分别记为 和 对和 进行逐通道相乘操作,并将得到的特征图记为 对 和 进行逐通道相乘操作,并将得到的特征图记为 第10个卷积层的输入端接收 第10个Batch Normalization层的输入端接收第10个卷积层的输出端输出的特征图,第1个PReLU激活层的输入端接收第10个Batch Normalization层的输出端输出的特征图,第1个PReLU激活层的输出端输出的特征图记为 第11个卷积层的输入端接收 第11个Batch Normalization层的输入端接收第11个卷积层的输出端输出的特征图,第2个PReLU激活层的输入端接收第11个Batch Normalization层的输出端输出的特征图,第2个PReLU激活层的输出端输出的特征图记为 第12个卷积层的输入端接收 第12个Batch Normalization层的输入端接收第12个卷积层的输出端输出的特征图,第3个PReLU激活层的输入端接收第12个Batch Normalization层的输出端输出的特征图,第3个PReLU激活层的输出端输出的特征图记为 第13个卷积层的输入端接收 第13个Batch Normalization层的输入端接收第13个卷积层的输出端输出的特征图,第4个PReLU激活层的输入端接收第13个Batch Normalization层的输出端输出的特征图,第4个PReLU激活层的输出端输出的特征图记为 第14个卷积层的输入端接收 第14个Batch Normalization层的输入端接收第14个卷积层的输出端输出的特征图,第5个PReLU激活层的输入端接收第14个Batch Normalization层的输出端输出的特征图,第5个PReLU激活层的输出端输出的特征图记为 第15个卷积层的输入端接收 第15个Batch Normalization层的输入端接收第15个卷积层的输出端输出的特征图,第6个PReLU激活层的输入端接收第15个Batch Normalization层的输出端输出的特征图,第6个PReLU激活层的输出端输出的特征图记为 对 和 进行通道连接操作,并将得到的特征图记为 对 和 进行通道连接操作,并将得到的特征图记为

第16个卷积层的输入端接收 第16个Batch Normalization层的输入端接收第16个卷积层的输出端输出的特征图,第10个ReLU激活层的输入端接收第16个Batch Normalization层的输出端输出的特征图,第10个ReLU激活层的输出端输出的特征图记为第17个卷积层的输入端接收 第17个Batch Normalization层的输入端接收第

17个卷积层的输出端输出的特征图,第11个ReLU激活层的输入端接收第17个Batch Normalization层的输出端输出的特征图,第11个ReLU激活层的输出端输出的特征图记为对 和 进行元素相乘操作,并将得到的特征图记为 对 和进行元素相减操作,其中 作为被减特征,并将得到的特征图记为 对

和 进行元素相减操作,其中 作为被减特征,并将得到的特征图记为

对 进行通道连接操作,并将得到的特征图

记为 第18个卷积层的输入端接收 第12个ReLU激活层的输入端接收第18个卷积层的输出端输出的特征图,第19个卷积层的输入端接收第12个ReLU激活层的输出端输出的特征图,第19个卷积层的输出端输出的特征图记为 第2个Sigmoid激活层的输入端接收 第2个Sigmoid激活层的输出端输出的特征图进行通道分割后得到的特征图分别记为 和 对 和 进行元素相乘操作,并将得到的特征图记为对 和 进行元素相乘操作,并将得到的特征图记为 对 和 进行

元素相加操作,并将得到的特征图记为 即为第i个特征选择与融合块的输出端输出的特征图;其中,1≤i≤5, 表示第i个红外特征互补块的输出端输出的特征图,表示第i个彩色可见光特征互补块的输出端输出的特征图,第10个卷积层至第19个卷积层均为2D卷积层,第1个特征选择与融合块中:第1个全连接层和第2个全连接层的输入尺寸为

1×1×128、中间隐藏层的尺寸为1×1×64、输出尺寸为1×1×128, 和 的尺寸为

1×1×64,第10个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3

×3、滑动步长为1、自动填充为1、膨胀率为1,第11个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第12个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第13个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第14个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第15个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为4、膨胀率为4,第16个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第17个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第18个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第19个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1, 和 的尺寸为 第2个特征选择与融合块中:第1个全连接层和第

2个全连接层的输入尺寸为1×1×512、中间隐藏层的尺寸为1×1×256、输出尺寸为1×1×

512, 和 的尺寸为1×1×256,第10个卷积层的输入尺寸为 输出尺

寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第11个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第12个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第13个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第14个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第15个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第16个卷积层的输入尺寸为 输出尺寸为 卷积核大小为

1×1、滑动步长为1、自动填充为0、膨胀率为1,第17个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第18个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第19个卷积层的输入尺寸为 输出尺寸为卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1, 和 的尺寸为 第3个特征选择与融合块中:第1个全连接层和第2个全连接层的输入尺寸为1×1×128、中间隐藏层的尺寸为1×1×64、输出尺寸为1×1×128, 和 的尺寸为1×1×64,第10个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第11个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第12个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为

1、自动填充为4、膨胀率为4,第13个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第14个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第15个卷积层的输入尺寸为 输出尺寸为 卷积核

大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第16个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第17个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×

1、滑动步长为1、自动填充为0、膨胀率为1,第18个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第19个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1, 和 的尺寸为 第4个特征选择与融合块中:第1个全连接层和第2个全连接层的输入尺寸为1×1×128、中间隐藏层的尺寸为1×1×64、输出尺寸为1×1×128, 和 的尺寸为1×1×64,第10个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀

率为1,第11个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为2、膨胀率为2,第12个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第13个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第14个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第15个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第16个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×

1、滑动步长为1、自动填充为0、膨胀率为1,第17个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第18个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第19个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1, 和 的尺寸为第5个特征选择与融合块中:第1个全连接层和第2个全连接层的输入尺寸为1×1×128、中间隐藏层的尺寸为1×1×64、输出尺寸为1×1×128, 和 的尺寸为1×1×64,第10个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为1、膨胀率为1,第11个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第12个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为4、膨胀率为4,第13个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第14个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为2、膨胀率为2,第15个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为4、膨胀率为4,第16个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第17个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第18个卷积层的输入尺寸为 输出尺寸为

卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第19个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1, 和 的尺寸为

8.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法,其特征在于:所述的语义增强解码块主要由第20个卷积层至第29个卷积层、第18个Batch Normalization层至第23个Batch Normalization层、第13个ReLU激活层至第19个ReLU激活层、第3个Sigmoid激活层、Transformer层、第2个空间注意力层、第1个通道注意力层、第2个通道注意力层、第1个上采样层至第3个上采样层组成;对于第j个语义增强解码块,第20个卷积层的输入端作为第j个语义增强解码块的第一输入端接收 第18个Batch Normalization层的输入端接收第20个卷积层的输出端输出的特征图,第13个ReLU激活层的输入端接收第18个Batch Normalization层的输出端输出的特征图,第1个上采样层的输入端接收第13个ReLU激活层的输出端输出的特征图,第21个卷积层的输入端接收第1个上采样层的输出端输出的特征图,第19个Batch Normalization层的输入端接收第21个卷积层的输出端输出的特征图,第14个ReLU激活层的输入端接收第19个Batch Normalization层的输出端输出的特征图,Transformer层的输入端接收第14个ReLU激活层的输出端输出的特征图,Transformer层的输出端输出的特征图记为 第2个空间注意力层的输入端接收 第2个上采样层的输入端接收第2个空间注意力层的输出端输出的特征图,第

2个上采样层的输出端输出的特征图记为 第j个语义增强解码块的第二输入端接收对 与 进行元素相乘操作,并将得到的特征图记为 第22个卷积层的输入端接收 第20个Batch Normalization层的输入端接收第22个卷积层的输出端输出的特征图,第15个ReLU激活层的输入端接收第20个Batch Normalization层的输出端输出的特征图,第3个上采样层的输入端接收第15个ReLU激活层的输出端输出的特征图,第

23个卷积层的输入端接收第3个上采样层的输出端输出的特征图,第21个Batch Normalization层的输入端接收第23个卷积层的输出端输出的特征图,第16个ReLU激活层的输入端接收第21个Batch Normalization层的输出端输出的特征图,第16个ReLU激活层的输出端输出的特征图记为 对 和 进行通道拼接操作,并将得到的特征图记为 第1个通道注意力层的输入端接收 第24个卷积层的输入端接收第1个通道注意力层的输出端输出的特征图,第25个卷积层的输入端接收第24个卷积层的输出端输出的特征图,第22个Batch Normalization层的输入端接收第25个卷积层的输出端输出的特征图,第17个ReLU激活层的输入端接收第22个Batch Normalization层的输出端输出的特征图,第26个卷积层的输入端接收第17个ReLU激活层的输出端输出的特征图,第23个Batch Normalization层的输入端接收第26个卷积层的输出端输出的特征图,第18个ReLU激活层的输入端接收第23个Batch Normalization层的输出端输出的特征图,第18个ReLU激活层的输出端输出的特征图记为 第j个语义增强解码块的第一输入端接收对 与 进行元素相乘操作,并将得到的特征图记为 对 和 进行通道拼接操作,并将得到的特征图记为 第2个通道注意力层的输入端接收 第

27个卷积层的输入端接收第2个通道注意力层的输出端输出的特征图,第27个卷积层的输出端输出的特征图记为 第28个卷积层的输入端接收 第19个ReLU激活层的输入端接收第28个卷积层的输出端输出的特征图,第29个卷积层的输入端接收第19个ReLU激活层的输出端输出的特征图,第3个Sigmoid激活层的输入端接收第29个卷积层的输出端输出的特征图,第3个Sigmoid激活层的输出端输出的特征图记为Sj,Sj即为第j个语义增强解码块的输出端输出的特征图;其中,1≤j≤3, 表示第j+2个特征选择与融合块的输出端输出的特征图,第20个卷积层至第29个卷积层均为2D卷积层,第1个语义增强解码块中:第20个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑

动步长为1、自动填充为1、膨胀率为1,第21个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第22个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第23个卷积层的输入尺寸为 输出尺寸为 卷

积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第24个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第25个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3

×3、滑动步长为1、自动填充为1、膨胀率为1,第26个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第27个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为

1、自动填充为0、膨胀率为0,第28个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第29个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第1个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第2个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第3个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,Transformer层的输入尺寸为 输出尺寸为 第2个语义增强解码块中:第20个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、

自动填充为1、膨胀率为1,第21个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第22个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第23个卷积层的输入尺寸为 输出尺寸为 卷积

核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第24个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第25个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3

×3、滑动步长为1、自动填充为1、膨胀率为1,第26个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第27个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为0,第28个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第29个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第1个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第2个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第3个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,Transformer层的输入尺寸为 输出尺寸为 第3个语义增强解码块中:第20个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、

自动填充为1、膨胀率为1,第21个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第22个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第23个卷积层的输入尺寸为 输出尺寸为 卷积

核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第24个卷积层的输入尺寸为输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第25个卷积层的输入尺寸为 输出尺寸为 卷积核大小为3×

3、滑动步长为1、自动填充为1、膨胀率为1,第26个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为1,第27个卷积层的输入尺寸为 输出尺寸为 卷积核大小为1×1、滑动步长为1、自动填充为0、膨胀率为0,第28个卷积层的输入尺寸为 输出尺寸为

卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第29个卷积层的输入尺寸为输出尺寸为 卷积核大小为3×3、滑动步长为1、自动填充为1、膨胀率为1,第1个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第2个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,第3个上采样层的输出特征尺寸固定为 通道数不变、模式为双线性插值,Transformer层的输入尺寸为 输出尺寸为