欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116237473
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于双分支特征融合的语义分割方法、装置、设备,其特征包括以下方法:

获取高分辨率的图像,以及对所述图像进行标注,得到训练、验证、测试样本;

构建网络框架,该网络由细节分支和语义分支两部分组成,将给定图像输入到骨干网络中提取语义特征,首先我们先将输入图像的尺寸减小16倍;

将骨干网络中提取特征经过空洞空间卷积池化金字塔,由1个1×1卷积核三个扩张率依次为3、6、12的3×3空洞卷积组成;

使用1×1卷积减少通道数,后再接一个BN,ReLU激活函数和Dropout;使用双线性插值对其进行4倍上采样,得到语义分支的特征图;

细节分支从输入图片中提取的纹理信息来获得细节边缘特征,目的是提取空间细节信息,再利用边缘特征来强化语义信息,细节分支作为语义分支的补充,会与语义特征图相加来补充细节特征;

融合模块(FFM)用于融合高级语义和细节信息,本文在底层特征中引入语义信息,在高层特征中引入细节信息,使后续融合更有效,以增强特征表示;

将融合得到的特征图部分,插入细节头以生成二分类细节标签,然后利用二分类细节标签作为细节特征图的引导,引导底层学习空间细节特征;最后在特征图部分依次经过1×

1卷积将通道数减小,后再接一个BN,ReLU激活函数;

对融合模块和语义分支的特征图进行合并;然后输入到解码器当中,也就是经过3×3卷积,BN,ReLU,Dropout;上采样4倍得到最终的结果;

用Binary cross entropy和Dice Loss、Focal Loss、CE Loss来联合优化细节学习;

网络进行训练,得到训练好的基于双分支特征融合的语义分割的算法模型;获取待测试图像,并将所述待测试图像输入到训练好的分割模型中,得到该图像的预测结果。

2.如权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备,其特征在于,所述建立图像数据集,包括:采集图像样本;

通过图像标注工具对采集的图像样本进行标注,语义分割的结果是将图像变成带有一定语义信息的色块。语义分割技术可以识别出每个色块的语义类别,并给每个像素都标注上其对应的标签;

利用标注后的图片样本构建样本数据集,将所述样本数据集划分为训练数据集、验证集和测试数据集,并对所述训练数据集进行预处理。

3.根据权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备,其特征在于,特征提取部分所用的主干网络为Xception、VGGNet、Resnet18。

4.根据权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备,其特征在于,该网络由语义分支和细节分支两部分组成。细节分支从输入图片中提取的纹理信息来获得细节边缘特征,目的是提取空间细节信息,再利用边缘特征来强化语义信息,细节分支作为语义分支的补充,会与语义特征图相加来补充细节特征。

5.根据权利要求4所述的基于双分支特征融合的语义分割方法、装置、设备,其特征在于,在我们的细节分支中,首先是提取了图片的纹理信息,学习稳健的纹理表示,包括一阶梯度Sobel、拉普拉斯和局部二进制模式方法。我们融合了来自多个用于纹理表示的卷积层,利用多纹理信息,提取它们之间的互补关系,然后再使用融合模块去融合语义信息和细节信息。

6.根据权利要求5所述基于双分支特征融合的语义分割方法、装置、设备,其特征在于,融合模块(FFM)用于融合高级语义和细节信息,本文在底层特征中引入语义信息,在高层特征中引入细节信息,使后续融合更有效,以增强特征表示。对于骨干网络提取的浅层特征图S,为了进一步丰富包含的其空间细节,我们使用空间注意力机制对其加权得到S’,对于细节分支提取的特征图D,我们使用通道注意力计算出注意力权重,与D相乘得到D’,来增强其不同通道间的细节区分度,S’与D’具有相同的通道数,通过逐个元素相加就能实现浅层特征图与细节特征图的融合。将融合得到的特征图部分,插入细节头以生成二分类细节标签,然后利用二分类细节标签作为细节特征图的引导,引导底层学习空间细节特征。

7.根据权利要求6所述的基于双分支特征融合的语义分割方法、装置、设备,其特征在于,在该训练过程中采用Binary cross entropy和Diceloss、Focalloss来联合优化细节学习,网络模型的训练过程是一个不断优化损失的过程,将当前获得的损失反馈到网络模型中,进行不断迭代优化。

8.基于双分支特征融合的语义分割方法、装置、设备,其特征在于,所述装置包括:

获取高分辨率的图像,以及对所述图像进行标注,得到训练、验证、测试样本;

构建一种基于双分支特征融合的语义分割方法,所述分割网络包括主干网络、语义分支、细节分支及融合模块,将给定图像输入到骨干网络中提取语义特征,首先我们先将输入图像的尺寸减小16倍;

将骨干网络中提取特征经过空洞空间卷积池化金字塔,由1个1×1卷积核三个扩张率依次为3、6、12的3×3空洞卷积组成;

使用1×1卷积减少通道数,后再接一个BN,ReLU激活函数和Dropout;使用双线性插值对其进行4倍上采样;

细节分支从输入图片中提取的纹理信息来获得细节边缘特征,目的是提取空间细节信息,再利用边缘特征来强化语义信息,细节分支作为语义分支的补充,会与语义特征图相加来补充细节特征;

融合模块(FFM)用于融合高级语义和细节信息,本文在底层特征中引入语义信息,在高层特征中引入细节信息,使后续融合更有效,以增强特征表示;

将融合得到的特征图部分,插入细节头以生成二分类细节标签,然后利用二分类细节标签作为细节特征图的引导,引导底层学习空间细节特征;最后在特征图部分依次经过1×

1卷积将通道数减小,后再接一个BN,ReLU激活函数;

对融合模块和语义分支的特征图进行合并;然后输入到解码器当中,也就是经过3×3卷积,BN,ReLU,Dropout;上采样4倍得到最终的结果;

用Binary cross entropy和Dice Loss、Focal Loss、CE Loss来联合优化细节学习。

网络进行训练,得到训练好的基于双分支特征融合的语义分割的算法模型;获取待测试图像,并将所述待测试图像输入到训练好的分割模型中,得到该图像的预测结果。

9.一种设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。