欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020109100848
申请人: 河海大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于空洞残差和注意力机制的全卷积语义分割系统,其特征在于:包括以下功能模块:像预处理卷积模块:读取原始图像后,进行一层卷积处理,通过第一层卷积提取图像中物体形状特征;

金字塔池化模块:对预处理后的图像使用金字塔池化模型进行金字塔池化;把图像分成多个子区域,每个子区域使用不同层级金字塔池化,在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维;通过对应倍率的双线性插值恢复图像分辨率,得到恢复特征图像C2;

边缘强化模块:对恢复特征图像进行三层卷积处理,通过残差块结构实现边缘强化,记作边缘强化模块BM1;对三层卷积处理结果进行四层卷积处理,同样根据残差块结构实现边缘强化,记作边缘强化模块BM2;

注意力机制模块:将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征;

多特征融合模块:使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出;

反卷积还原模块:使用由三个反卷积层级联而成的反卷积还原模块,将融合结果还原至原始输入的分辨率大小。

2.一种基于空洞残差和注意力机制的全卷积语义分割方法,包括以下步骤:

1)读取原始图像后,进行一层卷积处理,通过第一层卷积提取图像中物体形状特征;

2)将预处理后的图像分成数个子区域,此例为4个,使用金字塔池化模型(PPM)进行金字塔池化;

3)在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维;

4)通过对应倍率的双线性插值恢复图像分辨率,得到恢复特征图像C2;

5)对恢复特征图像进行三层卷积处理,通过残差块结构实现边缘强化,记作边缘强化模块BM1;对三层卷积处理结果进行四层卷积处理,同样根据残差块结构实现边缘强化,记作边缘强化模块BM2;

6)将步骤4)得到的二层卷积处理结果,即恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征;

7)使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出;

8)使用由三个反卷积层级联而成的反卷积还原模块,将融合结果还原至原始输入的分辨率大小。

3.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤2)中,包括以下步骤:

21)首先确定金字塔池化层数,将金字塔池化层分成多层;

22)对金字塔池化层从顶端到底端进行4路池化,分别为全局池化、1/2池化、1/4池化、

1/8池化;

23)将特征图分为多个子区域,在不同位置使用不同池化层表示。

4.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤5)中,包括以下步骤:

51)利用卷积模块(conv3)处理恢复特征图像C2,得到特征图像三C3;

52)利用卷积模块(conv4)处理特征图像C3,得到特征图像四C4;

53)使用特定卷积步长和扩张率的空洞卷积对输入边缘强化模块的图像进行处理,例如卷积步长为1,扩张率d=2,维持空洞卷积的感受野不变,得到和输入特征图像一致分辨率的输出;所述输入边缘强化模块的图像为步骤51)得到的特征图像三C3或步骤52)得到的特征图像四C4;

54)调用非线性激活函数进行非线性建模;

55)重复53)步骤,将输出记为CB;

56)利用残差块结构,令Im表示粗糙的输入特征,令R(Im)表示残差分支,残差分支由步骤53)、步骤54)、步骤55)串联组成,定义Om=Im+R(Im),表示粗糙的输入特征和残差分支相加结果为边缘增强后的特征映射Om,促使残差分支学习物体边缘,保留更多底层信息;

57)分别对步骤51)中输出特征图像三C3和步骤52)中输出特征图像四C4进行步骤53)、步骤54)、步骤55)、步骤56)所述的边缘特征强化,得到强化后的强化特征图像B1和强化特征图像B2。

5.根据权利要求4所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤53)中,感受野计算公式为:RFl=RFl-1+(fl-1)×sl-1×dl,l为神经元的层数,RFl-1为第l-1层神经元的感受野,RFl为其最后一层感受野,fl为卷积核大小,sl-1为两卷基层之间的卷积步长,dl为当前空洞步长值。

6.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤6)中,包括以下步骤:

61)根据注意力机制模型特点,将步骤4)中输出的低层高分辨率低语义特征图像,即恢复特征图像C2,和步骤57)中输出的高层低分辨率高语义特征图像,即强化特征图像B2作为注意力机制模型输入;

62)把两个注意力机制模型输入进行比较,将低层高分辨率低语义特征图像进行全局平均池化;

63)使用卷积步长为1,扩张率为d=2的空洞卷积处理全局平均池化输出特征图像,得到和输入特征图像一致分辨率的输出;

64)经过非线性函数模块显示建模特征的相关性,记为输出特征图像一R1;

65)将高层低分辨率高语义特征图像B2和步骤64)中输出特征图像一R1进行融合,融合后的输出图像为融合特征图像M1,

66)对65)中融合特征图像M1进行卷积核大小为1×1的卷积运算,并使用非线性函数模块计算得到注意力机制模块输出AM1。

7.根据权利要求6所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤62)中,具体过程如下:a.按照预期语义分割类别数目将低层高分辨率低语义特征图像分成指定的多种类别,即确定输出特征图数目,同时配置最后的卷积层,使其卷积层包含的滤波器个数和输出特征图数目相同;

b.依据全局平均池化定义,对每个特征图的所有像素分别进行累加,进而求平均值;

c.将得到的所有平均值数据输入到神经网络的归一化层,归一化层首先根据前馈神经网络和符号系统计算带权输入: L表示当前神经元层数,j表示第几个神经元,k也表示第几个神经元, 表示带权输入, 表示从L-1层的第k个神经元到L层的第j个神经元连接的权重, 表示L-1层第j个神经元的激活值, 表示L层第j个神经元的偏置;

d.将每个神经元的输入占当前层所有神经元输入之和的比值,当作该神经元的输出,神经元的输出值越大,则所述神经元对应的类别是真实类别的可能性更高,神经元输出概率计算公式为: 得到的概率值 就是每张图片属于某类的概率, 表示L层第j个神经元归一化后的带权输入, 为k层归一化带权输入的和。

8.根据权利要求6所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤65)中,具体流程如下:a.从所有训练数据选取n个数据作为特征融合的训练输入,通常情况,n远小于N,N为整体训练数据个数;

b.构建决策树,整体的特征集M中,从每一个分裂节点从选取m个特征进行构建,m远小于M,通常情况下m=log2M,从m个属性中计算信息增益,从而确定分裂属性特征;

c.重复b中步骤,直到无法继续分裂,或分裂程度达到所设定的阈值,完成决策树构建;

d.重复步骤a、步骤b、步骤c三个步骤,建立足够的决策树,实现特征图像融合;

e.获取步骤a中N-n个数据作为误差分析数据,分析特征融合误差。

9.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤7)中,将步骤57)中得到的边缘强化特征图像B1,步骤66)中得到的注意力机制模块输出AM1和步骤52)中得到的特征图像四C4进行融合,得到融合输出图像F1,将F1作为多特征融合模块的输入进行多特征融合,具体步骤如下:a.将融合输出图像F1进行3×3的卷积运算,得到的结果进行空洞卷积运算,之后再进行一次3×3的卷积运算,得到多特征融合模块中的一条支路输出;

b.将融合输出图像F1本身作为多特征融合模块中另一条支路输出;

c.将两个支路输出使用加法模块相加,得到输出特征图像,利用3×3的卷积模块计算,增大感受野,得到特征映射细节信息十分充分,语义非常完整的特征图像输出,记为多特征融合模块输出F1。

10.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法,其特征在于,在所述步骤8)中,包括以下步骤:

81)用卷积操作模拟得到反卷积层,使用3个卷积步长为2的反卷积层进行级联,组成反卷积还原模块;

82)根据反卷积输出维度计算公式,output=(input-1)×s+x-2×p,其中input为输入矩阵的大小,p为padding即元素边框与元素内容之间的空间,x为卷积核大小,s为卷积步长,还原成最初输入图像的分辨率。