欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021103539911
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种图像语义分割方法,其特征在于,应用于语义分割模型,所述语义分割模型包括轻量级神经网络、增强金字塔网络、分类网络和条形注意力网络;所述图像语义分割方法包括:

将待处理图像输入所述轻量级神经网络,得到轻量特征图;

将所述轻量特征图输入所述增强金字塔网络,得到拼接特征图;

将所述拼接特征图输入所述分类网络,得到多张分类特征图;

对于每张分类特征图,将该分类特征图输入所述条形注意力网络,得到该分类特征图对应的注意力特征图,将该分类特征图和该注意力特征图相加,得到该分类特征图对应的语义特征图;

根据多张语义特征图确定语义分割结果。

2.根据权利要求1所述的语义分割方法,其特征在于,所述增强金字塔网络包括:第一池化金字塔模块、第二池化金字塔模块、第三池化金字塔模块、第四池化金字塔模块、第一全局平均池化模块和第二全局平均池化模块;所述将所述轻量特征图输入所述增强金字塔网络,得到拼接特征图,具体包括:

将所述轻量特征图分别输入所述第一池化金字塔模块、所述第二池化金字塔模块、所述第三池化金字塔模块、所述第四池化金字塔模块、所述第一全局平均池化模块和所述第二全局平均池化模块,通过所述第一池化金字塔模块得到第一特征图,通过所述第二池化金字塔模块得到第二特征图,通过所述第三池化金字塔模块得到第三特征图,通过所述第四池化金字塔模块得到第四特征图,通过所述第一全局平均池化模块得到第五特征图,以及通过所述第二全局平均池化模块得到第六特征图;

将所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图、所述第五特征图和所述第六特征图,在通道维度进行拼接,以得到拼接特征图。

3.根据权利要求2所述的语义分割方法,其特征在于,所述第一池化金字塔模块包括:

1*1的全局平均池化层和第一卷积层;所述第二池化金字塔模块包括:2*2的全局平均池化层和第二卷积层;所述第三池化金字塔模块包括:3*3的全局平均池化层和第三卷积层;所述第四池化金字塔模块包括:6*6的全局平均池化层和第四卷积层;所述第一全局平均池化模块包括:1*None的第一池化层和第五卷积层;所述第二全局平均池化模块包括:None*1第二池化层和第六卷积层;其中,所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第五卷积层、所述第六卷积层均为1*1卷积层,所述1*None的第一池化层,用于对所述轻量特征图的每一行进行平均池化,所述None*1第二池化层,用于对所述轻量特征图的每一列进行平均池化。

4.根据权利要求1所述的语义分割方法,其特征在于,所述条形注意力网络包括:第一注意力模块和第二注意力模块;所述将该分类特征图输入所述条形注意力网络,得到该分类特征图对应的注意力特征图,具体包括:将该分类特征图输入所述第一注意力模块,得到第一条形特征图;

将该分类特征图输入所述第二注意力模块,得到第二条形特征图;

将所述第一条形特征图和所述第二条形特征图相乘,得到注意力特征图。

5.根据权利要求4所述的语义分割方法,其特征在于,所述第一注意力模块包括:1*None的第三池化层和1*3的第七卷积层;所述第二注意力模块包括:None*1的第四池化层和

3*1的第八卷积层,其中,所述1*None的第三池化层,用于对所述分类特征图的每一行进行平均池化,所述None*1第四池化层,用于对所述分类特征图的每一列进行平均池化。

6.根据权利要求1所述的语义分割方法,其特征在于,所述多张语义特征图各自分别对应不同的类别,对于每张语义特征图,该语义特征图包括每个像素点属于该语义特征图对应的类别的概率;所述根据多张语义特征图确定语义分割结果,具体包括:对于每个像素点,在所述多张语义特征图中确定该像素点对应的最大概率,将所述最大概率对应的类别标识作为该像素点的类别标识;

根据每个像素点各自分别对应的类别标识,得到所述待处理图像对应的语义分割结果。

7.一种语义分割模型的生成方法,其特征在于,所述语义分割模型的生成方法,包括:将训练图像输入初始卷积神经网络,通过所述初始卷积神经网络输出多张训练语义特征图,其中,所述训练图像为训练集中的图像,所述训练集包括多个训练组,每个训练组包括多张训练图像和每张训练图像各自分别对应的真实图像标签;

根据所述多张训练语义特征图确定预测结果,并根据所述多张训练语义特征图确定类间损失值和类内损失值;

根据所述预测结果和所述真实图像标签确定原始损失值,并基于所述原始损失值、所述类间损失值和所述类内损失值确定总损失值;

基于所述总损失值对所述初始卷积神经网络的网络参数进行修改,并继续执行所述将训练图像输入初始卷积神经网络的步骤,直至满足所述初始卷积神经网络的预设训练条件,以得到语义分割模型。

8.根据权利要求7所述的语义分割模型的生成方法,其特征在于,所述多张训练语义特征图各自分别对应不同的类别,对于每张训练语义特征图,该训练语义特征图包括每个像素点属于该训练语义特征图对应的类别的训练概率;

根据所述多张训练语义特征图确定类间损失值和类内损失值,具体包括:对于每张训练语义特征图,对该训练语义特征图进行全局平均池化处理,得到该训练语义特征图对应的全局平均池化结果;

δ2=∑||Ci‑Cj||

其中,δ1是类内损失值, 是第i张训练语义特征图中坐标为(m,n)的像素点的训练概率,Ci是第i张训练语义特征图对应的全局平均池化结果,所述多张训练语义特征图为N张,每张训练语义特征图中包括x*y个像素点;δ2是类间损失值,Cj是第j张训练语义特征图对应的全局平均池化结果。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一所述的图像语义分割方法,或者7至8中任一所述的语义分割模型的生成方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一所述的图像语义分割方法,或者7至8中任一所述的语义分割模型的生成方法的步骤。