欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104352678
申请人: 湖南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-03-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种图像的语义分割方法,其特征在于,包括:

在获取到原始图像时,获取所述原始图像的图像块和粗糙图像;其中,所述图像块为将所述原始图像切分成N个预设尺寸的图像块中的任一个所述图像块,所述粗糙图像为所述原始图像下采样到所述预设尺寸的图像,N为不小于2的整数;

获取所述图像块经过卷积操作后的第一特征图以及所述粗糙图像经过卷积操作后的粗糙特征图;将所述粗糙特征图中的与所述图像块的图像相同部分的图像进行上采样,得到所述预设尺寸的第二特征图;

将所述第一特征图和所述第二特征图均输入至池化分支和空间信息提取分支中;在所述池化分支中,对所述第一特征图和所述第二特征图进行全局平均池化,并对池化后的所述第一特征图和所述第二特征图进行矩阵乘法,得到所述第一特征图对应的辅助第一特征图和所述第二特征图对应的辅助第二特征图;在所述空间信息提取分支中,对所述第一特征图和所述第二特征图均进行全局平均池化和最大池化,并对池化后的所述第一特征图和所述第二特征图进行第一预设次数的卷积操作,得到第三特征图;将所述第一特征图和所述第二特征图均与所述第三特征图进行点乘,得到第四特征图和第五特征图;

对将所述第一特征图、所述第二特征图、所述辅助第一特征图、所述辅助第二特征图、所述第四特征图和所述第五特征图进行连接后的第六特征图进行第二预设次数的卷积操作,得到第七特征图;

基于所述第七特征图确定所述图像块的语义分割结果;根据各个所述图像块在所述原始图像中的位置将各个所述图像块的语义分割结果进行拼接,得到所述原始图像的语义分割结果。

2.如权利要求1所述的图像的语义分割方法,其特征在于,对所述第一特征图和所述第二特征图进行全局平均池化,并对池化后的所述第一特征图和所述第二特征图进行矩阵乘法,包括:对所述第一特征图和所述第二特征图的h维度进行全局平均池化,得到所述第一特征图的h维度特征图和所述第二特征图的h维度特征图;

对所述第一特征图和所述第二特征图的w维度进行全局平均池化,得到所述第一特征图的w维度特征图和所述第二特征图的w维度特征图;

对所述第一特征图的w维度特征图和h维度特征图进行矩阵乘法,得到所述辅助第一特征图;

对所述第二特征图的w维度特征图和h维度特征图进行矩阵乘法,得到所述辅助第二特征图。

3.如权利要求1所述的图像的语义分割方法,其特征在于,对所述第一特征图和所述第二特征图均进行全局平均池化和最大池化,并对池化后的所述第一特征图和所述第二特征图进行第一预设次数的卷积操作,包括:将池化后的所述第一特征图和所述第二特征图进行连接操作,得到第一连接特征图;

利用n个卷积核大小均不同的卷积层对所述第一连接特征图进行卷积操作,得到n个卷积后的第一连接特征图,n为不小于2的整数;

将各个卷积后的所述第一连接特征图进行连接操作,得到第二连接特征图;

将所述第二连接特征图进行卷积操作,得到所述第三特征图。

4.如权利要求1所述的图像的语义分割方法,其特征在于,将所述粗糙特征图中的与所述图像块的图像相同部分的图像进行上采样,包括:利用所述图像块在所述原始图像中的位置和ROIAlign函数,获取所述粗糙特征图中的与所述图像块的位置区域相同的粗糙特征块;

将所述粗糙特征块进行上采样得到所述预设尺寸的第二特征图。

5.如权利要求1所述的图像的语义分割方法,其特征在于,对第六特征图进行第二预设次数的卷积操作,包括:利用m个卷积核均相同的卷积层对所述第六特征图进行卷积操作,得到初步特征图,m为不小于2的整数;

利用两个卷积核不相同的卷积层对所述初步特征图进行卷积,并将卷积得到的两个特征图进行连接,得到所述第七特征图。

6.如权利要求1所述的图像的语义分割方法,其特征在于,根据各个所述图像块在所述原始图像中的位置将各个所述图像块的语义分割结果进行拼接,包括:确定各个所述图像块的四个顶点在所述原始图像的预设坐标系中的坐标点,所述预设坐标系的横轴为X轴,纵轴为Y轴;

基于所述图像块的四个顶点的坐标确定所述图像块对应的所述原始图像中的图像部分;

根据各个所述图像块对应的所述原始图像中的图像部分将所述图像块的语义分割结果进行拼接。

7.如权利要求1所述的图像的语义分割方法,其特征在于,获取所述图像块经过卷积操作后的第一特征图以及所述粗糙图像经过卷积操作后的粗糙特征图,将所述粗糙特征图中的与所述图像块的图像相同部分的图像进行上采样,得到所述预设尺寸的第二特征图,包括:将所述图像块和所述粗糙图像均输入至HRNetV2+OCR模型中;

在所述HRNetV2+OCR模型中,对所述图像块和所述粗糙图像进行卷积操作,得到第一特征图和所述粗糙特征图,并对所述粗糙特征图中的与所述图像块的图像相同部分的图像进行上采样,得到所述预设尺寸的第二特征图。

8.如权利要求1至7任一项所述的图像的语义分割方法,其特征在于,基于所述第七特征图确定所述图像块的语义分割结果,包括:对所述第七特征图进行卷积操作,得到卷积后的所述第七特征图;

对卷积操作后的所述第七特征图执行Argmax操作,得到所述图像块的语义分割结果。

9.一种图像的语义分割装置,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如权利要求1至8任一项所述的图像的语义分割方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的图像的语义分割方法的步骤。