欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101487443
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-05-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉显著性的实例人体解析方法,其特征在于,包含如下步骤:

S1、利用显著性检测算法将输入图片中的显著性区域检测出来,从而获取显著性图;

S2、将显著性图和输入图片相加得到人体被高亮的视觉增强图;

S3、接下来将视觉增强图作为网络输入,经过公共特征提取网络获取同时适用于语义分割和边缘检测的公用特征,在公共特征提取网络的第3、4、5层卷积层后分别引入侧输出层,将融合后的侧输出特征图送入人体语义分割单元中,得到人体语义分割结果图;

S4、在公共特征提取网络的第3、4、5层卷积层后分别引入侧输出层,将融合后的侧输出特征图分别送入人体边缘检测单元,得到人体边缘检测结果图;

S5、通过融合单元将人体语义分割结果图和人体边缘检测进行融合,从而得到最后的人体解析结果。

2.根据权利要求1所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S1具体中所述显著性检测算法具体是指BMS算法。

3.根据权利要求1所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S2中将显著性图和输入图片相加得到人体被高亮的视觉增强图,具体是采用下述公式计算得到:*

Se=ξSi+ηS,

其中,Se是指视觉增强图,S*表示显著性图,Si表示输入图片,ξ和η表示权重,ξ>0,η>0,ξ+η=1。

4.根据权利要求1所述的基于视觉显著性的实例人体解析方法,其特征在于,所述公共特征提取网络是基于ResNet‑101网络的改进,将ResNet‑101网络的第三阶段和第四阶段的普通卷积全部更改为空洞卷积。

5.根据权利要求1所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S3中,所述人体语义分割结果图具体是通过下述方法得到:在公共特征提取网络的第3、4、5层卷积层后分别引出侧输出层,接着分别通过一个卷积层得到特征图,共三个特征图,然后将三个特征图级联,采用金字塔池化处理级联后的特征图,接下来再经过一个卷积层使得通道数等于物体的总类别数,再连接一个dropout层,最后增加一个卷积层进一步融合特征,得到人体语义分割结果图T3。

6.根据权利要求1所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S4中,所述人体边缘检测结果图具体是通过下述方法得到:在公共特征提取网络的第3、4、5层卷积层后分别引出侧输出层,在第3、4、5层卷积层后引出的侧输出层后分别增加了带空洞卷积的金字塔池化模块ASPP,以此产生了前三个边缘特征图;同时在三个侧输出层后分别通过一个1×1的卷积层来得到后三个边缘特征图,再将后三个边缘特征图级联,在级联融合后的特征图后面继续添加金字塔池化模块,再经过一个卷积层改变通道数,使得通道数等于物体的总类别数,再连接一个dropout层,最后增加一个卷积层进一步融合特征,从而得到人体边缘检测结果图T4。

7.根据权利要求6所述的基于视觉显著性的实例人体解析方法,其特征在于,所述带空洞卷积的金字塔池化模块ASPP包括依次连接的一个1×1卷积和四个3×3空洞卷积,其扩张率分别为2、4、8和16。

8.根据权利要求6所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S5中,进行融合的方法如下:将人体语义分割单元所得到的人体语义分割结果图T3、人体语义分割单元中dropout前的特征图、人体边缘检测单元所得到的人体边缘检测结果图T4以及人体边缘检测单元中dropout前的特征图级联,然后通过一个1×1卷积将级联后的特征图映射为更大数量通道的特征图,将映射后的特征图再次送入金字塔池化模块中,以相互促进分割和边缘检测的结果,再连接一个dropout层,最后增加一个卷积层进一步融合特征,最后即得到实例人体解析结果图T5。

9.根据权利要求8所述的基于视觉显著性的实例人体解析方法,其特征在于,步骤S5中,进行融合所采用的公式如下:式中,α和β分别为分割和边缘检测所占的权重,Ls和L's分别是人体语义分割单元得到的人体语义分割结果图和dropout前的特征图经过softmax以及交叉熵损失函数所得到的损失值,Le和L'e则是人体边缘检测单元得到的人体边缘检测结果图和dropout前的特征图经过softmax以及交叉熵损失函数所得到的损失值,Lside是前三个边缘特征图经过sigmoid激活函数以及二进制交叉熵损失函数得到的损失值,其中N=3。