欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021116750648
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于可解释性深度学习的SAR图像水体检测方法,其特征在于,包括针对多种备选的骨干网络Backbone,采用解释性深度学习网络框架来选择最优的骨干网络Backbone,且所述解释性深度学习网络框架包括水体特征提取网络、局部全局混合归因模块LGMA以及特定类语义激活映射模块SSAM,所述水体特征提取网络,包括骨干网络Backbone和特征融合模块,所述骨干网络Backbone用于对输入的SAR图像进行特征提取获得一个低层级特征图和一个高层级特征图,所述特征融合模块用于将低层级特征图和高层级特征图融合获得最终输出的SAR图像水体特征检测结果;所述局部全局混合归因模块LGMA包括局部归因单元LayerGradCAM和全局归因映射单元GAM,所述局部归因单元LayerGradCAM用于对输入的SAR图像进行局部归因解释,输出归因可视化图和整体正向归因OPA,进而采用地面真值GT的标签对局部归因解释得到的正向归因进行掩膜,获得特定类正向归因SPA,并根据整体正向归因OPA、特定类正向归因SPA以及地面真值GT的标签计算骨干网络的特定类正向归因占比PSPA和正向归因交集比IOPA,所述全局归因映射单元GAM用于根据骨干网络的特定类正向归因占比PSPA和正向归因交集比IOPA计算得到全局特定类正向归因占比GPSPA和全局正向归因交集比GIOPA,以及对包括整体正向归因OPA、特定类正向归因SPA在内的所有局部归因进行加权联合排名获取全局归因解释以量化骨干网络Backbone的检测性能;所述特定类语义激活映射模块SSAM,用于选取水体特征提取网络的高层级特征图输出卷积层进行热力图可视化,获取各个骨干网络Backbone在水体提取过程中的关注区域以用于了解最终归因。

2.根据权利要求1所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述特征融合模块包括空洞空间卷积池化金字塔模块ASPP以及解码模块,所述空洞空间卷积池化金字塔模块ASPP用于对高层级特征图进行多尺度上下文信息提取得到多尺度特征,所述解码模块用于对低层级特征图和多尺度特征进行解码操作获得最终输出的SAR图像水体特征检测结果。

3.根据权利要求2所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述解码模块对低层级特征图和多尺度特征进行解码操作获得最终输出的SAR图像水体特征检测结果的步骤包括:通过1×1卷积对多尺度特征进行通道降维,然后再进行4倍上采样,得到第一多尺度特征;对低层级特征图进行1×1卷积降维后与经过第一多尺度特征融合,得到包含语义特征和细粒度特征的融合特征;最后应用一个3×3卷积来细化融合特征并进行双线性4倍上采样得到最终的SAR图像水体特征检测结果。

4.根据权利要求3所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述局部归因单元LayerGradCAM对输入的SAR图像进行局部归因解释,输出归因可视化图和整体正向归因OPA的步骤包括:

1×N×H×W

S1、针对骨干网络Backbone输出的高层级特征图XH∈R ,在XH的N个特征图中,对于第i行第j列的特定类像素预测分数,通过Argmax函数获得数值最大的特征图索引值,返

1×1×H×W

回包含索引坐标的特征Xmax∈R ,其中N表示特征图的个数,H、W、C分别表示特征图的长、宽和通道数,R表示实数域;

1×N×H×W

S2、根据高层级特征图XH∈R 创建相同维度的零值张量,然后根据Xmax的索引坐标在零值张量的相应特征图的对应位置补充为1,其他值为0,生成包含重要特征信息索引的二值特征,采用二值特征对高层特征XH进行掩膜,突出特定类像素预测分数,只关注特定类像素的归因;

S3、针对掩膜后的归因特征,设任意归因对象第i行第j列像素为类别c的特定类别分数设为 表示第k个特征图上第i行第j列的像素值,将掩膜后的特征中每个特征图的预测分数 求和,然后对 求导数获得对应梯度,进而获得整个特征图上所有像素梯度的均值,获得权重因子 以表示第k个特征图的重要性,且重要性因子 的计算函数表达式为:上式中,H、W分别表示特征图的长、宽,Z=H×W表示特征图的面积,γ表示水体像素语义索引值的像素, 为归因对象第i行第j列像素为类别c的分类分数, 为第k个特征图;

S4、将表示第k个特征图的重要性的重要性因了 与对应的特征图相乘,并对所有特征图求和生成局部解释归因,且生成局部解释归因的函数表达式为:上式中, 表示局部解释归因, 表示代表第k个特征图的重要性的权重

因子,Ak表示第k个特征图;

S5、针对生成的局部解释归因,采用ReLU激活函数生成整体正向归因OPA,其函数表达式为:

OPA=ReLU(attributions),

上式中,ReLU表示ReLU激活函数,用于进行正向归因筛选;attributions表示局部解释归因

5.根据权利要求4所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述局部归因单元LayerGradCAM采用标签GT对局部归因解释得到的正向归因进行掩膜,获得特定类正向归因SPA的函数表达式为:SPA=ReLU(attributions)∩Pixel(GT)IV=1,

上式中,ReLU表示ReLU激活函数,用于进行正向归因筛选;attributions表示局部解释归因 IV为索引值,且采用XIV=表示X中像素索引值为1的区域的正向归因,Pixel(GT)IV=1表示地面真值GT的标签中像素索引值为1的水体部分的像素,GT表示地面真值GT的标签;

所述局部归因单元LayerGradCAM根据整体正向归因OPA、特定类正向归因SPA以及地面真值GT的标签计算骨干网络的特定类正向归因占比PSPA和正向归因交集比IOPA的函数表达式为:上式中,ReLU表示ReLU激活函数,用于进行正向归因筛选;attributions表示局部解释归因 IV为索引值,且采用XIV=1表示X中像素索引值为1的区域的正向归因,Pixel(GT)IV=1表示地面真值GT的标签中像素索引值为1的水体部分的像素,GT表示地面真值GT的标签。

6.根据权利要求5所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述全局归因映射单元GAM根据骨干网络的特定类正向归因占比PSPA和正向归因交集比IOPA计算全局特定类正向归因占比GPSPA和全局正向归因交集比GIOPA的函数表达式为:上式中,K表示GAM方法中划分的聚类数,N为样本总数,Ni表示第i个聚类中的样本数量,rank(PSPA)i和rank(IOPA)i分别是第i个簇中特定类正向归因占比PSPA和正向归因交集比IOPA的排名值。

7.根据权利要求6所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述全局归因映射单元GAM对包括整体正向归因0PA、特定类正向归因SPA在内的所有局部归因进行加权联合排名获取全局归因解释包括:S1、根据下式将每个局部归因向量σω进行归一化得到归一化后的局部归因向量上式中,σω(i)表示特征i的加权归因权重向量,且特征i的非加权归因权重向量为σ(i),表示Hadamard product操作;

S2、根据下式计算归一化后的局部归因向量之间的相似性SpearDist(σ,μ);

上式中,σ、μ表示两个标准化的归因向量,μR(i)和σR(i)分别表示归因向量μ和σ中特征i的排名,μω(i)和σω(i)表示相应排名μR(i)和σR(i)中特征i的权重。

S3、对所有的局部归因向量进行分组,设有K个集群,将每个输入归因分组到最近的集群,采用最小化集群内的两两相似性归因值来更新集群中心,反复多次迭代,实现相似归因分组,其中集群的大小决定全局归因的解释细腻度,k值越大,全局解释越细腻,最后通过在每个集群内进行归因特征重要性的加权联合排序,获取全局归因解释。

8.根据权利要求7所述的基于可解释性深度学习的SAR图像水体检测方法,其特征在于,所述特定类语义激活映射模块SSAM选取水体特征提取网络的高层级特征图输出卷积层进行热力图可视化包括:S1、通过语义分割模型进行水体区域提取,其中水体类别像素语义索引值为1,背景类别像素语义索引值为0,指定要进行可视化的语义类别索引值为1,进行水体特征提取可视化;

1×N×H×W

S2、将输入图像经过骨干网络特征提取后输出高层特征XH∈R ,根据输入图像建H×W

立二维零矩阵roi∈R ,并根据经验将二维零矩阵roi中第0行第80列像素值设置为1,与输出的高层级特征图相乘后进行通道求和返回一个张量;

S3、利用反向传播获得求和张量中每个特征图的权重,进而获得N个加权特征图,以此理解模型进行水体提取时所关注的区域,对N个加权特征图取平均获得最终的特征,最后通过ReLU函数将负值调整为零,只保留对水体区域提取有积极作用的特征,归一化处理获得最终热力图。

S4、将热力图向上采样到原始输入图像的大小,通过可视化操作输出骨干网络Backbone最终的关键区域显示热力图。

9.一种基于可解释性深度学习的SAR图像水体检测系统,包括相互连接的微处理器和存储器,其特征在于,该微处理器被编程或配置以执行权利要求1~8中任意一项所述基于可解释性深度学习的SAR图像水体检测方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有用于被计算机设备执行以实施权利要求1~8中任意一项所述基于可解释性深度学习的SAR图像水体检测方法的计算机程序。