欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108821693
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种水下图像协同增强方法,其特征在于,包括:

获取水下原始图像对,所述水下原始图像对包括第一水下原始图像和第二水下原始图像,所述水下原始图像对在同一水下场景采集得到;

基于暗通道先验分别提取所述第一水下原始图像的第一暗通道特征图和所述第二水下原始图像的第二暗通道特征图,所述第一暗通道特征图和所述第二暗通道特征图包含各自对应的水下原始图像的暗通道信息;

基于所述第一暗通道特征图和所述第二暗通道特征图,融合自注意力Transformer模块,提取所述第一水下原始图像的第一原始特征图、所述第二水下原始图像的第二原始特征图;

通过基于二阶统计量的CS‑Transformer模块从所述第一原始特征图中提取得到第一全局特征图,从所述第二原始特征图中提取得到第二全局特征图;

从所述第一全局特征图中筛选相关性符合预设条件的若干个第一结构特征融合到所述第二全局特征图得到第二增强特征图,从所述第二全局特征图中筛选相关性符合预设条件的若干个第二结构特征融合到所述第一全局特征图得到第一增强特征图;

将所述第一增强特征图和/或所述第二增强特征图进行还原,得到第一水下增强图像和第二水下增强图像。

2.根据权利要求1所述的水下图像协同增强方法,其特征在于,所述基于暗通道先验分别提取所述第一水下原始图像的第一暗通道特征图和所述第二水下原始图像的第二暗通道特征图的步骤中,基于暗通道先验提取所述第一水下原始图像的第一暗通道特征图的步骤为:获取所述第一水下原始图像对应的暗通道先验特征;

基于所述暗通道先验特征计算出水下场景深度先验信息;

通过注意力机制将所述水下场景深度先验信息引入所述第一水下原始图像,得到所述第一水下原始图像对应的第一初始特征图;

基于注意力机制和所述第一初始特征图,将所述暗通道先验融入所述第一水下原始图像的映射中,得到第一暗通道特征图。

3.根据权利要求2所述的水下图像协同增强方法,其特征在于,所述第一初始特征图包括第一初始查询项、第一初始键值和第一初始值项,所述基于注意力机制和所述第一初始特征图,将所述暗通道先验特征融入所述第一水下原始图像的映射中,得到第一暗通道特征图的步骤,包括:将所述第一初始键值和所述第一初始值项进行映射得到第一先验键值和第一先验值项;

利用所述第一初始查询项和所述第一先验键值,构建所述第一水下原始图像和所述暗通道先验特征之间的相关性,并通过所述第一初始查询项和所述第一先验项值的乘积将暗通道信息融合到所述第一初始查询项中,得到所述第一暗通道特征图。

4.根据权利要求2所述的水下图像协同增强方法,其特征在于,所述基于所述第一暗通道特征图,融合自注意力Transformer模块,提取所述第一水下原始图像的第一原始特征图的步骤,包括:通过所述自注意力Transformer模块,将所述第一暗通道特征图、所述第一初始特征图和所述第一水下原始图像进行融合,得到所述第一原始特征图,其中,所述自注意力Transformer模块采用基于通道的自注意力机制。

5.根据权利要求4所述的水下图像协同增强方法,其特征在于,所述自注意力Transformer模块包括特征融合的多头自注意力模块和前馈神经网络,所述前馈神经网络结合深度卷积来编码相邻像素位置的信息,以提取图像的局部信息。

6.根据权利要求1所述的水下图像协同增强方法,其特征在于,所述通过基于二阶统计量的CS‑Transformer模块从所述第一原始特征图中提取得到第一全局特征图的步骤,包括:基于通道注意力机制和空间注意力机制分别对线性映射的所述第一原始特征图进行计算,得到第一通道特征图和第一空间特征图;

将所述第一通道特征图和所述第一空间特征图进行自适应相加,得到所述第一全局特征图。

7.根据权利要求6所述的水下图像协同增强方法,其特征在于,

所述CS‑Transformer包括空间Transformer和通道Transformer所述第一通道特征图由所述通道Transformer模块处理得到,所述通道Transformer模块用于计算通道注意力;

所述第一空间特征图由所述空间Transformer模块处理得到,所述空间Transformer模块用于计算空间注意力;

所述通道Transformer模块和所述空间Transformer模块并行,所述空间Transformer模块在计算空间注意力时,所述第一原始特征图被下采样以减少空间计算消耗,然后被上采样以返回与所述通道Transformer模块的输出特征相同的特征尺度。

8.根据权利要求7所述的水下图像协同增强方法,其特征在于,所述空间Transformer模块包括第一多头注意力模块和第二多头注意力模块;

所述第一多头注意力模块基于窗口并带有二阶统计特性,用于计算窗口内像素的相似度;

所述第二多头注意力模块基于移动窗口并带有二阶统计特性,用于计算移动窗口内像素的相似度。

9.根据权利要求1所述的水下图像协同增强方法,其特征在于,所述从所述第一全局特征图中筛选相关性符合预设条件的若干个第一结构特征融合到所述第二全局特征图得到第二增强特征图的步骤,包括:计算所述第一全局特征图和所述第二全局特征图之间的相关性系数;

基于所述相关性系数和特征转移注意力,从所述第一全局特征图中筛选得到所述第一结构特征;

将所述第一结构特征与所述第二全局特征图中对应的第二全局特征关联,并经过卷积后得到第一融合特征;

将所述第一融合特征与所述第二全局特征图中的所述第二全局特征聚合以及残差连接,得到所述第二增强特征图。

10.根据权利要求9所述的水下图像协同增强方法,其特征在于,基于所述相关性系数和特征转移注意力,从所述第一全局特征图中筛选得到所述第一结构特征的步骤,包括:使用所述相关性系数获取转移注意力图,所述转移注意力图包括位置相关元素,所述位置相关元素表征所述第一全局特征图和所述第二全局特征图中位置最相关的元素;

使用所述位置相关元素作为索引,对所述第一全局特征图的第一初始值项的展开补丁应用索引选择操作,筛选得到所述第一结构特征。