欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202511816216X
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种宽谱段高分辨率高光谱视频成像方法,其特征在于,包括下述步骤:针对宽谱段高光谱传感器在单次曝光成像中捕获的多个宽谱段混叠的宽段谱高光谱视频帧提取特征获得高光谱输出特征,针对全色传感器捕获的相同场景的全色视频帧提取特征获得全色输出特征,将宽段谱高光谱视频帧和全色视频帧拼接后提取特征得到空间-光谱特征;将高光谱输出特征、全色输出特征和空间-光谱特征融合获得最终的编码特征;对编码特征进行解码以获得高分辨率高光谱视频帧。

2.根据权利要求1所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述提取特征获得高光谱输出特征包括:将宽段谱高光谱视频帧进行空间上采样得到上采样高光谱视频帧并输入光谱信息编码器以获得高光谱输出特征,所述光谱信息编码器包括级联的多级光谱信息编码单元,每一级光谱信息编码单元均包括一个双重注意力光谱模块和一个下采样模块且函数表达式为:,

其中,为第n+1级光谱信息编码单元的输出特征,为第n+1级光谱信息编码单元的下采样模块,为第n+1级光谱信息编码单元的双重注意力光谱模块,为第n级光谱信息编码单元的输出特征或上采样高光谱视频帧;所述双重注意力光谱模块对输入的的处理包括:分别对分别进行全局平均池化和全局最大池化,对两个池化结果分别沿通道维度滑动进行一维卷积操作、应用Sigmoid激活函数以获得两种池化路径的注意力权重和,根据下式进行融合以获得融合注意力权重:,

其中,为可学习的权重;最终将融合注意力权重和输入特征图进行逐通道乘法以得到加权特征图,再根据下式对加权特征图进一步提取更深层的光谱特征:,

其中,为双重注意力光谱模块输出的光谱特征,为二维卷积操作,为激活函数;所述第n+1级光谱信息编码单元的下采样模块的函数表达式为:,

其中,为步长。

3.根据权利要求1所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述提取特征获得全色输出特征包括:将全色视频帧的采用卷积扩充通道数得到扩充通道后的全色视频帧并输入空间信息编码器以获得全色输出特征,所述空间信息编码器包括级联的多级空间信息编码单元,每一级空间信息编码单元均包括一个旋转域增强模块和一个下采样模块且函数表达式为:,

其中,为第n+1级空间信息编码单元的输出特征,为第n+1级空间信息编码单元的下采样模块,为第n+1级空间信息编码单元的旋转域增强模块,为第n级空间信息编码单元的输出特征或全色视频帧;所述旋转域增强模块针对输入的的处理步骤包括:将按通道数分为多组,将划分得到的每一组张量中的每一个通道根据分组数量进行分割成块并调整维度,再将多组张量分别旋转不同的角度,将旋转后的张量恢复为原维度顺序,并将每组的旋转结果重新合并为原始视频帧形状的张量,最后将原始视频帧形状的张量根据下式通过两次卷积提取深层特征、并使用残差结构将输入特征直接传递到旋转域增强模块的输出张量:,

其中,为二维卷积操作,为激活函数;所述空间信息编码单元的下采样模块的函数表达式为:,

其中,为步长。

4.根据权利要求1所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述将宽段谱高光谱视频帧和全色视频帧拼接后提取特征得到空间-光谱特征包括:将宽段谱高光谱视频帧空间上采样得到的上采样高光谱视频帧、全色视频帧采用卷积扩充通道数得到扩充通道后的全色视频帧拼接得到拼接张量并输入空间-光谱编码器以获得空间-光谱特征,所述空间-光谱编码器包括级联的多级空间-光谱编码单元,每一级空间-光谱编码单元均包括一个空间-光谱特征提取模块和一个下采样模块且函数表达式为:,

其中,为第n+1级空间-光谱编码单元的输出特征,为第n+1级空间-光谱编码单元的下采样模块,为第n+1级空间-光谱编码单元的空间-光谱特征提取模块,为第n级空间-光谱编码单元的输出特征或拼接张量;所述第n+1级空间-光谱编码单元的空间-光谱特征提取模块的函数表达式为:,

其中,为空间-光谱特征提取模块提取的空间-光谱特征,为二维卷积操作,为激活函数;空间-光谱编码单元的下采样模块函数表达式为:,

其中,为步长。

5.根据权利要求1所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述将高光谱输出特征、全色输出特征和空间-光谱特征融合获得最终的编码特征包括:首先根据下式计算将高光谱输出特征、全色输出特征和空间-光谱特征对应的权重、和;

,

,

,

其中,为卷积核大小为1×1的二维卷积,为激活函数;然后根据权重、和将高光谱输出特征、全色输出特征和空间-光谱特征根据下式进行加权融合:,

其中,为加权和张量,为主元素相乘;将加权和张量展平为[B,C,W×H],其中B为批次大小,C为通道数,W为宽,H为高;将展平后的加权和张量应用注意力机制得到注意力特征,将注意力特征塑形为(B,C,W,H)以保持空间维度再进行卷积操作从而获得最终的编码特征。

6.根据权利要求1所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述对编码特征进行解码以获得高分辨率高光谱视频帧是指采用空间-光谱解码器对编码特征进行解码以获得高分辨率高光谱视频帧,所述空间-光谱解码器包括级联的N级解码单元,每一级解码单元由上采样模块和特征提取模块构成且函数表达式为:,

其中,为第n级解码单元的输出结果,为第n级解码单元的上采样模块,为第级解码单元的特征提取模块,为第级解码单元的输入特征,第级解码单元的输入特征为第n-1级解码单元的输出特征或者编码特征,第N级解码单元的输出结果为空间-光谱解码器最终得到的高分辨率高光谱视频帧。

7.根据权利要求6所述的宽谱段高分辨率高光谱视频成像方法,其特征在于,所述解码单元中的上采样模块的函数表达式为:,

其中,为上采样模块的输出结果,为上采样两倍,为上采样模块的输入特征,为上采样操作的步长;

所述解码单元中的特征提取模块的函数表达式为:

,

其中,为特征提取模块的输出结果,为二维卷积操作,为激活函数,为特征提取模块的输入特征。

8.一种宽谱段高分辨率高光谱视频成像装置,包括相互连接的光学成像模块和计算机设备,其特征在于,所述光学成像模块包括镜头、分光棱镜、宽谱段高光谱传感器和全色传感器,从镜头进入的光线经分光棱镜分光后一路经过宽谱段高光谱传感器、另一路进入全色传感器,所述宽谱段高光谱传感器和全色传感器分别与计算机设备相连,所述计算机设备被编程或配置以执行权利要求1~7中任意一项所述宽谱段高分辨率高光谱视频成像方法。

9.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述宽谱段高分辨率高光谱视频成像方法。

10.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述宽谱段高分辨率高光谱视频成像方法。