欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210658844X
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,包括:

1)分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样;

2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络,获得高分辨率的高光谱图像帧;其中,融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括:2.1)分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放,然后堆叠并提取特征数据;2.2)将堆叠后提取得到的特征数据进行重排,并引入位置编码与重排后的特征数据进行逐像素相加;2.3)将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素;2.4)将提取得到的深度特征像素进行重组,并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联;2.5)将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤

1.2)中缩放后的高光谱图像帧相加,得到高分辨率的高光谱图像帧。

2.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。

3.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤:S1)构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型:

X=ZB+Nx

Y=RZ+Ny

上式中,X为分辨率的高光谱图像帧,Y为高分辨率的RGB图像帧,Z为高分辨率的高光谱图像帧,B为估计空间响应模糊核,R为光谱响应模糊核,Nx和Ny为噪声,获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本;

S2)建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层,通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型,从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。

4.根据权利要求1~3中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧,步骤1)之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤:将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来,分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换,得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧;然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理,得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。

5.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,所述将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时,共裁剪出N幅宽为w和高为h的子视频,其中N为波段数量,任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(mt,nt),且根据下式剪裁出第t个波段的子视频:ft(x,y)= ft(mt +x,nt +y)( x∈[0,w‑1], y∈[0,h‑1], t∈[1,N])

上式中,ft(x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值,ft(mt +x,nt +y)为原始的低分辨率的高光谱图像帧中(mt +x,nt +y)位置处的像素值,N为波段数量,w为子视频的宽度,h为子视频的高度。

6.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,所述分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括:T

针对任意第t个波段的子视频,根据张正友相机标定方法获得畸变系数矩阵kt=[kt1,kt2] 、主点坐标(ut0,vt0)以及焦距(fx,fy),通过下式进行像素坐标变换:上式中,f(ut,vt)为第t个波段的子视频转换后的像素坐标(ut,vt)处的像素值,f(u´t,v´t)为第t个波段的子视频转换前的像素坐标(u´t,v´t)处的像素值,x"t和y"t为中间变量;针对原始的高分辨率的RGB图像帧,根据张正友相机标定方法获得畸变系数矩阵kr=[kr1,kr2R]、主点坐标(ur0,vr0)以及焦距(fxr,fyr),通过下式进行像素坐标变换:

上式中,(ur,vr)为高分辨率的RGB图像帧转换后的像素坐标,f(ur,vr)为原始的高分辨率的RGB图像帧的像素坐标(ur,vr)处的像素值,f(u´r,v´r)为第r个波段的子视频转换前的像素坐标(u´r,v´r)处的像素值,x"r和y"r为中间变量;所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时,将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为:上式中,(pt,qt)为第t个波段的子视频单应性变换后的坐标,Ht为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵,(pt0,qt0)为坐标(pt,qt)单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(pt,qt)处的像素值f2(pt,qt)的函数表达式为:上式中,(pt1,qt1)、(pt1+1,qt1)、(pt1,qt1+1)、(pt1+1,qt1+1)分别为坐标(pt,qt)单应性变换前对应的坐标(pt0,qt0)处最近的四个像素点的坐标,f1(pt1,qt1)为第t个波段的子视频单应性变换前坐标(pt1,qt1)处的像素值,f1(pt1+1,qt1)为第t个波段的子视频单应性变换前坐标(pt1+1,qt1)处的像素值,f1(pt1,qt1+1)为第t个波段的子视频单应性变换前坐标(pt1,qt1+

1)处的像素值,f1(pt1+1,qt1+1)为第t个波段的子视频单应性变换前坐标(pt1+1,qt1+1)处的像素值;将高分辨率的RGB图像帧进行单应性变换的函数表达式为:上式中,(pr,qr)为高分辨率的RGB图像帧单应性变换后的坐标,Hr为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵,(pr0,qr0)为坐标(pr,qr)单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(pr,qr)处的像素值f2(pr,qr)的计算函数表达式为:上式中,(pr1,qr1)、(pr1+1,qr1)、(pr1,qr1+1)、(pr1+1,qr1+1)分别为坐标(pr,qr)单应性变换前对应的坐标(pr0,qr0)处最近的四个像素点的坐标,f1(pr1,qr1)为第r个波段的子视频单应性变换前坐标(pr1,qr1)处的像素值,f1(pr1+1,qr1)为第r个波段的子视频单应性变换前坐标(pr1+1,qr1)处的像素值,f1(pr1,qr1+1)为第r个波段的子视频单应性变换前坐标(pr1,qr1+

1)处的像素值,f1(pr1+1,qr1+1)为第r个波段的子视频单应性变换前坐标(pr1+1,qr1+1)处的像素值。

7.一种基于智能空谱融合的高分辨率视频高光谱成像装置,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。

8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,该计算机程序用于被微处理器编程或配置以执行权利要求1~6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。

9.一种用于权利要求1~6中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,其特征在于,包括主镜(1)、分光棱镜(2)、第一目镜(3)、RGB成像传感器(4)、物镜(5)、微透镜及滤光片阵列(6)、第二目镜(7)和全色CMOS成像传感器(8),所述主镜(1)位于分光棱镜(2)的入光侧光路上,所述分光棱镜(2)将射入得到光线分成两束,其中一束经过第一目镜(3)射入RGB成像传感器(4),另一束依次经过物镜(5)、微透镜及滤光片阵列(6)、第二目镜(7)射入全色CMOS成像传感器(8),所述微透镜及滤光片阵列(6)用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器(8)获得高光谱视频不同波段的子视频。

10.根据权利要求9所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,其特征在于,所述微透镜及滤光片阵列(6)由微透镜阵列和滤光片阵列构成,所述微透镜阵列用于将物镜所成的像复制多份;所述滤光片阵列用于对微透镜阵列所成的像进行滤光,从而获得所需波段的像。