1.一种视差指导的双目超分辨率图像重建方法,其特征在于,包括如下步骤:
导入双目超分辨率图像,对所述双目超分辨率图像进行下采样处理,得到双目低分辨率图像;
构建视差指导双目超分辨率模型,所述视差指导双目超分辨率模型包括依次连接的双目伪影移除网络、隐式扩散网络和视差估计网络,并构建多任务互馈约束机制和路径总损失函数;
通过所述双目伪影移除网络对所述双目低分辨率图像进行去伪影处理,得到双目去伪影图像,通过所述隐式扩散网络对所述双目去伪影图像进行正向迭代加噪处理,得到双目噪声图像,并对所述双目噪声图像进行反向迭代去噪处理,得到双目超分辨率重建图像,通过所述视差估计网络对所述双目超分辨率重建图像进行视差计算,得到双目估计视差;
通过所述路径总损失函数对所述双目超分辨率重建图像进行路径计算,得到路径损失,通过所述多任务互馈约束机制对所述双目估计视差和所述双目超分辨率重建图像进行视差计算,得到视差损失,并通过所述路径损失和所述视差损失对所述视差指导双目超分辨率模型进行优化,得到优化视差指导双目超分辨率模型;
通过所述优化视差指导双目超分辨率模型对目标双目低分辨率图像进行重建,得到目标双目超分辨率重建图像。
2.根据权利要求1所述的双目超分辨率图像重建方法,其特征在于,所述通过所述双目伪影移除网络对所述双目低分辨率图像进行去伪影处理,得到双目去伪影图像,包括:所述双目伪影移除网络包括恢复子网络和全局子网络,所述恢复子网络包括多个串联的第一卷积层和多个串联的恢复残差块,所述全局子网络包括映射层、多个串联的第二卷积层和多个串联的全连接层;
基于迭代方式通过多个所述第一卷积层逐一对所述双目低分辨率图像进行卷积操作,基于迭代方式通过多个所述恢复残差块逐一对卷积操作后的双目超分辨率图像进行特征提取,得到双目恢复图像;
基于迭代方式通过多个所述第二卷积层逐一对所述双目低分辨率图像进行卷积操作,基于迭代方式通过多个所述全连接层逐一对卷积操作后的双目超分辨率图像进行全连接操作,得到双目全局特征,通过所述映射层对所述双目全局特征进行矢量映射,得到双目全局图像;
将所述双目恢复图像与所述双目全局图像进行拼接,得到双目去伪影图像。
3.根据权利要求1所述的双目超分辨率图像重建方法,其特征在于,所述通过所述隐式扩散网络对所述双目去伪影图像进行正向迭代加噪处理,得到双目噪声图像,包括:所述隐式扩散网络包括具有多个阶段的第一条件概率马尔科夫链,在任意一个阶段中,在所述双目去伪影图像中添加第一设定方差量的高斯噪声,由第一条件概率马尔科夫链计算添加的高斯噪声在所述双目去伪影图像中的正向概率分布,当所述正向概率分布符合正态高斯分布时,得到任意一个双目噪声图像;以此类推,利用第一条件概率马尔科夫链按照多个阶段逐一对所述双目去伪影图像进行处理,得到双目噪声图像。
4.根据权利要求3所述的双目超分辨率图像重建方法,其特征在于,所述对所述双目噪声图像进行反向迭代去噪处理,得到双目超分辨率重建图像,包括:所述隐式扩散网络包括具有多个阶段的第二条件概率马尔科夫链,在任意一个阶段中,去除所述双目噪声图像中第二设定方差量的高斯噪声,由第二条件概率马尔科夫链计算剩余的高斯噪声在所述双目去伪影图像中的反向概率分布,当所述反向概率分布符合正态高斯分布时,得到任意一个双目超分辨率重建图像;以此类推,利用第二条件概率马尔科夫链按照多个阶段逐一对所述双目噪声图像进行处理,得到双目高质量重建图像,并对所述双目高质量重建图像进行上采样处理,得到双目超分辨率重建图像。
5.根据权利要求4所述的双目超分辨率图像重建方法,其特征在于,所述去除所述双目噪声图像中第二设定方差量的高斯噪声,包括:通过去噪因子表达式对所述高斯噪声的第一设定方差量进行计算,得到第二设定方差量,按照所述第二设定方差量去除所述双目噪声图像的高斯噪声,所述去噪因子表达式为:αi=1-βi,
其中,αi为第二设定方差量,βi为设定方差量。
6.根据权利要求4所述的双目超分辨率图像重建方法,其特征在于,所述对所述双目高质量重建图像进行上采样处理,得到双目超分辨率重建图像,包括:将所述双目高质量重建图像从频域转换到空间域,得到空间特征图,通过最近邻插值算法对所述空间特征图进行计算,得到插值特征图,对所述插值特征图进行转置卷积操作,得到双目超分辨率重建图像。
7.根据权利要求4所述的双目超分辨率图像重建方法,其特征在于,所述通过所述路径总损失函数对所述双目超分辨率重建图像进行路径计算,得到路径损失,包括:通过第一路径损失函数对所述双目超分辨率重建图像和所述双目高质量重建图像进行计算,得到第一路径损失,所述第一路径损失函数为:其中,为第一路径损失,为双目高质量重建图像,为双目超分辨率重建图像,n为上采样因子总数,i为第i个上采样因子,||·||1为L1范数;
对所述双目超分辨率重建图像进行下采样处理,得到双目低质量重建图像,对所述双目超分辨率图像进行下采样处理,得到双目低质量图像,通过第二路径损失函数对所述双目高质量重建图像、所述双目低质量重建图像和所述双目低质量图像进行计算,得到第二路径损失,所述第二路径损失函数为:其中,为第二路径损失,为双目低质量图像,down(·)为下采样处理;
通过总路径损失函数对所述第一路径损失和所述第二路径损失进行计算,得到路径损失,所述总路径损失函数为:其中,LTotal为路径损失,δ为损失函数参数。
8.根据权利要求1所述的双目超分辨率图像重建方法,其特征在于,所述通过所述视差估计网络对所述双目超分辨率重建图像进行视差计算,得到双目估计视差,包括:所述视差估计网络包括编码器和解码器,所述编码器包括多个串联的第三卷积层,所述解码器包括卷积滤波器、视差计算模块和多个解码残差块;
基于迭代方式通过多个所述第三卷积层逐一对所述双目超分辨率重建图像进行卷积操作,得到双目高层语义特征;
通过第一解码残差块对所述双目高层语义特征进行特征提取,得到第一双目残差特征,通过所述卷积滤波器对所述双目高层语义特征进行滤波操作,得到双目滤波特征,将所述第一双目残差特征和所述双目滤波特征进行融合,得到初始双目深层特征,通过第二解码残差块对所述初始双目深层特征进行特征提取,得到第二双目残差特征,将所述初始双目深层特征和所述第二双目残差特征进行融合,得到双目深层特征,通过所述视差计算模块对所述双目深层特征进行参数融合,得到深度一元特征,并通过代价函数对所述深度一元特征进行视差提取,得到双目估计视差。
9.根据权利要求1所述的双目超分辨率图像重建方法,其特征在于,所述通过所述多任务互馈约束机制对所述双目估计视差和所述双目超分辨率重建图像进行视差计算,得到视差损失,包括:将所述双目估计视差按照值域划分为多个离散区间,多个所述离散区间对应多个视差中心值,通过高斯核对多个所述视差中心值进行加权计算,得到多个视差权重分布,对多个所述视差权重分布进行归一化计算,得到多个概率权重分布,对多个所述概率权重分布进行求和计算,得到视差分布;
通过视差指导损失函数分别对所述视差分布进行计算,得到视差指导损失,所述视差指导损失函数为:其中,为视差指导损失,为视差分布,pθ(d|IHR)为真值视差分布,max(d)为最大视差值;
通过像素级损失函数对所述双目超分辨率重建图像进行计算,得到像素级损失,所述像素级损失函数为:其中,为像素级损失,为左目超分辨率图像,为右目超分辨率图像,为左目超分辨率重建图像,为右目超分辨率重建图像,||·||1为L1范数;
通过视差估计损失函数对所述双目估计视差进行计算,得到视差估计损失,所述视差估计损失函数为:其中,为视差估计损失,为平滑函数,d为真值视差,为双目估计视差;
由所述视差指导损失、所述像素级损失和视差估计损失组成视差损失。
10.一种视差指导的双目超分辨率图像重建系统,其特征在于,包括:
导入模块,用于导入双目超分辨率图像,对所述双目超分辨率图像进行下采样处理,得到双目低分辨率图像;
构建模块,用于构建视差指导双目超分辨率模型,所述视差指导双目超分辨率模型包括依次连接的双目伪影移除网络、隐式扩散网络和视差估计网络,并构建多任务互馈约束机制和路径总损失函数;
计算模块,用于通过所述双目伪影移除网络对所述双目低分辨率图像进行去伪影处理,得到双目去伪影图像,通过所述隐式扩散网络对所述双目去伪影图像进行正向迭代加噪处理,得到双目噪声图像,并对所述双目噪声图像进行反向迭代去噪处理,得到双目超分辨率重建图像,通过所述视差估计网络对所述双目超分辨率重建图像进行视差计算,得到双目估计视差;
优化模块,用于通过所述路径总损失函数对所述双目超分辨率重建图像进行路径计算,得到路径损失,通过所述多任务互馈约束机制对所述双目估计视差和所述双目超分辨率重建图像进行视差计算,得到视差损失,并通过所述路径损失和所述视差损失对所述视差指导双目超分辨率模型进行优化,得到优化视差指导双目超分辨率模型;
应用模块,用于通过所述优化视差指导双目超分辨率模型对目标双目低分辨率图像进行重建,得到目标双目超分辨率重建图像。