1.一种表征域采样和混合Transformer的图像压缩感知方法,其特征在于,包括以下步骤:采样恢复阶段:通过多层渐进的和卷积和非线性激活函数学习输入图像的深度表征,并使碎片化的窗口信息充分交互,然后通过跳跃连接生成同时包含低、高级别的聚合特征;并在此基础上获得降采样;
精细重建迭代阶段:使用深度梯度下降模块执行重建特征的优化更新,深度梯度下降模块把更新保真项的计算展开到神经网络:;
其中,非线性网络提升从观测值中提取残差信息的能力,而和分别作为观测域与深度特征域的投影映射;记为恢复过程的中间结果;作为采样的伪逆映射;
通过三尺度稀疏去噪子网络替代近端投影;
再通过Transformer模块执行梯度下降项的精细补充融合,Transformer模块包含交叉注意力模块、窗口局部注意力模块和FeedForwardNetwork模块。
2.根据权利要求1所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:在采样中,被划分为大小为的非重叠块,通过无偏线性卷积采样获得压缩值,其中即为采样率,图像长宽为,卷积核的大小为,步幅为,采样子网络表示为:;
表示为特征编码器;对表征压缩结果应用与采样核共享参数的反卷积获得初始的表征估计结果;
将压缩恢复的表征结果变换回原始的图像域,初始恢复子网络表示为:
;
重建子网络为采样子网络的初始伪逆;为特征解码器。
3.根据权利要求1所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:所述深度梯度下降模块通过观测域残差信息在每个阶段首先校准深度重建特征,确保优化特征与观测值的一致性。
4.根据权利要求1所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:所述三尺度稀疏去噪通过步长为2的卷积和GELU对特征进行三次下采样,保持通道数不变,逐次将特征图尺寸缩小至,,,生成不同尺度的特征表示,随后,使用线性插值对低分辨率特征进行上采样,并通过残差连接将其与相应分辨率的特征拼接,使用的深度卷积,以更大窗口聚合特征信息。
5.根据权利要求4所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:三尺度稀疏去噪过程中引入辅助特征,残差块将优化后的特征与原始沿通道维度合并,并通过卷积输出。
6.根据权利要求1所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:所述交叉注意力模块具体输入来自于,分别被投影到新分量,经过操作产生交叉级间特征的转置注意力图,交叉注意力模块的计算定义为:记为线性卷积;在网络的具体迭代中,将测量特征的伪逆作为查询分量,引入交叉注意力计算;而和键值均来自当前阶段的重建结果分量:通过双域特征交叉计算,将其视作PGD保真约束项的潜在误差项,随后把它作为和分量重新输入第二阶段的GCA,与当前作为新的进行二次的交叉注意力计算,此时即为对全局信息建模后的PGD第一阶段的精细补充项,用来指导的进一步更新,随后通过进行前馈特征融合:。
7.根据权利要求6所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:所述FeedForwardNetwork模块由LayerNorm层,线性层和组成。
8.根据权利要求7所述的表征域采样和混合Transformer的图像压缩感知方法,其特征在于:所述窗口局部注意力模块利用深度卷积的滑动窗口来生成动态的局部注意力图,并通过逐通道卷积聚合局部特征,具体包括:其中,是GeLU激活函数,用于产生更平滑的注意力分布,增强输入的局部信息表示能力,接着,将窗口局部注意力模块的输出与原始特征进行残差连接,并通过定制化的前馈网络进一步处理:在损失函数中,RHT-Net定义图像对的误差为,并采用混合损失函数进行端到端优化:其中,是训练样本对的数量,表示所有可训练参数;将和的比例均设置为0.5,均衡模型的鲁棒性和收敛速度。