欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103256663
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,包括:从第一终端中获取教学图像;

将所述教学图像输入预设的双路先验类型获取器,得到初步先验特征图,所述双路先验类型获取器用于将输入的图像分类得到以文本为主的第一图像与以师生人像为主的第二图像,并将所述第一图像或所述第二图像的特征分布转换为与所述输入的图像的特征分布匹配;

利用金字塔卷积并基于语义信息将所述教学图像进行压缩,得到压缩图像;

将所述初步先验特征图中的先验特征嵌入到超分辨率深度重建过程中,所述先验特征为所述教学图像中与预设的先验条件匹配的特征;

基于注意力机制的多尺度显著特征提取超分辨率对压缩图像进行浅层特征提取以及嵌入图像先验特征的深层特征学习,并重建得到重建图像。

2.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,所述将所述教学图像输入预设的双路先验类型获取器,得到初步先验特征图,包括:将所述教学图像输入预设的双路先验类型获取器,由所述双路先验类型获取器中的文本先验器识别得到所述教学图像为第一图像;通过所述文本先验器提取所述第一图像中的概率向量序列;将所述概率向量序列转换为与所述教学图像的特征分布匹配,得到初步文本先验特征图;

或,

将所述教学图像输入预设的双路先验类型获取器,由所述双路先验类型获取器中的人脸先验器识别得到所述教学图像为第二图像;通过所述人脸先验器提取所述第二图像中的人脸分布编码;将所述人脸分布编码转换为与所述教学图像的特征分布匹配,得到初步人脸先验特征图。

3.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,利用金字塔卷积并基于语义信息将所述教学图像进行压缩,得到压缩图像,包括:将所述教学特征图经过浅层卷积得到卷积特征图;

将所述卷积特征图输入金字塔卷积的第一分支,融合所述卷积特征图的高低层信息以生成包含多个语义层信息的第一特征图;

将所述卷积特征图输入金字塔卷积的第二分支,以根据低信道容量空间获得第二特征图;

聚合所述第一特征图与所述第二特征图,并将聚合后的特征图下采样得到压缩图像。

4.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,所述将所述初步先验特征图中的先验特征嵌入到超分辨率的深度重建过程中,包括:将所述压缩图像经过超分辨率模块,生成第一多尺度深度特征图;

将所述初步先验特征图输入双路先验特征转换器,以对所述初步先验特征图的特征进行转换与对齐,并生成第二多尺度深度特征图;

融合所述第一多尺度深度特征图与所述第二多尺度深度特征图,将所述初步先验特征图中的先验特征嵌入到超分辨率的深度重建过程中。

5.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,所述基于注意力机制的多尺度显著特征提取超分辨率对压缩图像进行浅层特征提取以及嵌入图像先验特征的深层特征学习,并重建得到重建图像,包括:对压缩图像提取浅层特征;

对压缩图像进行深度残差多尺度特征提取,以及通过跳跃连接聚合深度残差多尺度特征;

在深度残差多尺度特征提取过程中,融合所述初步先验特征图中的先验特征进行图像深度重建。

6.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,还包括:采用基于知识蒸馏的先验知识传播方案,根据所述教学图像与所述重建图像训练教师网络,所述教师网络用于根据输入教学图像生成教学重建图像;

根据所述教师网络,采用知识蒸馏的方式,将先验信息从教师传播到学生网络;

根据所述教学图像与所述教学重建图像间的第一损失,所述教学图像与所述学生网络的重建图像间的第二损失,根据所述教学重建图像与所述学生网络的重建图像间的第三损失,重新生成所述教学图像对应的新重建图像。

7.根据权利要求1所述的一种基于超分辨率和先验知识的图像压缩与重建方法,其特征在于,还包括:将所述重建图像传输给第二终端,以供所述第二终端显示所述重建图像。

8.一种基于超分辨率和先验知识的图像压缩与重建装置,其特征在于,包括:图像获取单元,用于从第一终端中获取教学图像;

先验特征获取单元,用于将所述教学图像输入预设的双路先验类型获取器,得到初步先验特征图,所述双路先验类型获取器用于将输入的图像分类得到以文本为主的第一图像与以师生人像为主的第二图像,并将所述第一图像或所述第二图像的特征分布转换为与所述输入的图像的特征分布匹配;

图像压缩单元,用于利用金字塔卷积并基于语义信息将所述教学图像进行压缩,得到压缩图像;

先验特征嵌入单元,用于将所述初步先验特征图中的先验特征嵌入到超分辨率深度重建过程中,所述先验特征为所述教学图像中与预设的先验条件匹配的特征;

图像重建单元,用于基于注意力机制的多尺度显著特征提取超分辨率对压缩图像进行浅层特征提取以及嵌入图像先验特征的深层特征学习,并重建得到重建图像。

9.一种电子设备,其特征在于,包括处理器以及存储器;

所述存储器用于存储程序;

所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。