欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020115507781
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-05-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种建立图像增强模型的方法,包括:获取训练数据,所述训练数据中包含多个视频帧以及对应各视频帧的标准图像;

构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型,其中每个通道膨胀卷积模块包含空间下采样子模块、通道膨胀子模块与空间上采样子模块;

使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛,得到图像增强模型。

2.根据权利要求1所述的方法,其中,所述构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型包括:构建包含第一逐通道卷积层与第一逐点卷积层的空间下采样子模块,所述第一逐通道卷积层与第一逐点卷积层的通道数为第一通道数。

3.根据权利要求1所述的方法,其中,所述构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型包括:构建包含第一通道膨胀层、第二通道膨胀层与通道收缩层的通道膨胀子模块;

所述第一通道膨胀层包含第二逐通道卷积层与第二逐点卷积层,所述第二逐通道卷积层与第二逐点卷积层的通道数为第二通道数;

所述第二通道膨胀层包含第三逐点卷积层,所述第三逐点卷积层的通道数为第三通道数;

所述通道收缩层包含第四逐通道卷积层与第四逐点卷积层,所述第四逐通道卷积层与第四逐点卷积层的通道数为第一通道数。

4.根据权利要求1所述的方法,其中,所述构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型包括:构建包含第五逐通道卷积层与第五逐点卷积层的空间上采样子模块,所述第五逐通道卷积层与第五逐点卷积层的通道数为第一通道数。

5.根据权利要求1所述的方法,其中,所述使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛包括:获取各视频帧对应的相邻视频帧;

将各视频帧与各视频帧对应的相邻视频帧作为所述神经网络模型的输入,得到所述神经网络模型针对各视频帧的输出结果;

根据各视频帧的输出结果与对应各视频帧的标准图像计算损失函数;

在确定计算得到的损失函数收敛的情况下,完成对所述神经网络模型的训练。

6.根据权利要求1所述的方法,还包括,在使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛之后,确定已收敛的神经网络模型是否满足预设的训练要求;

若是,则停止训练,得到图像增强模型;

否则,将预设个数的通道膨胀卷积模块添加至神经网络模型中通道膨胀卷积模块的末尾;

使用各视频帧以及对应各视频帧的标准图像对添加通道膨胀卷积模块之后的神经网络模型进行训练;

在确定该神经网络模型收敛之后,转至执行确定已收敛的神经网络模型是否满足预设的训练要求的步骤,以此循环进行,直至确定已收敛的神经网络模型满足预设的训练要求。

7.一种图像增强的方法,包括:获取待处理视频帧;

将所述待处理视频帧作为图像增强模型的输入,将所述图像增强模型的输出结果作为所述待处理视频帧的图像增强结果;

其中,所述图像增强模型是根据权利要求1‑6中任一项方法预先训练得到的。

8.根据权利要求7所述的方法,其中,所述将所述待处理视频帧作为图像增强模型的输入包括:

获取所述待处理视频帧的相邻视频帧;

将所述待处理视频帧与所述相邻视频帧作为所述图像增强模型的输入。

9.一种建立图像增强模型的装置,包括:第一获取单元,用于获取训练数据,所述训练数据中包含多个视频帧以及对应各视频帧的标准图像;

构建单元,用于构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型,其中每个通道膨胀卷积模块包含空间下采样子模块、通道膨胀子模块与空间上采样子模块;

训练单元,用于使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛,得到图像增强模型。

10.根据权利要求9所述的装置,其中,所述构建单元在构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型时,具体执行:构建包含第一逐通道卷积层与第一逐点卷积层的空间下采样子模块,所述第一逐通道卷积层与第一逐点卷积层的通道数为第一通道数。

11.根据权利要求9所述的装置,其中,所述构建单元在构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型时,具体执行:构建包含第一通道膨胀层、第二通道膨胀层与通道收缩层的通道膨胀子模块;

所述第一通道膨胀层包含第二逐通道卷积层与第二逐点卷积层,所述第二逐通道卷积层与第二逐点卷积层的通道数为第二通道数;

所述第二通道膨胀层包含第三逐点卷积层,所述第三逐点卷积层的通道数为第三通道数;

所述通道收缩层包含第四逐通道卷积层与第四逐点卷积层,所述第四逐通道卷积层与第四逐点卷积层的通道数为第一通道数。

12.根据权利要求9所述的装置,其中,所述构建单元在构建由特征提取模块、至少一个通道膨胀卷积模块与空间上采样模块组成的神经网络模型包括时,具体执行:构建包含第五逐通道卷积层与第五逐点卷积层的空间上采样子模块,所述第五逐通道卷积层与第五逐点卷积层的通道数为第一通道数。

13.根据权利要求9所述的装置,其中,所述训练单元在使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛时,具体执行:获取各视频帧对应的相邻视频帧;

将各视频帧与各视频帧对应的相邻视频帧作为所述神经网络模型的输入,得到所述神经网络模型针对各视频帧的输出结果;

根据各视频帧的输出结果与对应各视频帧的标准图像计算损失函数;

在确定计算得到的损失函数收敛的情况下,完成对所述神经网络模型的训练。

14.根据权利要求9所述的装置,所述训练单元还用于执行,在使用各视频帧以及对应各视频帧的标准图像对所述神经网络模型进行训练,直至所述神经网络模型收敛之后,确定已收敛的神经网络模型是否满足预设的训练要求;

若是,则停止训练,得到图像增强模型;

否则,将预设个数的通道膨胀卷积模块添加至神经网络模型中通道膨胀卷积模块的末尾;

使用各视频帧以及对应各视频帧的标准图像对添加通道膨胀卷积模块之后的神经网络模型进行训练;

在确定该神经网络模型收敛之后,转至执行确定已收敛的神经网络模型是否满足预设的训练要求的步骤,以此循环进行,直至确定已收敛的神经网络模型满足预设的训练要求。

15.一种图像增强的装置,包括:第二获取单元、用于获取待处理视频帧;

增强单元、用于将所述待处理视频帧作为图像增强模型的输入,将所述图像增强模型的输出结果作为所述待处理视频帧的图像增强结果;

其中,所述图像增强模型是根据权利要求9‑14中任一项装置预先训练得到的。

16.根据权利要求15所述的装置,其中,所述增强单元在将所述待处理视频帧作为图像增强模型的输入时,具体执行:获取所述待处理视频帧的相邻视频帧;

将所述待处理视频帧与所述相邻视频帧作为所述图像增强模型的输入。

17.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑8中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑8中任一项所述的方法。