欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118150100
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多阶段不规则编码单元划分的VVC-SCC帧内编码方法,其特征在于,包括以下步骤:

获取屏幕内容视频,对所述屏幕内容视频进行处理,得到若干个编码树单元,将每个编码树单元划分为若干个第一尺寸的当前编码单元;

构建基于多阶段卷积神经网络的编码单元划分预测模型并训练,得到经训练的编码单元划分预测模型,所述编码单元划分预测模型包括五个阶段,每个阶段均包括残差模块和子网络,不同阶段的编码单元设计不同网络结构;

采用VVC-SCC编码器对所述第一尺寸的当前编码单元进行编码,在编码过程中确定当前量化参数并进行归一化,得到归一化的当前量化参数,将所述第一尺寸的当前编码单元和归一化的当前量化参数输入到所述经训练的编码单元划分预测模型,经过当前阶段预测得到当前阶段的预测结果,所述当前阶段的预测结果包括在编码过程中当前阶段输入的当前编码单元所对应的不同的模式类别的预测概率,所述模式类别包括不划分模式以及将当前阶段输入的当前编码单元划分为缩小一个级别尺寸的编码单元的划分模式;对不同的模式类别设置不同的阈值,根据每个模式类别的预测概率及其对应的阈值确定是否将所述模式类别置于率失真优化列表中,具体包括:响应于确定第n个当前编码单元在当前阶段的预测结果中的模式类别m的预测概率满足以下公式:

其中,表示第n个当前编码单元在当前阶段的预测结果中的模式类别为m的预测概率,表示第n个当前编码单元在当前阶段的预测结果中的模式类别为i的预测概率,i∈M,M表示模式类别集合,Thrm表示模式类别m对应的阈值,max表示取最大值,则确定将第n个当前编码单元在当前阶段的预测结果中的模式类别m置于率失真优化列表中,否则确定不将第n个当前编码单元在当前阶段的预测结果中的模式类别m置于率失真优化列表中;若将所述模式类别置于率失真优化列表中,则通过VVC-SCC编码器对所述率失真优化列表中的模式类别进行率失真代价计算,并选择率失真代价最小的模式类别作为所述当前编码单元的最优模式类别,采用最优模式类别对当前阶段输入的当前编码单元进行划分,得到划分后的编码单元并与所述归一化的当前量化参数输入到下一个阶段,经过下一个阶段预测得到下一个阶段的预测结果,将下一个阶段的预测结果作为当前阶段的预测结果重复以上得到当前阶段的预测结果之后的步骤;若不将所述模式类别置于率失真优化列表中,则直接跳过所述模式类别的率失真代价计算。

2.根据权利要求1所述的基于多阶段不规则编码单元划分的VVC-SCC帧内编码方法,其特征在于,所述划分模式包括四叉树划分模式、水平二叉树划分模式、水平三叉树划分模式、垂直二叉树划分和/或垂直三叉树划分模式,在所述编码单元划分预测模型的第一个阶段的划分模式为四叉树划分模式,在所述编码单元划分预测模型的第二个阶段和第三个阶段的划分模式为四叉树划分模式、水平二叉树划分模式、水平三叉树划分模式、垂直二叉树划分和垂直三叉树划分模式;在所述编码单元划分预测模型的第四个阶段和第五个阶段的划分模式为水平二叉树划分模式、水平三叉树划分模式、垂直二叉树划分和垂直三叉树划分模式。

3.根据权利要求2所述的基于多阶段不规则编码单元划分的VVC-SCC帧内编码方法,其特征在于,所述不划分模式对应的阈值为1,所述四叉树划分模式对应的阈值为0.1,所述水平二叉树划分模式对应的阈值为0.7,所述水平三叉树划分模式对应的阈值为0.05,所述垂直二叉树划分对应的阈值为0.05,所述垂直三叉树划分模式对应的阈值为0.1。

4.根据权利要求1所述的基于多阶段不规则编码单元划分的VVC-SCC帧内编码方法,其特征在于,所述编码单元划分预测模型中,第一个阶段包括第一残差模块和第一子网络,所述第一子网络包括依次连接的第一特征提取层、第一卷积层、第一全连接层和第二全连接层,所述第一特征提取层为第一非对称卷积网络,所述第一非对称卷积网络包括依次连接的卷积核大小为9×5的卷积层、卷积核大小为7×7的卷积层和卷积核大小为5×9的卷积层;第二个阶段包括第二残差模块和第二子网络,所述第二子网络包括依次连接的第二特征提取层、第二卷积层、第三卷积层、第三全连接层和第四全连接层,所述第二特征提取层为第二非对称卷积网络,所述第二非对称卷积网络包括依次连接的卷积核大小为7×3的卷积层、卷积核大小为5×5的卷积层和卷积核大小为3×7的卷积层;第三个阶段包括第三残差模块和第三子网络,所述第三子网络包括依次连接的第三特征提取层、第四卷积层、第五卷积层、第五全连接层和第六全连接层,所述第三特征提取层为卷积核大小为4hs×4ws的自适应卷积层;第四个阶段包括第四残差模块和第四子网络,第五个阶段包括第五残差模块和第五子网络,第四子网络和第五子网络包括依次连接的第四特征提取层、第六卷积层、第七全连接层和第八全连接层,第四特征提取层为卷积核大小为2hs×2ws的自适应卷积层;其中hs和ws分别为自适应卷积层的高度单元和宽度单元,若当前编码单元为矩形时,且当前编码单元的宽大于高时,ws=(w/h),hs=1,其中w和h为当前编码单元的宽和高;否则ws=1,hs=(h/w),当当前编码单元为方形时,ws=1,hs=1;所述归一化的当前量化参数分别输入到第一全连接层、第二全连接层、第三全连接层、第四全连接层、第五全连接层、第六全连接层、第七全连接层和第八全连接层,所述归一化的当前量化参数表示为:其中,q表示所述当前量化参数,为归一化的当前量化参数;

所述第一残差模块、第二残差模块、第三残差模块、第四残差模块、第五残差模块均采用残差结构,所述残差结构包括依次连接的第七卷积层和第八卷积层,所述第七卷积层的输入特征与所述第八卷积层的输出特征进行残差连接。

5.根据权利要求1所述的基于多阶段不规则编码单元划分的VVC-SCC帧内编码方法,其特征在于,所述编码单元划分预测模型的训练过程中所使用的损失函数如下:其中,L表示损失函数,N表示批训练大小,M表示模式类别集合,yn,m和表示第n个当前编码单元在模式类别为m情况下的真实标签和预测标签,Rn,m为第n个当前编码单元在模式类别为m情况下的率失真代价值,α为权重系数。

6.一种基于多阶段不规则编码单元划分的VVC-SCC帧内编码装置,其特征在于,包括:

数据处理模块,被配置为获取屏幕内容视频,对所述屏幕内容视频进行处理,得到若干个编码树单元,将每个编码树单元划分为若干个第一尺寸的当前编码单元;

模型构建模块,被配置为构建基于多阶段卷积神经网络的编码单元划分预测模型并训练,得到经训练的编码单元划分预测模型,所述编码单元划分预测模型包括五个阶段,每个阶段均包括残差模块和子网络,不同阶段的编码单元设计不同网络结构;

编码模块,被配置为采用VVC-SCC编码器对所述第一尺寸的当前编码单元进行编码,在编码过程中确定当前量化参数并进行归一化,得到归一化的当前量化参数,将所述第一尺寸的当前编码单元和归一化的当前量化参数输入到所述经训练的编码单元划分预测模型,经过当前阶段预测得到当前阶段的预测结果,所述当前阶段的预测结果包括在编码过程中当前阶段输入的当前编码单元所对应的不同的模式类别的预测概率,所述模式类别包括不划分模式以及将当前阶段输入的当前编码单元划分为缩小一个级别尺寸的编码单元的划分模式;对不同的模式类别设置不同的阈值,根据每个模式类别的预测概率及其对应的阈值确定是否将所述模式类别置于率失真优化列表中,具体包括:响应于确定第n个当前编码单元在当前阶段的预测结果中的模式类别m的预测概率满足以下公式:

其中,表示第n个当前编码单元在当前阶段的预测结果中的模式类别为m的预测概率,表示第n个当前编码单元在当前阶段的预测结果中的模式类别为i的预测概率,i∈M,M表示模式类别集合,Thrm表示模式类别m对应的阈值,max表示取最大值,则确定将第n个当前编码单元在当前阶段的预测结果中的模式类别m置于率失真优化列表中,否则确定不将第n个当前编码单元在当前阶段的预测结果中的模式类别m置于率失真优化列表中;若将所述模式类别置于率失真优化列表中,则通过VVC-SCC编码器对所述率失真优化列表中的模式类别进行率失真代价计算,并选择率失真代价最小的模式类别作为所述当前编码单元的最优模式类别,采用最优模式类别对当前阶段输入的当前编码单元进行划分,得到划分后的编码单元并与所述归一化的当前量化参数输入到下一个阶段,经过下一个阶段预测得到下一个阶段的预测结果,将下一个阶段的预测结果作为当前阶段的预测结果重复以上得到当前阶段的预测结果之后的步骤;若不将所述模式类别置于率失真优化列表中,则直接跳过所述模式类别的率失真代价计算。

7.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。