欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024104977349
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于感兴趣区域的VVC码率控制方法,其特征在于,包括:S101,对待编码的图像进行人脸检测,将检测到的人脸区域作为感兴趣区域ROI,其他区域作为非感兴趣区域nROI;

S102,使用斯塔克尔伯格模型对ROI和nROI的失真进行建模,并采用二分法求解ROI和nROI的比特数;

S103,计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度,基于空域视觉敏感度和时域视觉敏感度获得感知权重;基于感知权重和CTU的失真,获得CTU的感知失真;

S104,对ROI和nROI,基于感知失真分别将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到用于进行比特分配的最优拉格朗日乘子;

S105,基于感兴趣区域的最优拉格朗日乘子和非感兴趣区域的最优拉格朗日乘子,对CTU进行编码;

具体的,VVC中采用R-λ码率控制模型,根据R-λ模型,CTU的失真d、拉格朗日乘子λ、每像素比特数r之间的关系满足下式:其中,c和k表示与视频内容相关的码率控制模型参数;

所述S102,具体包括:

使用斯塔克尔伯格模型对ROI和nROI的失真进行建模,如下:其中,D

π对R

其中,η

使用二分法对上式求解,得到ROI的比特数R所述S103,具体包括:

JND值计算为:

JND

其中,f

空域掩蔽f

f

其中:

亮度对比度f

b(x,y)和m(x,y)的计算方式如下:其中,i表示距离像素点(x,y)水平方向的偏移;j表示距离像素点(x,y)垂直方向的偏移;p(x+i,y+j)表示像素;B(i,j)表示滤波器模板;G(i,j)表示为0°、45°、90°和135°四个方向的高通滤波器;

对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度Ω,因此空时域感知敏感度ω定义为:其中,ω为感知敏感度权重,因此第i个CTU的感知失真表示为所述S104,具体包括:

对于ROI,比特分配的有约束问题表达为:其中,

根据KKT条件,得到:

使用牛顿迭代法对上边的式子进行求解,得到每个ROI进行比特分配的λ其中,

根据KKT条件,得到:

使用牛顿迭代法对上边的式子进行求解,得到每个nROI进行比特分配的λ

2.根据权利要求1所述的基于感兴趣区域的VVC码率控制方法,其特征在于,所述S101中,使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI。

3.一种基于感兴趣区域的VVC码率控制装置,其特征在于,包括:感兴趣区域获取模块,用于对待编码的图像进行人脸检测,将检测到的人脸区域作为感兴趣区域ROI,其他区域作为非感兴趣区域nROI;

比特数获取模块,用于使用斯塔克尔伯格模型对ROI和nROI的失真进行建模,并采用二分法求解ROI和nROI的比特数;

感知失真获取模块,用于计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度,基于空域视觉敏感度和时域视觉敏感度获得感知权重;基于感知权重和CTU的失真,获得CTU的感知失真;

最优拉格朗日乘子获取模块,用于对ROI和nROI,基于感知失真分别将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到用于进行比特分配的最优拉格朗日乘子;

编码模块,用于基于感兴趣区域的最优拉格朗日乘子和非感兴趣区域的最优拉格朗日乘子,对CTU进行编码;

具体的,VVC中采用R-λ码率控制模型,根据R-λ模型,CTU的失真d、拉格朗日乘子λ、每像素比特数r之间的关系满足下式:其中,c和k表示与视频内容相关的码率控制模型参数;

所述比特数获取模块,具体用于:使用斯塔克尔伯格模型对ROI和nROI的失真进行建模,如下:其中,D

π对R

其中,η

使用二分法对上式求解,得到ROI的比特数R所述感知失真获取模块,具体用于:JND值计算为:

JND

其中,f

空域掩蔽f

f

其中:

亮度对比度f

b(x,y)和m(x,y)的计算方式如下:其中,i表示距离像素点(x,y)水平方向的偏移;j表示距离像素点(x,y)垂直方向的偏移;p(x+i,y+j)表示像素;B(i,j)表示滤波器模板;G(i,j)表示为0°、45°、90°和135°四个方向的高通滤波器;

对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度Ω,因此空时域感知敏感度ω定义为:其中,ω为感知敏感度权重,因此第i个CTU的感知失真表示为所述最优拉格朗日乘子获取模块,具体用于:对于ROI,比特分配的有约束问题表达为:其中,

根据KKT条件,得到:

使用牛顿迭代法对上边的式子进行求解,得到每个ROI进行比特分配的λ其中,

根据KKT条件,得到:

使用牛顿迭代法对上边的式子进行求解,得到每个nROI进行比特分配的λ