欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025103460772
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于六自由度信息引导的沉浸式视频质量评价方法,其特征在于,包括:构建基于六自由度信息引导的沉浸式视频质量评价模型并训练,得到经训练的沉浸式视频质量评价模型;所述沉浸式视频质量评价模型包括视觉信息编码模块、时空映射模块、语言编码器和大语言模型的语音解码器;

获取包含多个视点的纹理视频和深度视频的沉浸式视频,从多个视点的纹理视频中提取若干个纹理视频块及纹理关键帧,以及从多个视点的深度视频中提取若干个深度关键帧;

将若干个纹理视频块、纹理关键帧和深度关键帧输入经训练的沉浸式视频质量评价模型,通过视觉信息编码模块对多个视点的纹理视频块、纹理关键帧和深度关键帧分别进行特征提取,得到对应的视觉特征;将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记;通过语言编码器对指令信息和六自由度视点位置信息进行编码,得到文本指令标记和视点位置标记;将时间视觉标记、空间视觉标记、文本指令标记和视点位置标记进行组合得到组合标记,将组合标记输入语音解码器中,得到沉浸式视频质量分数;

将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记,具体包括:

将深度关键帧特征和纹理关键帧特征输入时空映射模块的空间映射单元中得到空间视觉标记,并将纹理视频块特征输入进时间映射单元中得到时间视觉标记,如下式所示:其中,SP(·)表示空间映射单元;TP(·)表示时间映射单元;表示空间视觉标记;表示时间视觉标记;Fti表示纹理关键帧特征;表示深度关键帧特征;Concat表示特征拼接;表示纹理视频块特征;

通过语言编码器对指令信息和六自由度视点位置信息进行编码,得到文本指令标记和视点位置标记,具体包括:通过所述语言编码器对指令信息进行编码;所述指令信息包括系统指令、引导指令和响应限制,所述系统指令用于告知大语言模型其职能,所述引导指令用于告知大语言模型其具体任务,所述响应限制用于告知大语言模型其回答问题的具体要求;

对指令信息进行编码后得到的文本指令标记,如下式所示:

Ftext=LE(Itext);

其中,Itext表示指令信息;LE(·)表示语言编码器;Ftext表示文本指令标记;

通过所述语言编码器对六自由度视点位置信息进行编码,得到视点位置标记,如下式所示:其中,表示视点i的位置信息;表示视点i的位置标记。

2.根据权利要求1所述的基于六自由度信息引导的沉浸式视频质量评价方法,其特征在于,从多个视点的纹理视频中提取若干个纹理视频块及纹理关键帧,以及从多个视点的深度视频中提取若干个深度关键帧,具体如下:对每个视点的纹理视频和深度视频进行分块,得到K个连续的纹理视频块和K个连续的深度视频块;其中,表示第j个纹理视频块,表示第j个深度视频块,N表示每个视点的纹理视频的帧数或深度视频的帧数,每个视点的纹理视频的帧数或深度视频的帧数相等,n表示每个视点的第n帧,τ表示每个纹理视频块或深度视频块包含的视频帧数,对每个纹理视频块和深度视频块分别取第一帧作为块的关键帧,得到纹理关键帧ftj=xτj和深度关键帧fdj=yτj。

3.根据权利要求2所述的基于六自由度信息引导的沉浸式视频质量评价方法,其特征在于,通过视觉信息编码模块对多个视点的纹理视频块、纹理关键帧和深度关键帧分别进行特征提取,得到对应的视觉特征,具体包括:通过视觉信息编码模块的深度视觉编码器和空间视觉编码器对深度关键帧fdj=yτj和纹理关键帧ftj=xτj分别进行特征提取,得到每个视点的深度关键帧特征和纹理关键帧特征通过视觉信息编码模块的时间视觉编码器对纹理视频块进行特征提取,得到多个视点的纹理视频块特征如下式所示:Fti=VEspatial(Concat(ft1,ft2,...,ftK));

其中,VEdeep(·)、VEspatial(·)和VEtemporal(·)分别表示深度视觉编码器、空间视觉编码器和时间视觉编码器;i表示第i个视点,H、W和C分别表示特征的高度、宽度和通道数,表示实数集。

4.根据权利要求3所述的基于六自由度信息引导的沉浸式视频质量评价方法,其特征在于,得到的沉浸式视频质量分数,如下所示:其中,LD(·)表示大语言模型的语音解码器;Q表示得到的沉浸式视频质量分数;表示每个视点的合成特征。

5.一种基于六自由度信息引导的沉浸式视频质量评价装置,其特征在于,包括:模型构建及训练模块,被配置为构建基于六自由度信息引导的沉浸式视频质量评价模型并训练,得到经训练的沉浸式视频质量评价模型;所述沉浸式视频质量评价模型包括视觉信息编码模块、时空映射模块、语言编码器和大语言模型的语音解码器;

数据提取模块,被配置为获取包含多个视点的纹理视频和深度视频的沉浸式视频,从多个视点的纹理视频中提取若干个纹理视频块及纹理关键帧,以及从多个视点的深度视频中提取若干个深度关键帧;

视频质量评价模块,被配置为将若干个纹理视频块、纹理关键帧和深度关键帧输入经训练的沉浸式视频质量评价模型,通过视觉信息编码模块对多个视点的纹理视频块、纹理关键帧和深度关键帧分别进行特征提取,得到对应的视觉特征;将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记;通过语言编码器对指令信息和六自由度视点位置信息进行编码,得到文本指令标记和视点位置标记;将时间视觉标记、空间视觉标记、文本指令标记和视点位置标记进行组合得到组合标记,将组合标记输入语音解码器中,得到沉浸式视频质量分数;

将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记,具体包括:

将深度关键帧特征和纹理关键帧特征输入时空映射模块的空间映射单元中得到空间视觉标记,并将纹理视频块特征输入进时间映射单元中得到时间视觉标记,如下式所示:其中,SP(·)表示空间映射单元;TP(·)表示时间映射单元;表示空间视觉标记;表示时间视觉标记;Fti表示纹理关键帧特征;表示深度关键帧特征;Concat表示特征拼接;表示纹理视频块特征;

通过语言编码器对指令信息和六自由度视点位置信息进行编码,得到文本指令标记和视点位置标记,具体包括:通过所述语言编码器对指令信息进行编码;所述指令信息包括系统指令、引导指令和响应限制,所述系统指令用于告知大语言模型其职能,所述引导指令用于告知大语言模型其具体任务,所述响应限制用于告知大语言模型其回答问题的具体要求;

对指令信息进行编码后得到的文本指令标记,如下式所示:

Ftext=LE(Itext);

其中,Itext表示指令信息;LE(·)表示语言编码器;Ftext表示文本指令标记;

通过所述语言编码器对六自由度视点位置信息进行编码,得到视点位置标记,如下式所示:其中,表示视点i的位置信息;表示视点i的位置标记。

6.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的方法。

8.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。