欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022114881818
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,包括如下步骤:(1)去除数据中不可感知的部分;

(2)将一路的多媒体数据解构为灵活、可伸缩的若干个子路信号;

(3)将解构后的多路信号分别送入时空相关性编码器和熵编码器,去除每路描述中的时‑空相关冗余和统计冗余,生成一个主描述层和若干个增强描述层;

(4)按照主描述层和增强描述层的不同重要性,将不同描述层分配给不同的传输路径,进行多路协作式传输;

(5)接收端以滑动窗口的方式接收不同层的数据;

(6)接收端对接收到的多路信号进行组合式解码;

(7)重建多媒体信息给用户,根据用户的反馈,获取用户的满意度信息;

(8)根据用户的满意度,调整编码器参数,实现用户感知能力与编码精度的个性化适配。

2.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(1)中使用粒度自适应的“感知死区”模型去除数据中不可感知的部分,用数学表达为:其中,P为新输入的多媒体信号三维向量,Pt‑1为编码器上一时刻的输出向量;韦伯定律用于决定信号的变化量 是否足以被感知,如果是,则将编码器下一时刻的输出更新为P,否则将保持为Pt‑1,将“感知死区”的直径设计为随σ变化的变量(1+σ)·k,其中,k为传统的韦伯分数;上式即将感知粒度设置为受σ控制的变量,在编码起始时,根据服务类型,精细粒度服务、粗粒度服务、一般性粒度服务,将σ初始化为σf,σc或σm之一;σ根据用户的体验和服务的需求,自适应地更新和控制编码粒度。

3.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(2)采用使用数据的灵活解构方法,具体包含:(201)将输入的具有时‑空相关性质的多媒体信号,视频或触觉,从时间域和空间域进行周期性下采样;

o n

将原始信号记为P ,经周期性下采样后,原始信号生成N路子信号,记为P  ,1≤n≤N,其中 为第n路信号中第m帧,坐标为(x,y)的“像素”值;并记每一子路信号的总帧数为M,每帧的分辨率为(X,Y),因此1≤m≤M,1≤x≤X,1≤y≤Y;

(202)提取各个子路信号中的相关成分,将各个子路信号中的相关成分提取生成一路Main主“描述”,记为L ;其中一种实现方法是将各子路信号对应采样值求平均:n n

然后,将相关成分从子路信号P  消除,生成N路相互独立的子描述,记为L:

4.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(5)具体步骤为:(501)多媒体数据首先以时间为序被分为若干个一定时长的片组SG;

(502)当用户通过与智能设备的交互点播该多媒体服务时,用户的设备发送对应SG号的请求;

(503)请求者在等待时间Δτ内预缓存尽可能多的数据片,或者直到接收到相应SG的所有数据片为止;

0

(504)多媒体数据回放开始,同时进行下一SG的传输;传输截止时间t设置在当前传输p p 0SG的起始位置;回放时间t由用户客户端实时跟踪,若t未达到t ,则传输按照先主描述层后增强描述层的顺序进行;

p 0

(505)如果t 到达t ,则对当前传输的SG进行解码;此时:如果当前传输的数据片属于增强描述层,则当前SG的传输立即终止;并对所有已接收的数据片进行解码,同时开始传输下一SG;如果当前传输的数据片是主描述层,则播放时间到达,但接收到的数据仍不足以解码,视频播放中断不可避免;

(506)当出现回放中断时,利用链路的传输速率和剩余数据的大小来预测两者各自的等待时间,并选择等待时间较短的SG进行传输,以缩短回放中断时长。

5.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(6)具体步骤为:(601)解码主描述层兼容HEVC、AVC解码器,并存入解码缓冲区;

(602)参考缓冲区中的主描述层数据,解码所有接收到的增强描述层数据,解码为编码的逆过程,并存入各自的解码缓冲区;

(603)将所有解码的主描述层和增强描述层进行融合,提升多媒体数据的分辨率/解析度。

6.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(7)具体步骤为:(701)训练多模态满意度识别度量模型;

(70101)输入数据库 其中 和

分别代表由触觉、视频、音频组成的满意度特征向量,ei代表与之相应的满意度标签,ei∈{1,2,3,4,5},1≤i≤l.;

h v a

(70102)对所有的i和j,通过如下表达式求解Ω ,Ω ,Ω ,α,β,γ,δ;

其中, 为第i和j个特征向量在

T

子空间Λ中的投影距离的平方,Λ=ΩΩ;α,β,γ为不同模态特征向量的优化参数,α,β,γ≥0且α+β+γ=1; 为对 施加的大于1的边界,即,如果特征向量Φi,Φj不属于同一类,则 Ξ为一逻辑运算符,如果条件成立,其值为

0,否则为1;

(702)重建并回放已解码的多媒体数据给用户,并从用户处获得 特征向量,并带入上述模型,识别用户满意度Q;其中ui代表接收多媒体服务的该用户。

7.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(8)具体包含以下步骤:(801)设置一个用户满意度的期望值QE,编码器参数σ的更新步长Δσ;(802)如果Q<QE且σ>‑1,则σ=σ‑Δσ;

(803)重复执行步骤1到步骤(802),直至Q≥QE。