1.一种面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,包括如下步骤:(1)去除数据中不可感知的部分;
(2)将一路的多媒体数据解构为灵活、可伸缩的若干个子路信号;
(3)将解构后的多路信号分别送入时空相关性编码器和熵编码器,去除每路描述中的时‑空相关冗余和统计冗余,生成一个主描述层和若干个增强描述层;
(4)按照主描述层和增强描述层的不同重要性,将不同描述层分配给不同的传输路径,进行多路协作式传输;
(5)接收端以滑动窗口的方式接收不同层的数据;
(6)接收端对接收到的多路信号进行组合式解码;
(7)重建多媒体信息给用户,根据用户的反馈,获取用户的满意度信息;
(8)根据用户的满意度,调整编码器参数,实现用户感知能力与编码精度的个性化适配。
2.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(1)中使用粒度自适应的“感知死区”模型去除数据中不可感知的部分,用数学表达为:其中,P为新输入的多媒体信号三维向量,Pt‑1为编码器上一时刻的输出向量;韦伯定律用于决定信号的变化量 是否足以被感知,如果是,则将编码器下一时刻的输出更新为P,否则将保持为Pt‑1,将“感知死区”的直径设计为随σ变化的变量(1+σ)·k,其中,k为传统的韦伯分数;上式即将感知粒度设置为受σ控制的变量,在编码起始时,根据服务类型,精细粒度服务、粗粒度服务、一般性粒度服务,将σ初始化为σf,σc或σm之一;σ根据用户的体验和服务的需求,自适应地更新和控制编码粒度。
3.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(2)采用使用数据的灵活解构方法,具体包含:(201)将输入的具有时‑空相关性质的多媒体信号,视频或触觉,从时间域和空间域进行周期性下采样;
o n
将原始信号记为P ,经周期性下采样后,原始信号生成N路子信号,记为P ,1≤n≤N,其中 为第n路信号中第m帧,坐标为(x,y)的“像素”值;并记每一子路信号的总帧数为M,每帧的分辨率为(X,Y),因此1≤m≤M,1≤x≤X,1≤y≤Y;
(202)提取各个子路信号中的相关成分,将各个子路信号中的相关成分提取生成一路Main主“描述”,记为L ;其中一种实现方法是将各子路信号对应采样值求平均:n n
然后,将相关成分从子路信号P 消除,生成N路相互独立的子描述,记为L:
4.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(5)具体步骤为:(501)多媒体数据首先以时间为序被分为若干个一定时长的片组SG;
(502)当用户通过与智能设备的交互点播该多媒体服务时,用户的设备发送对应SG号的请求;
(503)请求者在等待时间Δτ内预缓存尽可能多的数据片,或者直到接收到相应SG的所有数据片为止;
0
(504)多媒体数据回放开始,同时进行下一SG的传输;传输截止时间t设置在当前传输p p 0SG的起始位置;回放时间t由用户客户端实时跟踪,若t未达到t ,则传输按照先主描述层后增强描述层的顺序进行;
p 0
(505)如果t 到达t ,则对当前传输的SG进行解码;此时:如果当前传输的数据片属于增强描述层,则当前SG的传输立即终止;并对所有已接收的数据片进行解码,同时开始传输下一SG;如果当前传输的数据片是主描述层,则播放时间到达,但接收到的数据仍不足以解码,视频播放中断不可避免;
(506)当出现回放中断时,利用链路的传输速率和剩余数据的大小来预测两者各自的等待时间,并选择等待时间较短的SG进行传输,以缩短回放中断时长。
5.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(6)具体步骤为:(601)解码主描述层兼容HEVC、AVC解码器,并存入解码缓冲区;
(602)参考缓冲区中的主描述层数据,解码所有接收到的增强描述层数据,解码为编码的逆过程,并存入各自的解码缓冲区;
(603)将所有解码的主描述层和增强描述层进行融合,提升多媒体数据的分辨率/解析度。
6.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(7)具体步骤为:(701)训练多模态满意度识别度量模型;
(70101)输入数据库 其中 和
分别代表由触觉、视频、音频组成的满意度特征向量,ei代表与之相应的满意度标签,ei∈{1,2,3,4,5},1≤i≤l.;
h v a
(70102)对所有的i和j,通过如下表达式求解Ω ,Ω ,Ω ,α,β,γ,δ;
其中, 为第i和j个特征向量在
T
子空间Λ中的投影距离的平方,Λ=ΩΩ;α,β,γ为不同模态特征向量的优化参数,α,β,γ≥0且α+β+γ=1; 为对 施加的大于1的边界,即,如果特征向量Φi,Φj不属于同一类,则 Ξ为一逻辑运算符,如果条件成立,其值为
0,否则为1;
(702)重建并回放已解码的多媒体数据给用户,并从用户处获得 特征向量,并带入上述模型,识别用户满意度Q;其中ui代表接收多媒体服务的该用户。
7.根据权利要求1所述面向低延时高可靠通信的多媒体数据编解码方法,其特征在于,所述步骤(8)具体包含以下步骤:(801)设置一个用户满意度的期望值QE,编码器参数σ的更新步长Δσ;(802)如果Q<QE且σ>‑1,则σ=σ‑Δσ;
(803)重复执行步骤1到步骤(802),直至Q≥QE。