1.一种基于云边协同的音视频辅助触觉信号重建方法,其特征在于,包括以下步骤:步骤(1)、在中心云存储的大规模音视频数据库上,执行自监督学习任务,自监督学习任务是指确定视频帧和音频剪辑是否来自同一视听源,从而得到预训练后的音频特征提取网络、视频特征提取网络;
步骤(2)、在边缘节点处设计一个音视频辅助触觉信号重建AVHR模型;重建AVHR模型具体如下:
边缘节点接收到音频信号和视频信号后,首先将中心云上预训练后的音频特征提取网络、视频特征提取网络作为边缘节点的音频属性提取网络和视频属性提取网络,提取到音频信号属性和视频信号属性后,进一步从音频信号属性和视频信号属性中提取音频信号和视频信号之间关联的音频信号特征和视频信号特征;
然后利用结合了多模态协同和多模态联合范式的融合网络,融合音频信号特征和视频信号特征,得到融合特征;
同时,利用触觉特征提取网络提取触觉信号特征;
根据音频信号特征、视频信号特征、触觉信号特征及融合特征,利用语义相关学习和语义判别学习策略训练音频特征提取网络、视频特征提取网络、触觉特征提取网络及融合网络,学习音频信号、视频信号、触觉信号及融合特征的共享语义,从而得到包含共享语义的融合特征;
最后,将包含共享语义的融合特征输入带有语义约束的触觉信号生成网络,实现目标触觉信号的重建;
步骤(3)、在中心云和边缘节点处分别利用梯度下降算法对AVHR模型进行训练,以得到最优的AVHR模型的结构及参数;
步骤(4)、将待测的成对的音频信号和视频信号输入最优的AVHR模型,最优的AVHR模型用于提取音频信号和视频信号的语义特征并融合,利用融合后的语义特征生成目标触觉信号。
2.根据权利要求1所述的一种基于云边协同的音视频辅助触觉信号重建方法,其特征在于,步骤(1)包括以下步骤:(1‑1)、对于大规模音视频数据库 其中M为成对的视频帧和音频剪辑的数量, sj为第j对视频帧和音频剪辑,将第j个视频帧 和第j个音频剪辑片段分别传递给视频特征提取网络和音频特征提取网络,分别提取对应的视频特征和音频特征;
(1‑2)、连接视频及音频特征并输入到由多个全连接层组成的集成网络中,该集成网络输出集成后的特征,而后利用该集成后的特征执行自监督学习任务,自监督学习的目的是判断视频帧和音频剪辑是否来自同一视听源;具体地,定义如下自监督损失函数:其中,LSrc为自监督损失函数, 为第j对视频帧特征和音频剪辑特征集成后的特征,Gv(·)为视频特征提取网络的特征映射, 是视频特征提取网络的参数,Ga(·)为音频特征提取网络的特征映射, 是音频特征提取网络的参数;p(·)表示标签指示器,为1时表示该视频帧和音频剪辑来源于同一视听源,为0表示该视频帧和音频剪辑来源于不同的视听源; 为集成网络输出的对应关系预测值; 表示由多个全连接层组成的集成网络的参数;通过最小化LSrc得到预训练后的音频特征提取网络、视频特征提取网络。
3.根据权利要求1所述的一种基于云边协同的音视频辅助触觉信号重建方法,其特征在于,步骤(2)包括以下步骤:(2‑1)、将中心云处训练好的音频特征提取网络、视频特征提取网络及音频特征提取网络的参数和视频特征提取网络的参数直接迁移到边缘节点,将该音频特征提取网络和视频特征提取网络用作边缘节点处的音频属性提取网络和视频属性提取网络;
(2‑2)、将边缘节点所接收到的完整的音频信号、视频信号和触觉信号作为多模态训练数据集D, 第i个实例di=(vi,ai,hi),(vi,ai,hi)为第i对多模态样本对,其中,viw w
∈R是多模态训练数据集中的第i个视频信号,R为视频信号的样本空间,w为视频信号的样u u
本维数;ai∈R 是多模态训练数据集中的第i个音频信号,R 为音频信号的样本空间,u为音e e
频信号的样本维数;hi∈R 是多模态训练数据集中的第i个触觉信号,R为触觉信号的样本K K
空间,e为触觉信号的样本维数;每个di都有对应的one‑hot标签yi∈R ,R为标签空间,其中K是多模态训练数据集的类别数;
(2‑3)、边缘节点利用中心云迁移而来的视频特征提取网络和音频特征提取网络分别提取视频属性 和音频属性 其中,v为视频信号,a为音频信号;
v a v
然后,将g 和g进一步输入到多层特征网络中,得到视频信号特征f =Fv(v;θv)和音频信号a v a
特征f =Fa(a;θa),f和f 相关联,其中,Fv(·)为边缘节点处的视频特征提取网络,θv代表视频特征提取网络的参数,Fa(·)为边缘节点处的音频特征提取网络,θa代表音频特征提取网络的参数;
(2‑4)边缘节点将自编码器模型的编码器作为触觉特征提取网络,并利用触觉特征提h
取网络从触觉信号中提取用于训练的目标的触觉信号特征f =Eh(h;θhe),其中,h代表触觉信号,Eh(·)代表边缘节点处的编码器,θhe代表编码器的参数;
v a
(2‑5)利用结合了多模态协同范式和多模态联合范式的融合网络,融合f和f ,得到融合特征:
a v h
A、多模态协同:在触觉模态的约束下,最大限度地提高f、f和f之间的语义相似性;
a v
B、多模态联合:在多模态协同范式的基础上,对f、f进行深度融合;具体过程如下:m a v
f=Fm(f ,f;θm),
m
其中,f是相关联的视频信号特征和音频信号特征的融合特征;Gm(·)是多模态联合网a v
络的映射函数,Fm(·)取f和f的线性加权;θm为多模态联合网络的参数;
v a h m
(2‑6)对相关联的视频信号特征f 和音频信号特征f 、触觉信号特征f及融合特征f 进行共享语义的学习,共享语义的学习包括语义相关学习和语义判别学习:v a m h h
语义相关学习:选用对比损失对f 、f 、f 和f 进行相关性约束,缩小f和与其相匹配的v a m h v a m
f、f、f之间的距离,并使f 和与其不匹配的f 、f 、f之间的距离大于阈值δ,定义如下语义相关损失函数:
a h v
其中,音频信号特征f 和触觉信号特征f 构成音触对,视觉信号特征f 和触觉信号特征h m
f构成视触对, 是音触对和视触对的对比度损失函数, 则是融合特征f和触觉信h
号特征f的对比度损失函数; 为第p个视频信号特征, 为第p个音频信号特征, 为第p个融合特征, 为第p个触觉信号特征, 为第q个触觉信号特征;l2(·)=‖·‖2表示l2范数;
语义判别学习:选用具有softmax函数的全连接层作为公共分类器,并将公共分类器添加到视频特征提取网络、音频特征提取网络、触觉特征提取网络及融合网络之上,在监督信息的指导下确保跨模态语义的一致性与区分度,语义判别损失函数的定义如下:v a
其中,LDis为语义判别损失函数,p(·)为公共分类器,fi为第i个视频信号特征,fi 为第h m
i个音频信号特征,fi为第i个触觉信号特征,fi为第i个融合特征,θl为公共分类器的参数;
(2‑7)自编码器模型包括编码器和解码器,通过将用于训练的触觉信号h与从编码器至解码器过程中获得的触觉信号 进行比较来学习自编码器模型的结构,定义触觉信号的重建损失如下:
其中,LRec为重建损失函数, 是第i个由自编码器模型重建的触觉信号,hi是第i个真实的触觉信号;Eh(·)是编码器,编码器作为触觉特征提取网络用于触觉特征提取;Dh(·)是解码器,解码器作为触觉信号生成网络用于触觉信号生成;θh=[θhe,θhd]表示自编码器的参数集合,具体地,θhe是编码器参数,θhd是解码器参数;α为超参数;
m
(2‑8)利用自编码器模型的解码器Dh(·)从f生成目标触觉信号h′,实现目标触觉信号h′
的重建,并将h′通过编码器Eh(·)重新映射到触觉信号特征f ,定义所得生成的触觉信号的损失函数如下:
m
其中,LGen为触觉信号的生成损失函数,h′i=Dh(fi ;θhd)是第i个由融合特征生成的触m h h′
觉信号,fi 为第i个融合特征;fi为第i个触觉信号特征,fi =Ej(h′i;θhd)是编码器提取的h h′ j h′ h′ h′ h′hi′的语义特征;l2(fi ,fi )表示fi和fi 的相似性,yilogp(fi )是fi 的分类损失,p(fi )h′ h h′ h′
是预测的fi 的标签,l2(fi ,fi )和yilogp(fi )共同构成了损失函数的正则项;β和γ为超参数。
4.根据权利要求1所述的一种基于云边协同的音视频辅助触觉信号重建方法,其特征在于,步骤(3)包括以下步骤:(3‑1)在中心云的大规模音视频数据库 上训练视频特征提取网络和音频特征提取网络,具体过程如下:
步骤311、初始化 和 为第0次迭代的取值;
步骤312、设置总迭代次数为n1,令迭代次数n=0,;并设定学习率μ1;
步骤313、采用随机梯度下降法SGD,优化各网络参数:其中, 和 分别为第n+1次和第n次中心云上视频特征提取网络、音频特征提取网络和集成网络的参数;为对各损失函数做偏导;
步骤314、如果n
步骤315、经过n1轮迭代后,得到优化后的视频特征提取网络 和音频特征提取网络
(3‑2)在边缘节点接收到的多模态训练数据集上进行AVHR模型的训练,具体过程如下:步骤321、初始化θv(0),θa(0),θm(0),θhe(0),θl(0),θv(0),θa(0),θm(0),θhe(0),θl(0)为第0次迭代θv,θa,θm,θhe,θl的取值;
步骤322、开始迭代,设置总迭代次数为n2,令迭代次数n′=0;并设定学习率μ2;
步骤323、采用随机梯度下降法,优化各特征提取网络、融合网络及公共分类器的参数:其中,θv(n′+1),θa(n′+1),θhe(n′+1),θl(n′+1),θm(n′+1)和θv(n′),θa(n′),θhe(n′),θl(n′),θm(n′)分别为第n′+1次和第n′次边缘节点上视频特征提取网络,音频特征提取网络,编码器,公共分类器和融合网络的参数;为对各损失函数做偏导;
步骤324、采用随机梯度下降法SGD,优化解码器的参数:其中,θhd(n′+1)和θhd(n′)分别为第n′+1次和第n′次边缘节点上解码器的参数;为对各损失函数做偏导;
步骤325、如果n′
步骤326、经过n2轮迭代后,得到最优的AVHR模型,最优的AVHR模型包括优化后的视频特征提取网络、音频特征提取网络、触觉特征提取网络、融合网络和触觉信号生成网络。
5.根据权利要求1所述的一种基于云边协同的音视频辅助触觉信号重建方法,其特征在于,步骤(4)包括以下步骤:(4‑1)采用经过训练完成的AVHR模型;
(4‑2)将待测的一对视频信号 和音频信号 输入训练完成的AVHR模型,提取各自的语义特征并融合,利用融合后的语义特征生成期望的触觉信号