1.一种应对多变场景的跨模态信源信道联合编解码方法,其特征在于,包括:针对图像信号与触觉信号同时传输的场景,基于跨模态信源编码器最大化系统容量并最小化语义错误;
考虑跨模态通信下图像信号丢失的场景,设计基于隐扩散模型的触觉-图像生成的跨模态信源编解码优化方案;
针对不同的通信任务和信道环境,采用迁移学习优化模型的泛化能力,并加速模型的训练过程;
所述跨模态信源编码器包括触觉特征提取模块、图像特征提取模块以及模态融合模块;
所述触觉特征提取模块与所述图像特征提取模块在各个模态内部提取特征;
当分别获得图像和触觉信号的特征后,沿着通道维度拼接在一起,并输入到模态融合模块进行融合,通过分类任务进行训练,损失函数表示为,其中,表示分别经过触觉特征提取网络图像特征提取以及模态融合输出的图像特征,触觉特征以及融合特征,yj表示对象的标签,分别表示触觉特征提取网络图像特征提取模态融合以及跨模态信源编码器集成网络的参数;
通过跨模态信源解码器在接收端,需要从融合特征中重建出相应的图像信号;
采用Wasserstein生成对抗网络实现图像重建,鉴别器D采用PatchGAN的设计;
生成器G将融合特征生成为图像鉴别器D负责区分真实图像v和生成的图像训练过程为D和G对抗的过程,损失函数表示为,其中,
所述跨模态信源编解码优化方案包括将图像信号由像素域映射到特征域;
对于一个给定在像素域中的图像利用编码器将x编码为隐变量特征利用解码器从特征空间中重建图像,表示为,其中,z∈Rh×w×c。
2.如权利要求1所述的信源信道联合编解码方法,其特征在于:设计Transformer的编码器,编码器包含若干个相同的层,每个层都由多头自注意力子层和基于位置的前馈网络子层组成,且每个子层都使用了残差连接层和层规范化;
多头自注意力层采用缩放点积模型来计算自注意力得分,自注意力计算时取Q、K、V相同;通过h个不同的线性变换对Q、K、V进行投影,将不同表示子空间的自注意力得分拼接起来可得到最终的注意力得分;
基于位置的前馈网络对序列中的所有位置的表示进行非线性变换,通过一个两层的全连接层,第一层的激活函数为ReLu,第二层为线性激活函数,表示为,FFNout=max(0,xW1+b1)W2+b2,其中,x为上一步得到的融合特征向量,W1、W2、b1和b2都为前馈网络中可学习的参数,FFNout为前馈网络输出;
所述残差连接层使网络在更新迭代的过程中仅用于当前差异的部分;
归一化层将每一层神经元的输入都规范化为相同的均值方差,加速模型收敛;
所述子层的计算过程表示为,
sub_layer_output=LayerNorm(x+sublayer(x)),设计Transformer的解码器,解码器在多头自注意力子层和前馈网络子层中间加入了编码器-解码器注意力子层;
将信道建模为神经网络层表示编码后的融合特征经过信道传输的过程,考虑加性高斯白噪声信道和瑞利慢衰落信道;
在加性高斯白噪声信道下,信道的传输函数可以表示为,y=z+n
其中,z为信道传输符号,n为信道噪声,是独立同分布的,并且σ2是平均噪声功率;
信道的信噪比为通过改变σ2来改变信道的信噪比;
瑞利慢衰落信道的传输函数为,
y=hz+n
其中,h为信道增益,n为信道噪声,h和n分别服从参数为和的不同的正态分布。
3.如权利要求2所述的信源信道联合编解码方法,其特征在于:对图像特征在特征域进行加噪与去噪的学习过程;
对于前向加噪过程,定义一个前向扩散过程,表示为,
在经过前向加噪过程后,逆转q(xt|xt-1)过程获得重新创建的真实样本xt;
设计U-Net模型学习近似条件概率。
4.如权利要求3所述的信源信道联合编解码方法,其特征在于:所述设计U-Net模型学习近似条件概率包括引入Cross Attention模块;
所述Cross Attention是一种多头注意力机制,建立两个不同输入序列之间的关联,并将其中一个序列的信息传递给另一个序列,通过Cross Attention模块,U-Net模型将带噪声图像特征矩阵的某一部分与触觉特征标签的特定信息进行关联;
将触觉条件数据y转化为模型内部的触觉特征表达将τθ(y)通过CrossAttention模块将其映射到Unet模型的中间层与图像信息进行融合交互,表示为其中,表示隐变量特征z经过前向加噪过程后进入Unet网络前的过程操作,τθ(y)表示对应的触觉特征信息,是三个可训练的参数投影矩阵;
计算注意力权重,并进行加权融合,表示为,
其中,d代表查询向量Q,键向量K的维度,代表注意力权重。
5.如权利要求4所述的信源信道联合编解码方法,其特征在于:得到触觉特征与图像特征之间的交互信息,并融合到图像特征中,损失函数表示为,其中,∈代表未进行加噪的原始图像特征,εθ(zt,t,τθ(y))代表Unet网络输出;
采用FID参数指标对图像生成进行指导约束,表示为,其中,Tr表示矩阵的迹,x和g表示真实的图片和生成的图像,μ表示均值,Σ是协方差矩阵;
总损失函数表示为,
LHVLDM=LC_LDM+LFID(x,g)。
6.如权利要求5所述的信源信道联合编解码方法,其特征在于:所述采用迁移学习优化模型的泛化能力,并加速模型的训练过程包括针对图像信号与触觉信号同时传输的场景规定第一传输任务和第二传输任务;所述第一传输任务是需求传输图像信号与触觉信号的融合特征;所述第二传输任务是仅触觉信号特征进行传输;
加载面向第一传输任务的预训练好的Transformer编码器Cα(·),解码器权重;输入面向第二传输任务所需的特征数据集D;冻结Cα(·),的第三层网络参数;重新训练第一层与第二层网络参数Cα1、2(·),获得新Transformer第一与第二层编码器参数;同时跨模态通信还会面临不同的信道信噪比变化;
输入预训练好的Transformer编码器模型Cα(·),解码器不同的信道信噪比参数N1;冻结Cα(·),的第一、二层网络参数;重新训练第三层网络Cα3(·),获得新训练的网络Cα3(·),参数。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的信源信道联合编解码方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的信源信道联合编解码方法的步骤。