1.一种信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于,包括:基于触觉-图像数据库对每一种对象对应的图像信号和滑动产生的触觉振动信号进行预处理;
将预处理后的图像和触觉信号输入跨模态联合编码器,对输入数据进行分块处理,依次输入层次化特征提取模块和信噪比自适应模块,得到层次化融合特征;
层次化融合特征经信道传输后,进入跨模态联合解码器,包括层次化特征提取模块、信噪比自适应模块以及信号重建模块;
层次化特征提取模块从层次化融合特征中解码出触觉低维特征,信噪比自适应模块根据信道变化对这个低维特征动态调整,由信号重建模块将低维特征转化为触觉频谱,触觉频谱经过短时傅里叶逆变换ISTFT转化为触觉序列,从而完成触觉信号重建;
根据训练数据对跨模态联合编码器和跨模态联合解码器进行联合训练,得到最优的模型参数;
将待测的触觉和图像信号输入最优的跨模态联合编码器,得到层次化融合特征,经信道传输后,将接收到的层次化融合特征输入跨模态联合解码器,生成目标触觉频谱,经过ISTFT变换得到目标触觉信号。
2.如权利要求1所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述进行预处理包括将图像按H×W尺寸进行裁切,表示为,其中,v
对触觉信号进行预处理,将触觉序列进行短时傅里叶变换STFT得到触觉序列的频谱,表示为,将频谱通过
将幅度谱和相位谱拼接得到触觉信号
将RGB图像
3.如权利要求2所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述分块处理包括将数据对分割为4×4大小的非重叠块;
每个patch的特征维数为4×4×5=80维,数据张量的尺寸为将分块后的数据输入多个层次化特征提取模块和信噪比自适应模块;
层次化特征提取模块为FE
设编码器中特征提取组件数量为L,第j个特征提取组件的输入为t将触觉—图像信号对
4.如权利要求3所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述层次化特征提取模块FE合并层负责下采样和升维,以产生不同层级的特征,而SwinTransformer块进行层级化特征学习;
第一个合并层将每组2×2个相邻patch的特征在通道维连接,使特征分辨率下采样2倍,并且特征维度增加4倍;
在连接后的特征上应用全连接层,将输出维度统一为原始维度的两倍,即2C,张量尺寸为多次经过Swin Transformer块和合并层,得到层级化的特征表示;
跨模态联合编码器最后一层合并层负责将深层特征信息映射到与信道通道尺寸相同的维度,在将相邻patch特征连接起来之后,应用线性层将输出维度变换为通道维数b,此时张量尺寸为
5.如权利要求4所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述信噪比自适应模块SD(·)包括全局池化和前馈网络;
所述全局池化用于捕捉输入特征的全尺寸信息,将局部特征汇总为全局特征,将信噪比信息与池化后的特征连接起来,输入前馈网络生成缩放因子,缩放因子与层次化特征提取模块FE特征提取组件的输出为
经过全局平均池化P(·),在通道维度上对每个特征图进行池化,提取全局信息全局池化操作将通道上每个二维特征图o
将全局信息与当前的SNR值拼接起来,得到
将
6.如权利要求5所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述跨模态联合解码器使用扩展层对提取的深层特征进行上采样,扩展层将相邻维度的特征图重塑,并将特征维度减少到原始维度的一半,完成对特征的降维;
信道信号被输入多个层次化特征提取模块,获得不同层级的特征,信噪比自适应模块连接在第一个和最后一个层次化特征提取模块之后;
设跨模态联合解码器中层次化特征提取模块数量为L,按照数据流向第j个层次化特征提取模块的输入为t从信道传输的信号
将降维后的特征输入信号重建模块,通过多个卷积层从特征域映射到包含触觉序列的振幅和相位信息的时频矩阵,表示为,多层次特征输入多个卷积,保持尺寸不变,实现通道数的放缩,将通道数放缩为2个,映射到触觉序列的振幅和相位信息的时频矩阵,通过ISTFT变换得到恢复出的触觉序列。
7.如权利要求6所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述进行联合训练包括选择Charbonnier损失作为优化过程的损失函数,表示为,其中,h
将跨模态联合编码器与跨模态联合解码器作为一整个网络进行联合训练,通过Adam优化算法计算梯度,通过反向传播更新网络参数。其表达式如下:其中,m
8.如权利要求7所述的信噪比自适应联合优化信源信道的触觉信号重建方法,其特征在于:所述重建目标触觉信号包括经过跨模态联合编码器,生成一个层次化融合特征,经信道传输后,由跨模态联合解码器进行解码,并重建出目标触觉信号的频谱,通过ISTFT变换得到期望的触觉信号。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的信噪比自适应联合优化信源信道的触觉信号重建方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的信噪比自适应联合优化信源信道的触觉信号重建方法的步骤。