欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024110757632
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于跨模态通信系统的信源信道联合编解码方法,其特征在于,包括:通过跨模态信源编码器提取与待传输的图像信号和触觉信号相对应的图像特征和触觉特征,并将图像特征和触觉特征进行融合,得到融合特征;

设计跨模态信道编码器与跨模态信道解码器,将融合特征输入进跨模态信道编码器,转换为适合无线传输的比特流,信道传输过程结束后,信道解码器将接收到的比特流映射回融合特征;

通过跨模态信源解码器对融合特征进行解码,从融合特征中重建图像信号;

所述跨模态信源编码器包括触觉特征提取模块、图像特征提取模块以及模态融合模块;

设计损失函数更新跨模态信源编码器的相关参数;设计损失函数,利用交叉熵损失函数进行图像特征分类、触觉特征分类和融合特征分类,表示为,其中,表示分别经过触觉特征提取网络图像特征提取以及模态融合输出的图像特征,触觉特征以及融合特征,yj表示对象的标签,分别表示触觉特征提取网络图像特征提取模态融合以及跨模态信源编码器集成网络的参数;

通过最小化损失函数Ls,对跨模态信源编码器参数进行初步训练;

所述跨模态信道解码器,在经过信道传输后,受到噪声干扰的复值信号经过信道解码器映射回原始特征输入的估计值与信道编码器相对应,信道解码器由一系列一维转置卷积、参数化ReLU(PReLU)激活函数以及反归一化层所组成;

信道解码器表示为,

其中,表示信道解码器模型的参数;

最终信道编码器和信道解码器是联合设计并优化的,通过最小化跨模态融合特征f和经过传输后估计得到的融合特征之间的均方误差来进行信道编解码器参数的联合优化,表示为,

2.如权利要求1所述的基于跨模态通信系统的信源信道联合编解码方法,其特征在于:所述跨模态信道编码器表示为,其中,表示信道编码器模型的参数;

跨模态信道编码器输入跨模态融合特征f,输出为跨模态融合特征f映射到信道符号的表示z。

3.如权利要求2所述的基于跨模态通信系统的信源信道联合编解码方法,其特征在于:将信道建模为神经网络层表示编码后的融合特征z经过信道传输的过程;

所述信道建模包括加性高斯白噪声信道和瑞利慢衰落信道;

在AWGN信道下,信道的传输函数表示为,

y=z+n

其中,n为信道噪声,是独立同分布的,并且σ2是平均噪声功率;

信道的信噪比为通过改变σ2来改变信道的信噪比;

所述瑞利慢衰落信道的传输函数为,

y=hz+n

其中,h为信道增益,n为信道噪声,h和n分别服从参数为和的不同的正态分布。

4.如权利要求3所述的基于跨模态通信系统的信源信道联合编解码方法,其特征在于:所述跨模态信源解码器,在接收端,从融合特征中重建出相应的图像信号;

采用Wasserstein生成对抗网络方法来实现图像重建,鉴别器D采用PatchGAN的设计,生成器G将融合特征生成为图像鉴别器D负责区分真实图像v和生成的图像定义损失函数表示为,

其中,

5.如权利要求4所述的基于跨模态通信系统的信源信道联合编解码方法,其特征在于:使用知识蒸馏技术的方法,将生成图像的关键分布信息从教师模型中提取出来,应用到学生模型中;

选择在ImageNet数据集上预训练的VGG16模型作为教师模型,并将生成器G作为学生模型;

生成器G从融合特征到图像的生成过程中,生成器的各层分别表示图像不同层次的信息,则第l层的特征信息表示为表示第l层的参数;

图像输入到VGG16网络的过程中,不同深度的层提取不同层次的信息,更深度的层往往代表深层次信息,则第m层的特征信息表示为表示第m层的参数,分层约束损失表示为,生成器中的层,与VGG16中的某些层结构保持对应,都具有相同的特征输出尺寸,计算分层约束损失,整个图像生成的损失函数表示为,Lgenv=LGv+δLlayerloss,

其中,δ为超参数,用于平衡两个损失函数。

6.如权利要求5所述的基于跨模态通信系统的信源信道联合编解码方法,其特征在于:基于联合优化算法进行训练优化,所述联合优化算法包括第一阶段和第二阶段;

所述第一阶段通过最小化损失函数预训练跨模态信源编码器网络参数,将跨模态信源编码器与跨模态信源解码器联合,进行对抗训练,与鉴别器进行对抗训练,通过计算损失函数和对网络参数进行梯度更新,直至模型收敛;

所述第二阶段通过优化损失函数,对信道编码器和信道解码器的参数执行梯度下降算法,直至整个系统达到稳定状态;

经过上述训练过程后,得到最优的跨模态信源编码器、跨模态信源解码器与信道编码器,跨模态信道解码器。

7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的基于跨模态通信系统的信源信道联合编解码方法的步骤。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于跨模态通信系统的信源信道联合编解码方法的步骤。