欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024110206926
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述卫星物联网语义通信方法包括模型的构建与训练、火灾图像预处理、火灾图像语义提取与传输、火灾图像语义恢复四个部分,具体步骤如下:步骤1、模型的构建与训练:通过深度学习构建并训练火灾检测模型、语义提取与恢复模型和火势判断模型,将训练完后的模型以及模型参数进行分发,并进行了星间更新与模型再训练;

步骤2、火灾图像预处理:地面终端收到来自物联网传感器采集到的火灾监测图像后,判断是否达到传输原图像的传输周期,如果达到传输周期,需要直接通过信道传输原始图像,同时,利用火灾检测模型对图像进行特征分析,以确定图像中是否存在火灾,如果存在火灾,将有火图像输入语义提取与恢复模型中的语义提取模型进行语义提取;

步骤3、火灾图像语义提取与传输:使用语义提取与恢复模型中语义提取模型对监测到的有火图像进行语义编码得到编码后的特征向量,对编码后的特征向量使用最邻近查找,将特征向量映射成码本中的基向量,从而得到对应的基向量索引,信道仅需传输得到的基向量索引;同时将基向量索引的前一组索引进行存储,将当前需要传输的索引与前一组索引进行相似度对比,如果找到相似的,只需传输图片索引,如果不相似,需要传输完整的码本索引,同时信道会传输当前物联网传感器采集图像的时间、经纬度和设备号;

步骤4、火灾图像语义恢复:可见卫星接收到完整的码本索引后,根据共享的码本恢复出特征向量,并将特征向量送入语义恢复网络,从而恢复出完整图像;如果接收到的是图片索引,直接从最近传输的图片中恢复出图像,无需经过语义恢复模型;恢复出完整图像后,将图像输入火势判断模型,从而判断出火势大小,并根据火势结果输出最终决策;可见卫星也会收到直接通过信道传输的原始图像,将其与通过模型恢复出的图像进行结构相似性指数对比,如果通过模型恢复出的图像效果不好,需要启动再训练,可见卫星通知融合中心进行语义提取与语义恢复模型的再训练;同时,可见卫星也会收到当前图像采集的时间、经纬度和设备号。

2.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤1中火势判断模型构建和训练具体包括以下步骤:

步骤1.1.1、火势判断模型是将有火区域单独分割出来,对图像的每个像素进行有火无火的分类,完成图像分割任务,火势判断模型包括输入层、隐藏层和输出层,输入层的大小为H×W×C,每个图像都被设计成统一输入大小和三个RGB通道,隐藏层包含O块编码器和O块解码器,编码器用于减小特征图的尺寸,增加通道数,并提取高级语义特征,解码器用于增加特征图的尺寸,减少通道数,并恢复空间信息,编码器包含多个CNN和多个残差块,残差块由多个CNN组成,解码器包含多个CNN、多个残差块和多个反卷积神经网络,残差块同样由多个CNN组成,反卷积神经网络增加特征图的尺寸,恢复图像的空间分辨率,输出层是一个具有Sigmoid激活函数的二维卷积层,火势判断模型具有对称结构,编码器在模型左侧,解码器在模型右侧,模型左侧结构与相应的右侧结构进行拼接;

步骤1.1.2、火势判断模型构建完后,对火势判断模型进行训练,使用的损失函数是二值交叉熵:

对于火灾图像分割的数据集,需要将火灾区域人工标注,生成真实标签掩码,让火势判断模型对图像的每个像素进行预测,生成预测标签掩码,通过模型训练让预测标签掩码拟合真实标签掩码,实现对有火区域的分割,实现对火势的判断,火灾判断模型数据集中的训练数据和验证数据的占比分别为t%和(1-t)%,t指训练数据的在整个数据集中的占比,在导入模型进行训练之前,对数据进行打乱操作,最大迭代次数为E,但当性能在P次迭代内都没有实质性变化时,会早停,训练的批大小为B;

步骤1.1.3、火势判断模型训练完成后,融合中心将火势判断模型和火势判断模型的参数分发给可见卫星。

3.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤1中火灾检测模型构建和训练具体包括以下步骤:

步骤1.2.1、火灾检测模型是对整个图像进行有火无火的分类,完成图像分类任务,只要图像中有像素被判定为有火,整个图片就判定为有火,图像分类任务从而转为图像分割任务,所述火灾检测模型包括输入层、隐藏层和输出层,输入层的大小为H×W×C,每个图像都被设计成统一输入大小和三个RGB通道,隐藏层包含L块编码器和L块解码器,编码器用于减小特征图的尺寸,增加通道数,并提取高级语义特征,解码器用于增加特征图的尺寸,减少通道数,并恢复空间信息,编码器包含多个CNN和多个残差块,残差块由多个CNN组成,解码器包含多个CNN、多个残差块和多个反卷积神经网络,残差块同样由多个CNN组成,反卷积神经网络增加特征图的尺寸,恢复图像的空间分辨率,输出层是一个具有Sigmoid激活函数的二维卷积层,火灾检测模型具有对称结构,编码器在模型左侧,解码器在模型右侧,模型左侧结构与相应的右侧结构进行拼接;

步骤1.2.2、火灾检测模型构建完后,对火灾检测模型进行训练,火灾检测模型和火势判断模型训练方法一致,使用的损失函数是二值交叉熵:

火灾检测模型和火势判断模型所使用的数据集相同,同样需要将火灾区域人工标注,生成真实标签掩码,让火灾检测模型对图像的每个像素进行预测,生成预测标签掩码,通过模型训练让预测标签掩码拟合真实标签掩码,实现对有火区域的分割,实现对火灾的检测,火灾检测模型数据集中的训练数据和验证数据的占比分别为t%和(1-t)%,t指训练数据的在整个数据集中的占比,在导入模型进行训练之前,对数据进行打乱操作,最大迭代次数为E,但当性能在P次迭代内都没有实质性变化时,会早停,训练的批大小为B;

步骤1.2.3、火灾检测模型训练完成后,融合中心将火灾检测模型和火灾检测模型的参数分发给地面终端。

4.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤1中语义提取与恢复模型包括输入层、隐藏层和输出层,所述输入层的大小为H1×W1×C,输入层对图像进行预处理,每个图像都被设计成统一输入大小和三个RGB通道,隐藏层包含K块编码器和K块解码器,所述编码器用于提取语义信息,所述解码器用于恢复语义信息,编码器包含多个CNN、多个残差块、1个反卷积网络和1个嵌入层,残差块由多个CNN组成,解码器包含多个CNN、多个残差块和多个反卷积神经网络,残差块同样由多个CNN组成,反卷积神经网络增加特征图的尺寸,恢复图像的空间分辨率,输出层是一个二维反卷积层,最终输出恢复图像,语义提取与恢复模型具有对称结构,编码器在模型左侧,解码器在模型右侧;语义提取与恢复模型中的嵌入层为一个由编码器和解码器共享的离散码本,共享的离散码本中基向量与编码器编码后的特征向量具有相同的维度D,编码器将输入的连续编码特征映射成共享的离散码本中的基向量,因此,编码器只需传输基向量的离散索引,解码器根据接收到的离散索引快速恢复出原始的基向量。

5.根据权利要求1或4所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤1中语义提取与恢复模型中训练具体包括以下步骤:

步骤1.3.1、将共享的离散码本定义为共享的离散码本由J个基向量组成,D为每个基向量ej的维数,模型接受输入s,并通过编码器编码后的特征向量ze(s),通过最邻近查找将其映射到基向量zb(s),计算如下:将此前向计算视为具有特定非线性函数的深度神经网络层,该函数将编码后的特征向量ze(s)映射到基向量zb(s);

步骤1.3.2、将基向量zb(s)输入到解码器进行解码,离散码本ε中的基向量与编码器和解码器的参数一起训练,在反向传播中,使用直通估计器近似梯度,并将梯度从解码器输入基向量zb(s)复制到编码器输出ze(s),在正向传播中,将最邻近的基向量zb(s)传递给解码器,在反向传播过程中,将梯度传递给编码器,编码器的输出和解码器的输入具有相同的维数D,并且梯度包含有用的信息,用于训练编码器更新其参数以最小化损失函数Lc;

损失函数由重构损失和量化损失组成,重构损失用于衡量语义提取与恢复模型重构输入数据时的失真程度,量化损失用于衡量编码器输出和其最近邻码本向量之间的差异,损失函数表示为:其中,s表示网络的输入,表示网络的输出,θ表示语义通信系统中的神经网络的可训练参数,γ为超参数,表示重建损失,符号“sg”表示“stop gradient”,运算方式为:损失函数中的是训练编码器和解码器参数的重建损失,||sg[ze(s)]-ej||2为了让基向量和其对应编码器输出尽可能接近,||ze(s)-sg[ej]||2用于约束编码器的输出,不让它跑到离基向量太远的地方,γ控制了编码器的相对学习速度,解码器仅通过进行优化,编码器通过和||ze(s)-sg[ej]||2进行优化,基向量通过||sg[ze(s)]-ej||2进行优化;

重建损失被设计为计算重建图像和原始图像之间的MSE,因此重建损失表示为:

其中,m表示图像的像素数量;

步骤1.3.3、语义提取与恢复模型训练完成后,融合中心按区域分发语义提取与恢复模型中的语义提取模型以及语义提取模型参数给地面终端;融合中心按区域分发语义提取与恢复模型中的语义恢复模型以及语义恢复模型参数给可见卫星。

6.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤1中的星间更新与模型再训练具体包括以下步骤:

步骤1.4.1、在监测任务执行过程中,如果卫星离开此区域,无法执行当前任务,需要将当前卫星的模型参数发送给下一个可见卫星,确保能维持监测性能,这一过程称为星间更新;

步骤1.4.2、同时,如果达到再训练条件,则对语义提取与恢复模型进行再训练,由可见卫星通知是否再训练;再训练完成后,由于不同区域内的模型相同,参数不同,仅对语义提取与恢复模型参数进行部分分发。

7.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:在所述步骤3中,火灾图像语义提取与传输过程具体为:

步骤3.1、使用训练后的语义提取与恢复模型中语义提取模型对监测到的有火图像进行语义编码,语义提取模型有两块编码器,进行两次编码,得到编码后的特征向量(B1,M,M,D);

步骤3.2、语义提取与恢复模型进行两次量化,编码器进行第一次量化,首先,对编码后的特征向量(B1,M,M,D)进行第一次量化,通过最邻近搜索得到码本索引(B1,N,N);

步骤3.3、在监测任务执行过程中,编码器创建一个存储前一组图片索引数组,数组大小为(B1,N×N),将当前需要传输的索引Ni×Ni,i=1,2,...,B1与数组中的索引进行相似度对比,如果相似,只需传输数组索引bi,i=1,2,...,B1,如果不相似,传输完整的码本索引Ni×Ni,i=1,2,...,B1;

步骤3.4、同时编码器会发送当前传感器采集图像的时间、经纬度和设备号。

8.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:所述步骤4中,火灾图像语义恢复具体包括以下步骤:

步骤4.1、如果可见卫星接收到的数据是图像完整的码本索引Ni×Ni,i=1,2,...,B1,首先进行反量化,接收端的解码器根据共享的码本ε将接收到的码本索引Ni×Ni,i=1,2,...,B1恢复出码本基向量(Ni,Ni,D),i=1,2,...,B1,然后,将基向量(Ni,Ni,D),i=1,2,...,B1输入语义提取与恢复模型中的语义恢复模型,语义恢复模型有两块解码器,第一次解码完后,对解码后的特征向量进行第二次量化,量化得到的码本索引大小与第一次相同即Ni×Ni,i=1,2,...,B1,然后进行反量化得到特征向量(Mi,Mi,D),i=1,2,...,B1,反量化后得到的特征向量输入第二块解码器,第二块解码器的输出是完整的恢复图像H1×W1×C;

步骤4.2、如果可见卫星接收到的数据是数组索引,接收到的数组索引是bi,i=1,2,...,B1,接收端解码器在监测任务执行过程中创建了一个能存储前一组接收到的图片数组(B1,H1×W1×C),直接根据数组索引bi,i=1,2,...,B1,从图片数组(B1,H1×W1×C)中取出恢复出的图像,无需经过语义提取与恢复模型中的语义恢复模型;

步骤4.3、如果可见卫星接收到的数据是直接通过信道传输的原始图像,将收到的原始图像与通过语义提取与恢复模型中的语义恢复模型恢复出的图像进行结构相似性指数对比,如果通过模型恢复出的图像效果不好,需要启动再训练,可见卫星会通知融合中心进行语义提取与语义恢复模型的再训练;

步骤4.4、接收端解码器得到恢复图像后,首先,通过火势判断模型判断出火势大小,火势分为四个等级,大火、中火、小火和无火,然后根据火势结果输出辅助决策,最终,火灾的时间、经纬度、设备号、火势大小和辅助决策通过帧格式的形式输出。

9.根据权利要求1所述的一种面向火灾监测的卫星物联网语义通信方法,其特征在于:在所述步骤3中进行相似度对比具体为:在监测任务执行过程中,编码器创建一个存储发送过的图片索引的数组,数组大小为(B1,N×N),解码器创建一个存储接收到的图片数组,数组大小为(B1,H1×W1×C);将当前需要传输的索引Ni×Ni,i=1,2,...,B1与编码器端的数组中的索引进行相似度对比,如果相似,只需传输数组索引bi,i=1,2,...,B1,解码器就根据接收到的数组索引bi,i=1,2,...,B1从解码器数组(B1,H1×W1×C)取出相应图片;如果不相似,需要传输完整的码本索引Ni×Ni,i=1,2,...,B1。