欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023101043696
申请人: 华东交通大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于一致性正则化与半监督领域自适应图像语义分割算法,其特征在于,所述算法将伪标签学习和一致性正则化结合,建模源领域的有监督损失和目标领域的损失,减小源领域数据和目标领域数据之间的领域差异,实现高性能的领域自适应图像语义分割;

使用语义分割网络最后一个全连接层对应的特征构建原型网络;利用样本和原型之间的余弦相似度预测无标签的目标领域样本的类别;使用JS散度构建一致性正则化损失,使语义分割网络和原型网络关于无标签的目标领域样本的预测值一致;最后构建自训练的第二阶段在源领域和目标领域上总的损失函数,训练出高性能的语义分割网络;

所述算法的训练过程由两个阶段的自训练构成,第一阶段为训练语义分割网络和生成伪标签,第二阶段为再次训练语义分割网络;

(1)训练语义分割网络,使用带有标签的源领域数据集合 上的有监督损失 训练语义分割网络 ,直到满足一定次数或模型收敛;

(2)为无标签的目标领域数据集合 生成伪标签;

(3)再次训练语义分割网络,充分利用数据集合 、 和 ;基于源领域和目标领域上的总损失函数 训练出高性能的语义分割网络;

为带有标记信息的源领域数据集合, ; 为带有标记信息的目标领域数据集合 ; 为无标记信息的目标领域数据集合, ;

其中, 、 和 分别表示对应数据集合中样本的数量; 、 和 分别表示对应像元的特征; 和 示对应像元的语义标签;源领域数据集合和目标领域数据集合上预先定义了 种共享的类别标签;

所述源领域的有监督损失计算如下:

对于数据集合 上的任意样本 ,将语义分割网络在参数 下关于样本 的预测值表示为 维的向量 ;相应地,语义分割模型关于样本 的交叉熵损失表示为:;

其中, 是向量 的第 个分量;表示语义分割网络在参数 下对样本 关于类别 的预测概率; 是标签 的第 个分量;

从而,参数为 的语义分割网络 关于 的平均交叉熵损失表示为:,

其中, 为源领域 中的样本数量; 为上述的交㕚熵损失函数;

目标领域的有监督损失计算如下:

在参数 下,语义分割网络 关于 的平均交叉熵损失表示为:;

其中, 是样本 的语义标签;

所述生成伪标签如下:

使用训练好的语义分割网络 预测无标记信息的目标领域数据集合 的类别标签,即对于任意样本 ,使用语义分割网络能够得到该样本的伪标签 ;带有伪标签的目标领域数据集合表示为 ;

在参数 下,语义分割网络 关于带有伪标签的目标领域数据集合 的平均交叉熵损失表示为:;

所述构建原型网络如下:

利用样本和原型之间的余弦相似度预测样本的类别:对于任意样本 ;使用参数为 的语义分割网络 的最后一个全连接层能提取到的特征为 ,在带有标签信息的目标领域数据集合 上,类别 的原型 计算如下:,

其中, 为有标记目标领域数据集合 中的样本数量;

对于无标记信息的目标领域数据集合上的任意样本 ,样本 和原型 的余弦相似度表示为:;

其中, 表示特征向量 和原型 的内积; 和 表示对应的向量模;

使用softmax归一化,原型网络 对样本 的关于类别 的预测概率 用公式如下表示:;

其中,exp表示以自然常数e为底的指数函数; ,是一个超参数,起平滑作用,其值通过交叉验证设置;所述使用JS散度构建一致性正则化损失如下;对于任意样本 ,语义分割网络 在参数 下关于 的预测可表示为 维的向量;原型网络 关于 的预测可表示为 维向量 ;将原型网络 对样本 关于类别的预测概率表示为 ,为简洁表示,令 ,使用JS散度,在无标签的目标领域数据集合 上的一致性正则化损失如下表示:;

其中, 表示 散度; 为无标签的目标领域数据集合 中的样本数量;所述自训练的第二阶段在源领域和目标领域上总的损失函数为:;

其中, 、 和 是对应损失项的权重,权重值一般通过交叉验证手工设置。