欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103904331
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,包括如下步骤:步骤S1、建立有标签的源域场景数据集和无标签的目标域场景数据集;源域场景数据集包括源域场景图像和源域场景语义类别标签,目标域场景数据集包括目标域场景图像;

步骤S2、建立基于特征聚类的语义分割模型训练框架,包括分割网络和评论家网络,所述分割网络获得深层语义特征和分割结果,所述评论家网络获得置信度图,用于评估深层语义特征的可信赖度;

所述分割网络包括特征编码器和类别预测器,所述特征编码器生成深层语义特征,深层语义特征经过所述类别预测器生成分割结果;

步骤S3、将源域场景数据集的场景图像和目标域场景数据集的场景图像分别输入给所述分割网络,分别获得源域场景深层语义特征、源域场景分割结果、目标域场景深层语义特征及目标域场景分割结果;

将所述源域场景深层语义特征及所述目标域场景深层语义特征输入给所述评论家网络,分别获得源域场景置信度图及目标域场景置信度图;

步骤S4、将缩放后的源域场景分割结果映射到源域场景深层语义特征上获得源域场景的类条件特征映射图,将缩放后的目标域场景分割结果映射到目标域场景深层语义特征上获得目标域场景的类条件特征映射图,利用缩放后的源域场景语义类别标签和缩放后的源域场景分割结果获得源域场景的类条件特征精炼图,利用目标域场景的置信度图获得目标域场景的类条件特征精炼图;

步骤S5、利用类条件特征精炼图计算得到每一个类别的特征聚类质心,再基于质心计算域平衡聚集损失、质心分离损失和特征分离损失;步骤S5中计算得到每一个类别的特征聚类质心具体为:利用源域场景的类条件特征精炼图和目标域场景的类条件特征精炼图,在类条件特征映射图的引导下,对所有的深层语义特征按照如下公式计算每一个类别k的特征聚类质心,表示为表示为深层语义特征每一个空间位置的类条件特征映射图,表示为目标域场景的类条件特征精炼图在对应空间位置i的权重,ωi表示为源域场景的类条件特征精炼图在对应空间位置i的权重,fi表示为深层语义特征在对应空间位置i的预测类别,Fs表示为源域深层语义特征,Ft表示为目标域深层语义特征,pi表示为分割结果在对应空间位置i的预测类别,P's为缩放后的源域分割结果,P't表示为缩放后的目标域分割结果,k表示某一个类别;

步骤S6、构建分割网络总损失对分割网络进行参数优化,构建评论家网络总损失对评论家网络进行参数优化,迭代运行以得到参数优化后的分割网络和评论家网络。

2.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S1中:源域场景图像和源域场景语义类别标签分别表示为Is∈RH×W×3和Ys∈RH×W,其中H,W分别表示输入图像的高度和宽度,尺寸为H×W的语义类别标签能够指示每一个空间位置相对应的图像像素所表示的类别,总共需要分类的类别有K种;

目标域场景图像表示为It∈RH×W×3。

3.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S2中:所述分割网络(表示为S)采用基础神经网络,包括特征编码器(表示为E)和类别预测器(表示为P),并使用在ImageNet数据集上预训练的模型参数对所述分割网络进行初始化;

所述评论家网络(表示为M)包括五个卷积层、四个ReLU层和一个sigmoid函数,五个卷积层依次连接,相邻的卷积层分别通过所述ReLU层连接,深层语义特征输入到第一个卷积层中,再经过另外四个卷积层卷积后,通过所述sigmoid函数生成置信度图;

每一层卷积核的大小为3,填充大小为1,步长为1,五个卷积层的通道数分别为{C,C/2,C/4,C/8,1},C为特征编码器输出的深层语义特征的维度;

评论家网络的参数采用随机的方式进行初始化。

4.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S3具体包括:步骤S31、将源域场景图像输入给所述分割网络,由所述特征编码器生成源域场景深层语义特征,表示为Fs∈RH'×W'×C,其中H',W'表示深层语义特征的高度和宽度,C为特征编码器输出的深层语义特征的维度,源域场景深层语义特征再经过所述类别预测器生成源域场景分割结果,表示为Ps∈RH×W,H,W表示分割结果的高度和宽度;

目标域场景图像采用相同的操作,并获得目标域深层语义特征和目标域场景分割结果,分别表示为Ft∈RH'×W'×C和Pt∈RH×W;

将源域场景深层语义特征和目标域场景深层语义特征输入给所述评论家网络,并获得源域场景置信度图和目标域场景置信度图,分别表示为Ms∈RH'×W'和Mt∈RH'×W';

分别获得源域场景深层语义特征、源域场景分割结果、目标域场景深层语义特征及目标域场景分割结果;

将源域场景深层语义特征及目标域场景深层语义特征输入给评论家网络,分别获得源域场景置信度图及目标域场景置信度图。

5.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S4中获取类条件特征映射图为步骤S41,具体包括如下步骤:步骤S411、将源域场景分割结果Ps∈RH×W和目标域场景分割结果Pt∈RH×W分别利用下采样操作缩放至与深层语义特征尺寸一致的大小,得到缩放后的源域场景分割结果和缩放后的目标域场景结果,分别表示为P's∈RH'×W'和P't∈RH'×W';

步骤S412、将缩放后的源域场景分割结果和缩放后的目标域场景分割结果根据如下公式映射到对应位置的深层语义特征上,获得深层语义特征每一个空间位置的类条件特征映射图,表示为其中pi表示为缩放后的分割结果Ps',Pt'在对应空间位置i的预测类别,k表示分割的某一个类别。

6.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S4中获得源域场景的类条件特征精炼图为步骤S42,具体为:步骤S421、将源域场景语义类别标签利用下采样操作缩放至与深层语义特征尺寸一致的大小,得到缩放后的源域语义类别标签,表示为Ys'∈RH'×W';

步骤S422、利用缩放后的源域语义类别标签和分割结果根据如下公式获得源域场景的类条件特征精炼图,表示为Ω∈RH'×W':其中ωi表示为源域场景的类条件特征精炼图在对应空间位置i的权重,yi表示为缩放后的源域语义类别标签在对应空间位置i的类别标签,pi表示为缩放后的分割结果Ps'在对应空间位置i的预测类别,k表示分割的某一个类别。

7.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,所述步骤S4中获得目标域场景的类条件特征精炼图为步骤S43,具体为:步骤S43、利用目标域场景的置信度图根据如下公式获得目标域场景的类条件特征精炼图,表示为Ψ∈RH'×W':其中表示为目标域场景的类条件特征精炼图在对应空间位置i的权重,mi表示为目标域场景的置信度图在对应空间位置i的置信度,θ为一个预先定义的阈值。

8.根据权利要求1所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,步骤S5中域平衡聚集损失、质心分离损失和特征分离损失具体为:域平衡聚集损失按照如下公式进行构建,用于计算类条件特征与相对应类别的质心的距离:其中Ns=∑ωi表示源域场景用来精炼的特征数量,表示目标域场景用来精炼的特征数量,|·|表示计算数量的运算,|Fs|表示计算源域深层语义特征数量的运算,|Ft|表示计算目标域深层语义特征数量的运算,d(·)表示L1范式的距离估计,即对或计算绝对值之和,表示类别为pi的质心;

质心分离损失按照如下公式进行构建,用于计算不同类质心之间的负距离:

表示类别为pi的质心,K表示语义类别标签的类别;

特征分离损失按照如下公式进行构建,用于计算深层语义特征与质心的相似度分布的信息熵:其中pk(fi)表示为深层语义特征向量fi与类别为k的质心经过归一化后的相似度概率,由如下公式计算得到:构建分割网络总损失对分割网络进行参数优化,构建评论家网络总损失对评论家网络进行参数优化,迭代运行以得到参数优化后的分割网络和评论家网络。

9.根据权利要求8所述的一种基于特征聚类的无监督领域自适应语义分割方法,其特征在于,步骤S6中构建分割网络总损失具体为:为了构建分割网络总损失,需要计算源域场景的分割结果与语义类别标签的交叉熵损失,如下公式所示:H,W分别表示输入图像的高度和宽度;

为了提高评论家网络输出置信度的准确性,采用对抗学习的方式对其进行训练,为此,在优化分割网络的参数时,还需要计算分割网络的对抗损失,表示为按照如下公式计算获得:Mt表示为目标域置信度图;

分割网络的总损失由如下公式构建:

其中λce,λadv,λclo,λpus,λent表示用来平衡每一个损失的权重;

通过该损失使用SGD优化器先来对分割网络的参数进行优化;

评论家网络的总损失按照如下公式计算获得:

Ms表示为源域置信度图;

通过该损失使用Adam优化器再来对评论家网络的参数进行优化。