1.一种基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述方法包括:S1:选取网络训练数据集,所述网络训练数据集包括源域数据集和目标域数据集,其中源域数据集包含标签,目标域数据集不包含标签;目标域数据集包括训练数据集和测试集;
S2:构建语义分割基本网络模型,首先利用源域数据集训练语义分割基本网络模型,利用经过源域数据集训练的语义分割基本网络模型作为基础网络,将源域数据集和目标域数据集一起送到基础网络中进行训练;
S3:利用网络的中间层输出的特征图构造双域邻接矩阵,分别为位置邻接矩阵和通道邻接矩阵,利用构造的源域位置邻接矩阵和源域通道邻接矩阵在源域特征图构造的图上面做图卷积操作,利用构造的目标域位置邻接矩阵和目标域通道邻接矩阵在目标域特征图构造的图上面做图卷积操作;
S4:将经过图卷积操作的源域特征图输入源域分类器中,得到源域图像的预测概率图,将经过图卷积操作的目标域特征图输入目标域分类器中,得到目标域域图像的预测概率图;
S5:利用分组对比学习提取域不变性质的特征:利用分组对比损失函数来拉近域间相同类的距离,拉远域间不同类的距离,迫使生成器提取到具有域不变性质的特征;
S6:利用熵值最小化思想来筛选目标域输出预测图的预测置信度,构造伪标签,利用伪造的伪标签对网络进行自训练。
2.根据权利要求1所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述源域数据集为GTA5数据集,目标域数据集为Cityscapes数据集,所述测试集为目标域数据集的测试集部分。
3.根据权利要求1所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述源域数据集为GTA5,其包括用于训练的24966张图片合成街道场景图和对应的标签图像,所述目标域数据集为Cityscapes,其包括用于训练的5000张50个不同城市街道场景的图片真实的街道场景图片和用于测试的500张真实街道场景图片。
4.根据权利要求1所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述S3中构造双域邻接矩阵的实现细节如下:(1)首先,需要在语义分割任务中定义图:由于图结构本身的特性,长距离的上下文关系能在单层图卷积操作中实现,图由节点和边构成,图卷积公式被定义为:公式中,X是图卷积之前的图, 是经过图卷积操作之后得到的图,σ()是非线性激活函数,A是图的邻接矩阵,W是图卷积的权重;
在图中邻接矩阵表征图结点之间的连接关系,把邻接矩阵进行归一化操作成为拉普拉斯矩阵 为了在结点更新的过程中引入结点本身的特征,拉普拉斯矩阵写为其中I为单位矩阵,把归一化后的拉普拉斯矩阵 表示为A,因此图卷积公式写成:
(l+1) (l) (l)
H =σ(AH W )
(l) (l+1) (l)
公式中H 是第l层的图,H 是H 经过图卷积之后得到的图;
(2)在语义分割任务中定义图结构之后,要构造双域位置邻接矩阵:假设源域特征图为 其中D是特征图的通道数,N=H×W是特征图一个通道上的像素点数目;目标域特征图为 其中D是特征图的通道数,N=H×W是特征图一个通道上的像素点数目;利用Xs和YT构造双域的相似性矩阵即位置邻接矩阵,利用新构造的邻接矩阵做图卷积更新结点之间的信息并聚合结点上的特征信息以捕捉到长距离的上下文关系,在网络输出的特征图层面上构造相似性矩阵;在跨域中,为了不丢失图像的语义信息,在构造双域的邻接矩阵的过程中引入了输入特征图的对角矩阵,使邻接矩阵与输入具有关联性:
公式中 和 分别为源域和目标域的位置邻接矩阵;i为源域中间特征图中的像素点,j为目标域中间特征图中的像素点,T为转置,ZS为源域中间层特征图,ZT为目标域中间层特征图;
(3)在语义分割任务中定义图结构之后,要构造双域通道邻接矩阵;
在特征图层面构造图结构,并且通过图卷积更新了结点特征建立起了长距离上下文依赖关系;通道之间的特征聚合同样对语义分割任务具有很大的帮助,因此为了利用特征图中通道之间的关系,同样在通道层面上提出了双域的通道邻接矩阵:首先将输入的源域特征图 转换成 新的特征图有N个结点,每个结点的特征向量维度是D1;对于目标域特征图 转换成 新的特征图有N个结点,每个结点的特征向量维度是D2;与双域的位置邻接矩阵的原理相似,利用νS和νT来求双域的通道邻接矩阵:
公式中 和 分别为源域和目标域的通道邻接矩阵,Z′S为经过转换的源域中间层特征图,Z′T为经过转换的目标域中间层特征图。
5.根据权利要求4所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述S3中图卷积操作为:
(1)在求出双域位置邻接矩阵之后,利用新构造的双域位置邻接矩阵做图卷积操作:公式中,MS和MT分别为源域特征图和目标域特征图经过图卷积之后的输出,WS和WT为图卷积的权重;
(2)在求出双域通道邻接矩阵之后,利用新构造的双域通道邻接矩阵做图卷积操作:在进行图卷积更新节点时,采用GCN中提出的图卷积公式来做图卷积,公式中,NS和NT分别为源域特征图和目标域特征图经过图卷积之后的输出,WS和WT为图卷积的权重。
6.根据权利要求1所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述S5中利用分组对比学习提取域不变性质的特征的操作为:利用分组对比损失函数来拉近域间相同类的距离,拉远域间不同类的距离,迫使生成器提取到具有域不变性质的特征:公式中,CS为源域特征分类器,CT为目标域特征分类器, 为目标域输出的预测概率,为源域输出的预测概率, 为目标域输出的预测概率;其中,第一项的作用是使两个域中相同类的预测输出值更加接近,从而拉近两个域相同类的距离,第二项作用是使两个域中不同类的预测输出值差异更大,从而拉远两个域不同类的距离,式中α为条件值,当第二项中源域分类器的输出和目标域分类器的输出为同一类时α=0,Ck(k=1,2,3)表示第k组中的类别数。
7.根据权利要求1所述的基于图卷积和对比学习的跨域语义分割方法,其特征在于,所述S6中,自训练的操作为:首先对网络输出的特征图做交叉熵损失函数,由于目标域没有标签,因此利用熵值引导伪标签构造的方法建立伪标签,对目标域的输出预测图进行自监督训练:
(i,j) (i,j)*
公式中, 为源域图像的标签,G(Zs) 为源域的输出概率预测结果,Yt 为目标(i,j)
域图像的预测伪标签,G(Zt) 为目标域的输出概率预测结果,公式Lseg(G(Zs),Ys)为源域* *
的交叉熵损失函数,公式Lseg(G(Zt),Yt)为目标域的交叉熵损失函数,其中Yt为利用熵值引导伪标签构造的方法建立的伪标签。