1.一种语义分割模型训练方法,其特征在于,所述方法采用多个预先标注有弱监督信息的训练图像对语义分割模型进行训练,针对于每一个训练图像,训练步骤包括:将所述训练图像输入至所述语义分割模型,得到所述语义分割模型输出的所述训练图像的语义分割的初步结果;
依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件。
2.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述弱监督信息包含:物体类别信息。
3.根据权利要求1所述的语义分割模型训练方法,其特征在于,在所述进行局部候选区域融合之前,所述方法还包括:对所述训练图像进行超像素分割处理,将进行超像素分割处理得到的若干图像块进行聚类,得到多个局部候选区域。
4.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述训练步骤还包括:利用交叉熵损失函数,将所述多个局部候选区域按照物体类别进行分类;
对每个局部候选区域属于物体类别的概率进行预测,得到每个局部候选区域的物体类别概率预测值。
5.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述训练步骤还包括:依据所述弱监督信息,对用于预测所述训练图像的图像类别的函数进行训练。
6.根据权利要求1-5任一项所述的语义分割模型训练方法,其特征在于,所述依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果进一步包括:从所述多个局部候选区域内选择出属于同一物体类别的局部候选区域;
针对属于同一物体类别的局部候选区域,进行融合处理,并采用聚类算法将融合后的图像区域划分为近物体区域、近背景区域和歧义区域;
将近物体区域和近背景区域作为种子,采用分割算法对所述歧义区域进行分割,得到所述训练图像的语义分割的校正结果。
7.根据权利要求6所述的语义分割模型训练方法,其特征在于,所述针对属于同一物体类别的局部候选区域,进行融合处理进一步包括:依据局部候选区域的物体类别概率预测值从高至低的顺序,从针对属于同一物体类别的局部候选区域中挑选出预设数量的局部候选区域,进行融合处理;
或者,从针对属于同一物体类别的局部候选区域中挑选出物体类别概率预测值高于预设阈值的局部候选区域,进行融合处理。
8.根据权利要求4所述的语义分割模型训练方法,其特征在于,所述训练步骤还包括:依据所述训练图像的语义分割的初步结果和每个局部候选区域的物体类别概率预测值,对所述多个局部候选区域进行筛选;
所述依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果进一步包括:依据所述弱监督信息,对经筛选得到的局部候选区域进行融合,获得所述训练图像的语义分割的校正结果。
9.根据权利要求8所述的语义分割模型训练方法,其特征在于,所述依据所述训练图像的语义分割的初步结果和每个局部候选区域的物体类别概率预测值,对所述多个局部候选区域进行筛选进一步包括:计算所述局部候选区域的分割掩膜与所述训练图像的语义分割的初步结果的交并比;
根据所述局部候选区域的交并比与交并比阈值的比较结果、以及所述局部候选区域的物体类别预测值与预测值阈值的比较结果,对所述多个局部候选区域进行筛选。
10.根据权利要求9所述的语义分割模型训练方法,其特征在于,所述根据局部候选区域的交并比与交并比阈值的比较结果、以及所述局部候选区域的物体类别预测值与预测值阈值的比较结果,对所述多个局部候选区域进行筛选进一步包括:响应于所述局部候选区域的交并比大于或等于第一交并比阈值,所述局部候选区域的物体类别预测值大于或等于第一预测值阈值,将所述局部候选区域作为经筛选得到的正样本的局部候选区域;和/或,响应于所述局部候选区域的交并比小于或等于第二交并比阈值,所述局部候选区域的物体类别预测值小于或等于第二预测值阈值,将所述局部候选区域作为经筛选得到的负样本的局部候选区域。
11.根据权利要求8所述的语义分割模型训练方法,其特征在于,所述对经筛选得到的局部候选区域进行融合,获得所述训练图像的语义分割的校正结果进一步包括:从所述经筛选得到的局部候选区域内选择出属于同一物体类别的局部候选区域;
针对属于同一物体类别的局部候选区域,进行融合处理,并采用聚类算法将融合后的图像区域划分为近物体区域、近背景区域和歧义区域;
将近物体区域和近背景区域作为种子,采用分割算法对所述歧义区域进行分割,得到所述训练图像的语义分割的校正结果。
12.根据权利要求11所述的语义分割模型训练方法,其特征在于,所述针对属于同一物体类别的局部候选区域,进行融合处理进一步包括:依据局部候选区域的物体类别概率预测值从高至低的顺序,从针对属于同一物体类别的局部候选区域中挑选出预设数量的局部候选区域,进行融合处理;
或者,从针对属于同一物体类别的局部候选区域中挑选出物体类别概率预测值高于预设阈值的局部候选区域,进行融合处理。
13.一种图像分割方法,其特征在于,包括:
将待分割的图像作为语义分割模型的输入,所述语义分割模型预先采用如权利要求1-
12任一所述的方法进行训练;
根据所述语义分割模型的输出结果确定所述图像的分割结果。
14.一种语义分割模型训练装置,其特征在于,所述装置采用多个预先标注有弱监督信息的训练图像对语义分割模型进行训练,所述训练装置包括:语义分割单元,用于将所述训练图像输入至所述语义分割模型,得到所述语义分割模型输出的所述训练图像的语义分割的初步结果;
融合单元,用于依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果;
修正单元,用于依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
所述训练装置迭代运行,直至所述语义分割模型的训练结果满足预定收敛条件。
15.根据权利要求14所述的语义分割模型训练装置,其特征在于,所述装置还包括:数据准备模块,用于获取所述训练图像的物体类别信息作为弱监督信息。
16.根据权利要求14所述的语义分割模型训练装置,其特征在于,所述装置还包括:数据准备模块,用于对所述训练图像进行超像素分割处理,将进行超像素分割处理得到的若干图像块进行聚类,得到多个局部候选区域。
17.根据权利要求14所述的语义分割模型训练装置,其特征在于,所述训练装置还包括:局部候选区域类别预测单元,用于利用交叉熵损失函数,将所述多个局部候选区域按照物体类别进行分类;对每个局部候选区域属于物体类别的概率进行预测,得到每个局部候选区域的物体类别概率预测值。
18.根据权利要求14所述的语义分割模型训练装置,其特征在于,所述训练装置还包括:图像类别预测单元,用于依据所述弱监督信息,对用于预测所述训练图像的图像类别的函数进行训练。
19.根据权利要求14-18任一项所述的语义分割模型训练装置,其特征在于,所述融合单元进一步包括:归类子单元,用于从所述多个局部候选区域内选择出属于同一物体类别的局部候选区域;
融合处理子单元,用于针对属于同一物体类别的局部候选区域,进行融合处理,并采用聚类算法将融合后的图像区域划分为近物体区域、近背景区域和歧义区域;
分割子单元,用于将近物体区域和近背景区域作为种子,采用分割算法对所述歧义区域进行分割,得到所述训练图像的语义分割的校正结果。
20.根据权利要求19所述的语义分割模型训练装置,其特征在于,所述融合处理子单元进一步用于:依据局部候选区域的物体类别概率预测值从高至低的顺序,从针对属于同一物体类别的局部候选区域中挑选出预设数量的局部候选区域,进行融合处理;
或者,从针对属于同一物体类别的局部候选区域中挑选出物体类别概率预测值高于预设阈值的局部候选区域,进行融合处理。
21.根据权利要求17所述的语义分割模型训练装置,其特征在于,所述训练装置还包括:选择单元,用于依据所述训练图像的语义分割的初步结果和每个局部候选区域的物体类别概率预测值,对所述多个局部候选区域进行筛选;
所述融合单元进一步用于:依据所述弱监督信息,对经筛选得到的局部候选区域进行融合,获得所述训练图像的语义分割的校正结果。
22.根据权利要求21所述的语义分割模型训练装置,其特征在于,所述选择单元进一步用于:计算所述局部候选区域的分割掩膜与所述训练图像的语义分割的初步结果的交并比;
根据所述局部候选区域的交并比与交并比阈值的比较结果、以及所述局部候选区域的物体类别预测值与预测值阈值的比较结果,对所述多个局部候选区域进行筛选。
23.根据权利要求22所述的语义分割模型训练装置,其特征在于,所述选择单元进一步用于:响应于所述局部候选区域的交并比大于或等于第一交并比阈值,所述局部候选区域的物体类别预测值大于或等于第一预测值阈值,将所述局部候选区域作为经筛选得到的正样本的局部候选区域;和/或,响应于所述局部候选区域的交并比小于或等于第二交并比阈值,所述局部候选区域的物体类别预测值小于或等于第二预测值阈值,将所述局部候选区域作为经筛选得到的负样本的局部候选区域。
24.根据权利要求21所述的语义分割模型训练装置,其特征在于,所述融合单元进一步包括:归类子单元,用于从所述经筛选得到的局部候选区域内选择出属于同一物体类别的局部候选区域;
融合处理子单元,用于针对属于同一物体类别的局部候选区域,进行融合处理,并采用聚类算法将融合后的图像区域划分为近物体区域、近背景区域和歧义区域;
分割子单元,用于将近物体区域和近背景区域作为种子,采用分割算法对所述歧义区域进行分割,得到所述训练图像的语义分割的校正结果。
25.根据权利要求24所述的语义分割模型训练装置,其特征在于,所述融合处理子单元进一步用于:依据局部候选区域的物体类别概率预测值从高至低的顺序,从针对属于同一物体类别的局部候选区域中挑选出预设数量的局部候选区域,进行融合处理;
或者,从针对属于同一物体类别的局部候选区域中挑选出物体类别概率预测值高于预设阈值的局部候选区域,进行融合处理。
26.一种图像分割装置,其特征在于,所述图像分割装置用于将待分割的图像作为语义分割模型的输入,根据所述语义分割模型的输出结果确定所述图像的分割结果;其中,所述语义分割模型预先采用如权利要求14-25任一所述的训练装置进行训练。
27.一种计算设备,其特征在于,包括:处理器、通信接口、存储器以及通信总线;所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器采用多个预先标注有弱监督信息的训练图像对语义分割模型进行训练,针对于每一个训练图像,所述指令使所述处理器执行以下操作:将所述训练图像输入至所述语义分割模型,得到所述语义分割模型输出的所述训练图像的语义分割的初步结果;
依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件。
28.一种计算机存储介质,所述计算机存储介质用于存储计算机可读取的指令;所述指令包括:采用多个预先标注有弱监督信息的训练图像对语义分割模型进行训练的指令;
针对于每一个训练图像,将所述训练图像输入至所述语义分割模型,得到所述语义分割模型输出的所述训练图像的语义分割的初步结果的指令;
依据所述弱监督信息和从所述训练图像选择的多个局部候选区域,将多个局部候选区域按照物体类别进行分类,而后进行局部候选区域融合,得到所述训练图像的语义分割的校正结果的指令;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正的指令;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件的指令。