1.一种语义分割模型训练方法,其特征在于,包括:获取街道上的图像数据,设置初始语义分割模型;
根据所述图像数据对所述初始语义分割模型进行训练,得到目标语义分割模型和输出结果;所述输出结果包括初始掩膜、伪标签和关键边缘区域集合;
根据所述初始掩膜、所述伪标签和所述关键边缘区域集合进行权重计算,得到模型总损失;
当所述模型总损失大于预设总损失阈值时,根据所述伪标签对所述图像数据进行扩充,并根据扩充之后的图像数据对所述目标语义分割模型进行训练,直至所述模型总损失不大于所述预设总损失阈值,确定模型训练完成;
所述初始语义分割模型包括特征提取网络、感知层、动作层和反馈层;
所述特征提取网络包括混合频域卷积层和多尺度注意力残差模块;将训练集的图像数据输入至所述特征提取网络中进行逐层采样,得到特征图,包括:将所述图像数据输入至所述混合频域卷积层进行权重计算,得到每个特征通道的自适应权重;
根据所述自适应权重确定所述每个特征通道对应的卷积模式;所述自适应权重大于预设权重阈值的卷积模式为传统卷积;所述自适应权重不大于所述预设权重阈值的卷积模式为频域卷积;
根据所述卷积模式对所述图像数据进行特征提取,得到所述每个特征通道的特征图像;
根据所述多尺度注意力残差模块对所述特征图像进行多尺度特征融合和调整,得到特征图;
所述特征提取网络进行逐层采样的过程包括:
将所述图像数据送入三个并行分支,所述并行分支使用混合频率卷积进行特征提取,得到多尺度特征;
通过注意力机制进行所述多尺度特征的加权融合,得到加权融合特征;
经过第一层MSARM的加权融合特征被下采样,此下采样后的特征经过另一组并行的卷积核提取,再次送入MSARM模块进行特征融合,得到中尺度特征;
重复上述特征提取操作,得到更深层次的多尺度融合结果。
2.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述根据所述图像数据对所述初始语义分割模型进行训练,得到目标语义分割模型和输出结果,包括:对所述图像数据进行标注,得到数据集;
对所述数据集进行划分,得到训练集;
将所述训练集输入至所述初始语义分割模型进行训练,得到目标语义分割模型和输出结果。
3.根据权利要求2所述的语义分割模型训练方法,其特征在于,所述将所述训练集输入至所述初始语义分割模型进行训练,得到目标语义分割模型和输出结果,包括:将所述训练集的所述图像数据输入至所述特征提取网络中进行逐层采样,得到特征图;
将所述特征图输入至所述感知层进行关键区域提取,得到关键区域特征;
将所述特征图和所述关键区域特征输入至所述动作层进行掩膜提取和动态优化,得到初始掩膜和动态权重图;
将所述初始掩膜和所述动态权重图输入至所述反馈层进行高置信度区域筛选,得到输出结果。
4.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述根据所述初始掩膜、所述伪标签和所述关键边缘区域集合进行权重计算,得到模型总损失,包括:对所述初始掩膜和所述伪标签进行标准的前向传播和反向传播的计算,得到第一权重;
根据所述关键边缘区域集合和所述伪标签,得到第二权重和第三权重;
对所述第一权重、所述第二权重和所述第三权重进行计算,得到模型总损失。
5.根据权利要求4所述的语义分割模型训练方法,其特征在于,所述根据所述关键边缘区域集合和所述伪标签,得到第二权重和第三权重,包括:对所述关键边缘区域集合进行掩码提取,得到边缘区域掩码;
对所述边缘区域掩码和所述伪标签进行边缘区域损失计算,得到第二权重;
对所述边缘区域掩码、所述伪标签和预设权重进行平衡优化,得到第三权重。
6.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述将所述特征图输入至所述感知层进行关键区域提取,得到关键区域特征,包括:将所述特征图的所述每个特征通道的输出特征输入至所述感知层进行全局统计,得到所述每个特征通道的全局响应强度;
将所述全局响应强度大于预设强度阈值的特征通道确定为关键特征通道,并将所述关键特征通道的特征确定为局部特征;
根据全局平均池化层对全局上下文信息和所述局部特征进行计算,得到全局特征;
将所述局部特征与所述全局特征进行融合,得到增强特征;
基于动态门控机制对所述增强特征进行筛选,得到关键区域特征。
7.根据权利要求4所述的语义分割模型训练方法,其特征在于,所述第一权重是计算过程如下:式中,为初始掩膜中第i个的掩膜数据,为第i个的伪标签,为初始掩膜通过像素传播方法得到第i个像素传播数据,为第i个像素,为第一权重,为交叉熵损失函数,N为像素点数。
8.根据权利要求5所述的语义分割模型训练方法,其特征在于,所述第二权重是计算过程如下:式中,为边缘区域掩码中的边缘区域像素总数;为交叉熵损失函数;为边缘区域掩码中的第个边缘值;为第个伪标签。
9.一种语义分割模型训练装置,其特征在于,包括:数据获取模块,用于获取街道上的图像数据,设置初始语义分割模型;
模型训练模块,用于根据所述图像数据对所述初始语义分割模型进行训练,得到目标语义分割模型和输出结果;所述输出结果包括初始掩膜、伪标签和关键边缘区域集合;
权重计算模块,用于根据所述初始掩膜、所述伪标签和所述关键边缘区域集合进行权重计算,得到模型总损失;
结果判断模块,用于当所述模型总损失大于预设总损失阈值时,根据所述伪标签对所述图像数据进行扩充,并根据扩充之后的图像数据对所述目标语义分割模型进行训练,直至所述模型总损失不大于所述预设总损失阈值,确定模型训练完成;
所述初始语义分割模型包括特征提取网络、感知层、动作层和反馈层;
所述特征提取网络包括混合频域卷积层和多尺度注意力残差模块;将训练集的图像数据输入至所述特征提取网络中进行逐层采样,得到特征图,包括:将所述图像数据输入至所述混合频域卷积层进行权重计算,得到每个特征通道的自适应权重;
根据所述自适应权重确定所述每个特征通道对应的卷积模式;所述自适应权重大于预设权重阈值的卷积模式为传统卷积;所述自适应权重不大于所述预设权重阈值的卷积模式为频域卷积;
根据所述卷积模式对所述图像数据进行特征提取,得到所述每个特征通道的特征图像;
根据所述多尺度注意力残差模块对所述特征图像进行多尺度特征融合和调整,得到特征图;
所述特征提取网络进行逐层采样的过程包括:
将所述图像数据送入三个并行分支,所述并行分支使用混合频率卷积进行特征提取,得到多尺度特征;
通过注意力机制进行所述多尺度特征的加权融合,得到加权融合特征;
经过第一层MSARM的加权融合特征被下采样,此下采样后的特征经过另一组并行的卷积核提取,再次送入MSARM模块进行特征融合,得到中尺度特征;
重复上述特征提取操作,得到更深层次的多尺度融合结果。