1.一种有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,包括以下步骤:步骤S1、数据处理获得河道冰情图像,并构建河道冰情图像的样本集;
步骤S2、下采样浅层特征;
将步骤1所得河道冰情图像依次经过卷积层Conv1和卷积层Conv2进行两次下采样,提取得到冰情图像的两种浅层特征:Conv1浅层纹理特征和Conv2浅层纹理特征;
步骤S3、通过编码器中的深层高分辨率卷积主干网络HRNet提取特征,即将Conv2浅层纹理特征输入深层高分辨率卷积主干网络HRNet,提取河道冰情图像的高级语义特征并进行特征融合,最终通过bilinear插值缩放至相同尺寸并拼接,输出得到尺寸为原图1/4通道数为720的特征图;
步骤S4、通过编码器中的长距空洞空间池化金字塔模块提取特征;
所述长距空洞空间池化金字塔模块为改进的ASPP长距空洞空间池化金字塔,将S3所得尺寸为原图1/4、通道数为720的特征图输入至1个普通卷积层、3个空间与深度均可分离的膨胀卷积层和1个自适应平均池化层进行计算,对得到的5个尺寸不变、通道数都为256的特征图进行拼接;再经过ConvBNReLu层和probability为0.5的Dropout层,对拼接的特征图进行降通道和防止模型过拟合,得到1/4原图尺寸和256通道的输出特征图image步骤S5、使用解码器进行浅层纹理特征融合,解码器接收两个分支的特征图,第一个分支是Conv1浅层纹理特征,经过1x1的卷积层将通道数减少到48,然后与第二个分支ASPP的输出特征图进行拼接,得到具有304通道数的特征图,ASPP输出特征图时经过2倍上采样后将尺寸放大到与Conv1相同大小,即原图的1/2尺寸;
随后,具有304通道数的特征图进入两个膨胀率为1的空洞卷积层,第一个空洞卷积层将通道缩小到了256,第二个空洞卷积层对通道不改变,再次扩大感受野,最后经过1x1的卷积层进行分类,将通道数缩小到分割的语义类别数,最后通过softmax得到类别概率得分,得到最终的河道冰情语义分割图像。
2.根据权利要求1所述的有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,所述步骤S1构建河道冰情图像样本集的详细方法为:步骤S11、根据河道冰情的冰封、融冰开始、冰面漂浮、融冰结束和无冰不同阶段的特点,从视频监控设备采集的视频录像中提取上述5个阶段共计26段时长为1分钟的视频片段,共计提取3+25+48+24+13共113张样本图像;
步骤S12、对提取的河道冰情图像进行图像缩放、图像裁剪和投影变换预处理操作,将河道冰情图像的大小调整为1280像素宽×720像素高×3个RGB通道,然后通过对齐底部和中心将其裁剪为960×660×3;
步骤S13、对经过预处理后的河道冰情图像进行人工标注,构建人工分割的河道冰情图像的样本集。
3.根据权利要求1所述的有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,所述步骤S3的详细过程为:步骤S31、将Conv2浅层纹理特征通过包含4个瓶颈块和4个基本块的Layer层;每个瓶颈块均有残差连接,且第一个瓶颈块对Conv2浅层纹理特征进行一次kernel为1的卷积然后再进行残差连接;然后将输出结果经过含有残差连接的基本块,输出通道为256的图像image步骤S32、将图像image
步骤S33、将步骤S32中输出的两路图像image
首先,第一路分支中图像image
然后,将图像image
接着,将三路分支输出的特征图分别输入4个、4个和6个基本块,输出通道保持不变后对三个分支进行相互特征融合,特征融合过程与步骤S32中Stage1层的特征融合过程类似;
最后,Stage2层整体自循环4次,融合后的结果再经过ReLu激活函数,分别得到三路图像image步骤S34、将图像image
首先,第一路分支中,图像image
然后,将四路分支输出的特征图分别进入4个、4个、6个和8个基本块,输出通道保持不变后对四个分支进行相互特征融合;
最后,Stage3层整体自循环3次,融合的结果再经过ReLu激活函数,分别得到四路图像,图像image步骤S35、将图像image
4.根据权利要求3所述的有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,所述步骤S32中,将两个分支的特征图相互特征融合,实现语义信息相互传达和分享的具体方法为:对于尺寸不变且通道数为48的特征图和1/8尺寸且通道数为96的特征图,都进行上采样,经过kernel为1的ConvBN卷积将通道数与目标特征图调整为相同,然后再通过bilinear插值缩放至目标尺寸,最后相加;
对于尺寸不变且通道数为48的特征图和1/8尺寸且通道数为96的特征图,都进行下采样,通过n个下采样卷积层,每个卷积层将尺寸缩小1/2,通道则调整到对应分支尺寸的通道数;卷积层中第1到n-1个都是kernel为3、stride为2的ConvBNReLu层,第n层是kernel为3、stride为2的ConvBN层,最后在通道与尺寸都相同时相加;其中,n取决于要缩放的倍数。
5.根据权利要求1所述的有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,所述步骤S4的详细过程为:步骤S41、将S3所得尺寸为原图1/4且通道数为720的特征图输入一个具有五个并行分支的模块,输出得到5个尺寸不变且通道数都为256的特征图,然后对这五个特征图进行拼接,得到一个通道数为1280的特征图image步骤S42、将特征图image
步骤S43、将特征图image
6.根据权利要求1所述的有监督的纹理敏感河道冰情图像语义分割方法,其特征在于,所述步骤S5中浅层纹理特征融合Decoder的详细处理过程为:步骤S51、将Conv1浅层纹理特征经过1×1的卷积层,得到通道数为48且尺寸为原图1/2的浅层特征图image步骤S52、将特征图image
步骤S53、将浅层特征图image
步骤S54、将特征图image