1.一种自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,包括以下步骤:步骤S1:从前端水尺图像采集摄像机中获取一幅自由拍摄视角包含目标水尺的待检测图像;
步骤S2:对待检测图像进行多色彩空间融合图像增强;
步骤S3:利用改进型YOLOv5目标检测网络对增强后图像中水尺区域、水尺上的数字标识、左侧E字符、右侧E字符以及残缺E字符进行检测;
步骤S4:对步骤S3得到的检测结果进行过滤,并补全漏检结果;
步骤S5:根据步骤S4中水尺区域的检测结果将水尺区域从包含目标水尺的待检测图像中分离出来,同时提取包含在该水尺区域中的左侧E字符和右侧E字符检测结果中的位置坐标信息,再结合该水尺区域内的数字标识信息与残缺E字符的类型得到预估水位值;
步骤S6:分别计算步骤S3中所有左侧和右侧E字符的中心点坐标,然后分别计算左侧和右侧中心点直线的斜率,最后通过两条直线斜率的均值对水尺进行倾斜校正;
步骤S7:从校正后的水尺图像中位于最下方的一个完整E字符的下边缘位置往下截取一个完整E字符长度的区域进行缩放处理,再利用基于LeNet的结构自建分类网络进行分类,如果分类与步骤S5中用于计算水位值的残缺E字符的类型相同则保持原有水位值,反之则更新为利用校正后的水尺图像得到的水位值。
2.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述自由拍摄视角包含目标水尺的待检测图像为不同拍摄条件下获取到的不同水尺状态的图像;所述不同拍摄条件包括:摄像机与水尺的相对位置不同、摄像机拍摄角度不同,或者满足摄像机不同。
3.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述多色彩空间融合图像增强是指融合RGB、HSV和Gray三种色彩空间的图像信息,具体包括:将待检测图像转换为HSV色彩空间,并提取V通道;
将待检测图像通过最小值法转换为Gray色彩空间;
将三种色彩空间的图像信息进行融合,得到融合后的图像,计算表达式如下:式中, 表示融合后R,G,B通道的值, 分别表示在R,G,B通道上与RGB色彩空间值、HSV空间中V值和Gray空间值的加权系数;
对融合后的图像进行直方图均衡化,得到增强后的图像。
4.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于:所示改进型YOLOv5目标检测网络是指在原始YOLOv5目标检测网络的特征提取的末尾位置加入根据ECA模块改进的SDECA模块,所述SDECA模块引入空洞卷积并结合原始卷积用于通道注意力机制计算,同时利用全局软池化层替代原始模块中的全局平均池化层,计算表达式如下:式中, 表示特征图中第 点所占权重,表示特征图中第 点的值,表示特征图中第点的值,R表示特征图,表示经全局软池化后的值。
5.根据权利要求4所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,在原始ECA模块的基础上,引入了空洞卷积并结合原始卷积用于通道注意力机制计算,卷积核的大小通过下式计算:式中, 表示空洞卷积核的大小,表示普通卷积核的大小,表示通道数, , 。
6.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述步骤S4包括以下步骤:先对所述所有检测结果进行初筛,滤除置信度得分低于0.5的检测结果,再分类别对初筛的检测结果进一步筛选;
对水尺区域的检测结果进行过滤,滤除面积低于阈值 的检测框,得到水尺区域的检测结果;
对水尺上的数字标识的检测结果进行过滤,首先根据位置信息判别当前数字标识所属的水尺区域,再判断数字标识是否包含在水尺的左侧区域以及外边框是否处于水尺区域内,如果两者均为是则保留,否则滤除,重复执行以上两步,直至得到最终水尺上的数字标识的检测结果;
对左侧E字符的检测结果进行过滤,首先通过位置信息判断左侧E字符所属的水尺区域,再判断左侧E字符是否位于水尺区域的左侧以及外边框是否处于水尺区域内,如果两者均为是则保留,否则滤除,重复执行以上两步,直至得到最终左侧E字符的检测结果;
对右侧E字符的检测结果进行过滤,首先通过位置信息判断右侧E字符所属的水尺区域,再判断右侧E字符是否位于水尺区域的右侧以及外边框是否处于水尺区域内,如果两者均为是则保留,否则滤除,重复执行以上两步,直至得到最终右侧E字符的检测结果;
对残缺E字符的检测结果进行过滤,具体为根据优先级进行判断,保留当前残缺E字符所处区域内最高优先级的检测结果,优先级的高低根据残缺E字符的完整度高低对应排序,经过滤后得到最终的残缺E字符的检测结果。
7.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述步骤S5具体实现步骤如下:判别最下方的残缺E字符处于水尺的左侧还是右侧;
如果最下方的残缺E字符处于水尺的左侧,则水位值Z=H1–h,H1表示最下方的残缺E字符上方的数字标识的高度,h表示残缺E字符的长度;
如果最下方的残缺E字符处于水尺的右侧,则水位值Z=H2–hw–h,H2表示最下方的残缺E字符的左侧完整E字符上方的数字标识的高度,hw表示完整E字符长度,h表示残缺E字符的长度。
8.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述步骤S6中水尺进行倾斜校正包括以下步骤:获取步骤S3中改进型YOLOv5目标检测网络输出中所有左侧E字符的左下角坐标和右侧E字符的右下角坐标;
根据所有左侧E字符的左下角坐标和右侧E字符的右下角坐标分别计算中心点坐标,并划分左侧E字符中心点和右侧E字符中心点两个集合;
对左侧E字符中心点和右侧E字符中心点两个集合中的中心点分别进行线性拟合,依次得到经过左侧E字符中心点直线斜率 和右侧E字符中心点直线斜率 ;
根据下式计算水尺的倾斜率S:
再通过下式计算水尺的倾斜角度A:
最后,通过求得的水尺倾斜角度A对水尺进行倾斜校正。
9.根据权利要求1所述的自由拍摄视角的水尺水位机器视觉检测方法,其特征在于,所述步骤S7中基于LeNet结构自建分类网络的结构包括:输入层,输入层的输入为48×40×4的图像;
卷积层1,卷积层的卷积核大小为3×3,卷积核个数为16,步长为1,填充为1,激活函数为SiLU;
卷积层2,卷积层的卷积核大小为3×3,卷积核个数为32,步长为2,填充为1,激活函数为SiLU;
卷积层3,卷积层的卷积核大小为3×3,卷积核个数为16,步长为2,填充为1,激活函数为SiLU;
普通卷积层,卷积层的卷积核大小为1×1,卷积核个数为9,步长为1,填充为0,激活函数为SiLU;
全局平均池化层,全局平均池化层用于替代全连接层,以当前通道的特征图的平均值作为输出;
输出层,输出层的输出为9个类别的概率值;
其中,输入图像的4个通道分别对应多色彩空间融合图像增强后的R、G、B通道像素值和经傅里叶变换后的频谱图,卷积层包括普通卷积层、批归一化层加激活层。
10.自由拍摄视角的水尺水位机器视觉检测装置,其特征在于,包括:图像采集模块,用于采集自由拍摄视角包含目标水尺的待检测图像;
图像增强模块,用于对所述待检测图像进行多色彩空间融合图像增强;
目标检测模块,用于对所述图像增强后的图像利用改进型YOLOv5目标检测网络进行目标检测,得到图像中水尺区域、水尺上的数字标识、左侧E字符、右侧E字符以及残缺E字符位置;
检测结果过滤模块,用于对所述目标检测模块所得到的检测结果进行过滤,去除无效信息并补全漏检信息;
水尺水位计算模块,用于对所述检测结果过滤模块所得到的检测结果进行水尺水位计算;
水尺水位校正模块,用于利用基于LeNet的结构自建分类网络进行分类,将分类结果与水尺水位计算模块中的检测结果进行比较,对所述水尺水位计算模块所得到的水尺水位进行进一步校正;
水尺水位显示模块,用于对所述水尺水位计算模块所得到的水尺水位进行记录与显示。