1.一种基于逆反射的手写笔光学图像定位装置的定位方法,基于手写笔光学图像定位装置,其特征在于,装置包括手写笔、屏幕、处理器;所述手写笔采用无源形式,手写笔的笔头覆盖有逆反射材料,逆反射材料用于反射光线在图像上形成高亮光斑以进行定位;所述手写笔的笔头采用多段式的棱台结构,保证笔尖在任意姿态角度下都能高亮逆反射,其中高亮逆反射,是指在各个方位上观测逆反射笔头得到的平均反射率大于或等于70%,用来保证反射光线在图像上能够形成笔头的高亮光斑;所述屏幕斜上方布置摄像头,用于捕捉笔头的图像数据;所述处理器来处理图像数据得到笔头的位置信息,将笔头位置信息输入到定位神经网络模型,通过定位神经网络模型输出手写笔的精确位置;
方法包括如下步骤:
步骤1)图像输入:
利用摄像头采集有笔头高亮光斑的屏幕图像;
步骤2) 预处理:
对摄像头进行标定,得到摄像头的内参数和外参数;将采集到的图像使用摄像头标定得到的内参数和外参数进行校正,将校正后含有RGB三个颜色信息的灰度图像转换为只有亮度信息的灰度图像;使用高斯滤波、形态学腐蚀、阈值分割、掩膜提取、凸包算法整形的图像处理方法进行预处理;
步骤3)质心提取得到图像坐标,逆透视变换得到转换坐标:
对整形后的高亮光斑轮廓进行质心提取,即可得到笔头的质心图像坐标;在图像中得到屏幕的四个顶点处高亮光斑经过二值化后的质心图像坐标,然后规定需要映射的屏幕实际尺寸,使用四点透视变换方法得到逆透视变换矩阵;将笔头质心图像坐标使用屏幕标定得到的透视变换矩阵进行逆透视变换,从倾斜的屏幕图像转换为屏幕的正视图,得到转换坐标;
步骤4)训练定位神经网络:
使用笔头图像坐标和逆透视变换后的转换坐标作为输入数据,屏幕的实际坐标作为输出数据,将两者作为训练数据,通过使用大量不同位置的数据进行训练,得到最优定位神经网络模型;
步骤5)定位神经网络输出拟合坐标,坐标映射得到像素坐标:
将实时计算得到的笔头图像坐标和转换坐标输入训练好的最优定位神经网络模型进行拟合,输出手写笔精确的拟合坐标;根据显示的像素尺寸将拟合坐标进行映射得到显示像素坐标。
2.根据权利要求1所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述笔头横截面选用正多边形或圆形,保证笔尖在横向全方位高亮逆反射。
3.根据权利要求2所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述笔头纵向上采用多段式,保证笔尖在纵向全方位高亮逆反射。
4.根据权利要求3所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述笔头优选为正十边形、四段式笔头。
5.根据权利要求1所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述笔头上方设置有按压式伸缩结构,按压时将使笔尖伸出进行定位,非按压时笔尖缩回不进行定位且保护笔头。
6.根据权利要求1所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述屏幕的四个边界点处放置逆反射材料,用于定位屏幕区域并用于进行逆透视变换矩阵计算。
7.根据权利要求1所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述摄像头采用带红外LED的红外摄像头,摄像头指向屏幕前方,摄像头距屏幕边缘设置预定距离,保证整个屏幕都能够被摄像头所采集。
8.根据权利要求1所述的一种基于逆反射的手写笔光学图像定位装置的定位方法,其特征在于,所述定位神经网络模型包括一层输入层、三层隐藏层和一层输出层;模型训练时的特征为笔头图像坐标和转换坐标,标签为笔头真实坐标;使用输出坐标与真实坐标的欧式距离作为评价函数,保存欧式距离最小的模型作为最优模型。