1.一种基于关键点检测的单目摄像头增强现实手势交互方法,其特征在于由以下步骤组成:(1)获取输入图像
将单目摄像机拍摄到的实时图像作为输入图像,输入图像的宽度w至少为400像素,高度h至少为200像素;
(2)检测手部关键点坐标
使用手部关键点检测网络对输入图像按下述方法得到手部关键点坐标:
1)设置手部置信度阈值θ,θ∈(0,1),在手部置信度低于θ时,手部检测模型启动;
2)对输入图像进行手部检测,从左到右分别为0号手、1号手,n为0或1,n号手记为Hn,Hn包括左手标签l或右手标签r;
3)将检测到的手进行定位,裁剪出手部区域;
4)将每个手部区域输入手部关键点检测网络进行手部关键点检测,输出Hn手部21个关键点坐标如下:关键点0为手腕,记为关键点1~关键点4为大拇指从指根到指尖的四个关节点,记为关键点5~关键点8为食指从指根到指尖的四个关节点,记为关键点9~关键点12为中指从指根到指尖的四个关节点,记为关键点13~关键点16为无名指从指根到指尖的四个关节点,记为关键点17~关键点20为小拇指从指根到指尖的四个关节点,记为将Hn手部关键点j记为其x、y、z轴坐标分别为其中的x、y轴坐标为其在输入图像上的相对坐标,关键点0的z轴坐标是一个极小的值,记为n号手Hn的z轴坐标原点,若为负数,相对手腕根部远离摄像头,反之靠近摄像头;
(3)确定字符串数据
按下式对Hn手部关键点坐标进行转换,转换后x、y、z轴坐标分别为按下式计算n号手Hn的关键点5与关键点17之间的距离作为手掌宽度Ln:按下式得到字符串数据S:
其中,k∈{0,1,...,20};
(4)传输字符串数据S
通过用户数据报协议传输字符串数据S到Unity引擎;
(5)构建虚拟手部模型
用Unity引擎绘制骨骼位置,在关键点上添加骨骼旋转角度、相对位移;
(6)存储字符串数据S
1)手部坐标数据传入Unity引擎;
2)按下式得到标准化字符串数据S′:
3)存储标准化字符串数据S′
按下式将标准化字符串数据S′分别存储到左手字符串hl与右手字符串hr中:其中,N为空值;
(7)虚拟手部运动
1)用逗号将左手字符串hl与右手字符串hr分别分割为含有为64个子字符串的左手字符串数组Fl′与右手字符串数组Fr′,用float.Parse函数将左手字符串数组Fl′与右手字符串数组Fr′分别转化成左手浮点数组Fl与右手浮点数组Fr:其中,左手字符串hl为N时,不将其赋值给左手浮点数组Fl;右手字符串hr为N时,不将其赋值给右手浮点数组Fr;
2)虚拟手部整体作为摄像头的子物体随摄像头运动;
3)确定关键点相对坐标
按下式确定左手关键点i相对于左手关键点0的相对坐标左手手掌宽度dlH:其中,为左手浮点数组Fl的i号元素,为左手浮点数组Fl的3i号元素接收到左手关键点i的x轴坐标,为左手浮点数组Fl的0号元素接收到左手关键点0的x轴坐标,为左手浮点数组Fl的3i+1号元素接收到左手关键点i的y轴坐标,为左手浮点数组Fl的1号元素接收到左手关键点0的y轴坐标,为左手浮点数组Fl的3i+2号元素接收到左手关键点i的z轴坐标,为左手浮点数组Fl的2号元素接收到左手关键点0的z轴坐标;
按下式确定右手关键点i相对于右手关键点0的相对坐标右手手掌宽度drH:其中,为右手浮点数组Fr的i号元素,为右手浮点数组Fr的3i号元素接收到右手关键点i的x轴坐标,为右手浮点数组Fr的0号元素接收到右手关键点0的x轴坐标,为右手浮点数组Fr的3i+1号元素接收到右手关键点i的y轴坐标,为右手浮点数组Fr的1号元素接收到右手关键点0的y轴坐标,为右手浮点数组Fr的3i+2号元素接收到右手关键点i的z轴坐标,为右手浮点数组Fr的2号元素接收到右手关键点0的z轴坐标;
4)确定虚拟手部缩放比
按下式确定左手关键点0与左手关键点1之间的距离dlR:按下式确定右手关键点0与右手关键点1之间的距离drR:按下式确定虚拟左手手部缩放比Ml:
按下式确定虚拟右手手部缩放比Mr:
其中,dlM为虚拟手部模型左手的关键点0与关键点1之间的距离,drM为虚拟手部模型右手的关键点0与关键点1之间的距离;
5)确定手部运动相对位置
按下式确定虚拟左手手部位置运动时相对摄像头的坐标Clx、Cly、Clz:其中,Dlx、Dly、Dlz为虚拟左手手部的初始位置Dl相对摄像头的坐标;
按下式确定虚拟右手手部位置运动时相对摄像头的坐标Crx、Cry、Crz:其中,Drx、Dry、Drz为虚拟右手手部的初始位置Dr相对摄像头的坐标;
(8)触发增强现实的手势交互
1)增强现实的虚拟手部当前位置与虚拟物体之间的距离≤0.3且虚拟手部关键点8、12、16、20与虚拟手部关键点0之间的距离均≤0.05时,触发拿起虚拟物体的手势交互;
2)增强现实的虚拟手部关键点8、12、16、20与虚拟手部关键点0之间的距离均>0.05时,触发放下虚拟物体的手势交互;
(9)性能评估
按下式评价基于关键点检测的单目摄像头增强现实手势交互方法每秒钟处理图像的帧数FPS:其中,te是一帧处理完毕时的时间,ts是一帧开始处理的时间,每秒钟处理图像的帧数FPS>30帧/秒时,该方法为实时性高的方法。
2.根据权利要求1所述的基于关键点检测的单目摄像头增强现实手势交互方法,其特征在于:在(2)检测手部关键点坐标步骤中,所述的手部检测的置信度阈值为0.68。
3.根据权利要求1所述的基于关键点检测的单目摄像头增强现实手势交互方法,其特征在于:在(5)构建虚拟手部模型步骤中,所述的在关键点上添加骨骼旋转角度为:手腕关键点0的旋转角度为0°~180°,其余各关键点处的旋转角度为0°~90°,手指在以摄像头为中心半径12dlM的范围内移动,其中dlM为虚拟手部模型左手的关键点0与关键点1之间的距离。