1.一种基于增强现实的交互显示方法,其特征在于:所述方法包括以下步骤:步骤1:检测并显示当前视觉感知单元采集到的原始视频;跟踪目标对象;若持续跟踪到该目标对象的时间大于t1,则进行步骤2,否则重复执行步骤1;t1的取值范围为[1,3],单位为秒;
步骤2:对从声音输入输出单元采集的语音进行识别,根据识别的语音指令选择增强现实模式并进行步骤3;
步骤3:手势识别模块使用基于人体骨骼数据的快速手势识别方法检测挥手动作和握拳动作,包括获取最新一帧人体骨骼数据HSD1的右小臂轴节点A1(Xa1,Ya1,Za1)、右肩节点S1(Xs1,Ys1,Zs1)、右手掌中心节点H1(Xh1,Yh1,Zh1)和右手掌指尖点F1(Xf1,Yf1,Zf1),将以节点H1与节点F1之间的欧氏距离为半径所组成圆的面积记为C1,将以节点A1、节点S1和节点H1所围成三角形的面积记为T1;经过时间t之后,再获取最新一帧人体骨骼数据HSD2的右小臂轴节点A2(Xa2,Ya2,Za2)、右肩节点S2(Xs2,Ys2,Zs2)、右手掌中心节点H2(Xh2,Yh2,Zh2)和右手掌指尖点F2(Xf2,Yf2,Zf2),将以节点H2与节点F2之间的欧氏距离为半径所围成圆的面积记为C2,将以节点A2、节点S2和节点H2所围成三角形的面积记为T2;最后判断手势类型,若三角形面积T2和三角形面积T1满足T2<α×T1,则判定为挥手手势;若圆的面积C2和圆的面积C1满足C2<β×C1,则判定为握拳手势;其中t的取值范围为[0.5,2],单位为秒,α取值范围为[0.5,0.9],β的取值范围为[0.2,0.8];
将手势识别对应的虚拟物体切换指令发送给虚拟物体叠加模块叠加虚拟效果,若跟踪到当前目标对象且有新的语音指令,则返回步骤2,否则若跟踪到当前目标对象且无新的语音指令,则重复执行当前步骤3,其它情况,执行步骤4;
步骤4:结束增强现实交互显示。
2.根据权利要求1所述的一种基于增强现实的交互显示方法,其特征在于:所述步骤1中,目标定位模块使用深度卷积神经网络模型对视觉感知单元采集的彩色视频图像进行人形目标的检测;利用采集的深度图像选取距离视觉感知单元最近的人形目标作为目标对象。
3.根据权利要求1所述的一种基于增强现实的交互显示方法,其特征在于:所述步骤2中,增强现实模式包括面部增强模式、手部增强模式和环境增强模式,所述步骤3中的虚拟效果包括分别对应面部增强模式、手部增强模式和环境增强模式的虚拟面部效果、虚拟手部效果和虚拟环境效果。
4.根据权利要求3所述的一种基于增强现实的交互显示方法,其特征在于:步骤3叠加所述虚拟面部效果包括以下步骤:
步骤3.1.1:目标定位模块使用深度卷积神经网络模型检测目标对象的人脸区域,若检测到,则计算真实空间的人脸区域坐标和虚拟空间的人脸区域坐标的三维注册关系,进行下一步,若未检测到人脸区域,则进行步骤3.1.3;
步骤3.1.2:手势识别模块使用基于人体骨骼数据的快速手势识别方法检测挥手动作和握拳动作;若检测到挥手动作,则将挥手动作对应的虚拟物体切换指令发送至虚拟物体叠加模块,虚拟物体叠加模块将下一张虚拟脸谱叠加到视频图像中,显示叠加后的图像,重复步骤3.1.2;若检测到握拳动作,则将握拳动作所对应的确认叠加指令传给虚拟物体叠加模块,虚拟物体叠加模块根据确定的三维注册关系,将当前已选择的虚拟脸谱叠加在跟踪的人脸区域上,将增强现实后的视频图像进行显示;若未检测到挥手动作或握拳动作,则进行下一步;
步骤3.1.3:若跟踪到当前目标对象且有新的语音指令,则返回步骤2;若跟踪到当前目标对象且无新的语音指令,则重复执行步骤3.1.1至步骤3.1.3;其它情况进行步骤4。
5.根据权利要求3所述的一种基于增强现实的交互显示方法,其特征在于:步骤3叠加所述虚拟手部效果包括以下步骤:
步骤3.2.1:目标定位模块使用深度卷积神经网络模型检测目标对象中的手掌区域,若检测到,则计算真实空间手掌区域坐标和虚拟空间手掌区域坐标的三维注册关系,进行下一步,若未检测到手掌区域,则进行步骤3.2.3;
步骤3.2.2:手势识别模块使用基于人体骨骼数据的快速手势识别方法检测挥手动作和握拳动作,若检测到挥手动作,则将挥手动作对应的虚拟物体切换指令发送给虚拟物体叠加模块,虚拟物体叠加模块将下一个效果虚拟模型叠加到视频图像中,显示叠加后的图像,重复步骤3.2.2;若检测到握拳动作,则将握拳动作所对应的确认叠加指令传给虚拟物体叠加模块,虚拟物体叠加模块根据三维注册模块所确定的三维注册关系,将当前已选择的效果虚拟模型叠加在目标定位模块跟踪的手掌区域上,最后虚拟物体叠加模块将增强现实后视频图像进行输送显示;若未检测到挥手或握拳动作,则进行下一步;
步骤3.2.3:若跟踪到当前目标对象且有新的语音指令,则返回步骤2;若跟踪到当前目标对象且无新的语音指令,则重复执行步骤3.2.1至步骤3.2.3;其它情况进行步骤4。
6.根据权利要求3所述的一种基于增强现实的交互显示方法,其特征在于:步骤3叠加所述虚拟环境效果包括以下步骤:
步骤3.3.1:计算真实空间全局图像坐标和虚拟空间全局图像坐标的三维注册关系;
步骤3.3.2:手势识别模块使用基于人体骨骼数据的快速手势识别方法检测挥手动作和握拳动作,若检测到挥手动作,则将挥手动作对应的虚拟物体切换指令发送给虚拟物体叠加模块,虚拟物体叠加模块将下一个虚拟环境模型叠加到视频图像中,显示叠加后的图像,重复步骤3.3.2;若检测到握拳动作,则将握拳动作所对应的确认叠加指令传给虚拟物体叠加模块,虚拟物体叠加模块根据三维注册模块所确定的三维注册关系,将当前已选择的虚拟环境模型叠加在视频图像的全局区域中,并同时将对应的声音送至声音输入输出单元播放;若未检测到挥手或握拳动作,则进行下一步;
步骤3.3.3:若跟踪到当前目标对象且有新的语音指令,则返回步骤2;若跟踪到当前目标对象且无新的语音指令,则重复执行步骤3.3.2至步骤3.3.3;其它情况进行步骤4。
7.根据权利要求4或5或6所述的一种基于增强现实的交互显示方法,其特征在于:对人脸区域或手掌区域或彩色图像进行特征提取并计算特征点的特征量,以相似度计算法进行特征量匹配,得到匹配的特征点数据坐标X,然后计算出摄像机的旋转矩阵R和平移矩阵T,由Y=K[R|T]X计算出人脸区域或手掌区域或彩色图像在虚拟空间的投影坐标,得到真实空间坐标与虚拟空间坐标的三维注册关系,其中,Y为虚拟空间坐标,K为摄像机的内参,R为摄像机的旋转矩阵,T为摄像机的平移矩阵,X为人脸区域或手掌区域或彩色图像的真实空间特征点坐标。
8.一种采用权利要求1~7之一所述的基于增强现实的交互显示方法的交互显示装置,其特征在于:所述装置包括:
一视觉感知单元,用于获取彩色图像、深度图像和人体姿态数据;
一声音输入输出单元,用于进行声音的输入和输出;
一视频输出单元,用于呈现用户所选择的交互界面和虚拟物体叠加后的图像;
一增强现实处理单元,用于接收来自视觉感知单元的人体姿态数据和声音输入输出单元的声音的输入,对接收到的数据进行增强现实处理,并将声音处理结果通过声音输入输出单元输出,将图像处理结果通过视频输出单元输出。
9.根据权利要求8所述的一种基于增强现实的交互显示方法的交互显示装置,其特征在于:所述增强现实处理单元包括:
一语音识别模块,用于识别用户的语音;
一手势识别模块,用于识别手掌的形状变化和运动姿势;
一目标定位模块,用于通过对目标对象的识别与跟踪来确定被增强的目标对象在图像中的位置;
一三维注册模块,用于获得真实空间物体坐标和虚拟物体坐标的三维注册关系;
一虚拟物体叠加模块,用于接收来自语音识别模块和手势识别模块的指令及三维注册模块得到的三维注册关系,根据指令和三维注册关系将虚拟物体叠加到目标定位模块所定位的目标对象上。