欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019114232702
申请人: 深圳新秦科技有限公司
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种手势动作识别方法,其特征在于,所述手势动作识别方法包括:当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时,基于预设多模态特征抽取算法对目标手指进行边缘检测;

将所述目标手指的边缘检测结果与预设手指模型进行匹配,构建所述目标手指对应的实时手指几何模型;

获取所述实时手指几何模型中所述目标手指的初始指向数据,将所述初始指向数据与所述特定区域的特定坐标数据进行匹配,生成初始位移误差;

基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差,识别所述目标手指的指向变化,以供预设指读设备基于指向识别结果对目标手指的指向做出响应。

2.如权利要求1所述的手势动作识别方法,其特征在于,所述当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时,基于预设多模态特征抽取算法对目标手指进行边缘检测的步骤包括:当检测到所述目标手指指向当前所使用教材的页码时,基于所述预设指读设备中的摄像头获取初始指向图像;

使用所述预设多模态特征抽取算法对所述初始指向图像中的目标手指进行边缘检测。

3.如权利要求2所述的手势动作识别方法,其特征在于,所述获取所述实时手指几何模型中所述目标手指的初始指向数据的步骤之前,还包括:将所述实时手指几何模型与预设二维平面坐标系相匹配,以确定所述实时手指几何模型中所述目标手指对应在所述预设二维平面坐标系上的初始指向坐标数据。

4.如权利要求2所述的手势动作识别方法,其特征在于,所述将所述初始指向数据与所述特定区域的特定坐标数据进行匹配,生成初始位移误差的步骤包括:获取所述页码在所述预设二维平面坐标系上的特定坐标数据;

将所述初始指向数据与特定坐标数据进行匹配,生成所述初始位移误差。

5.如权利要求1所述的手势动作识别方法,其特征在于,所述基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差,识别所述目标手指的指向变化,以供预设指读设备基于指向识别结果对目标手指的指向做出响应的步骤包括:在用户将手指指向当前所使用教材中的目标文字区域时,基于指读设备中的摄像头获取当前的目标手指图像;

基于所述预设多模态特征抽取算法,对所述目标手指图像进行特征抽取,生成目标指向图像;

基于所述目标指向图像与初始位移误差,确定实际指向坐标;

根据所述实际指向坐标确定所述目标文字区域,以供所述指读设备语音朗读以及翻译所述目标文字区域。

6.如权利要求5所述的手势动作识别方法,其特征在于,所述基于所述预设多模态特征抽取算法,对所述目标手指图像进行特征抽取的步骤包括:使用所述预设多模态特征抽取算法,对所述目标手指图像进行局部方差计算,确定本轮迭代的全空间图像特征;

自适应计算所述全空间图像特征的局部方差的峰值所在的空间区域,并基于所述空间区域确定所述全空间图像特征中的局部空间图像特征;

将所述局部空间图像特征从所述目标手指图像中分离,将分离后的目标手指图像作为下一轮迭代所需的初始图像,并计算下一轮迭代的全空间图像特征与局部空间图像特征;

直至检测到满足预设收敛条件时,结束当前迭代过程,并基于迭代计算结果更新所述实时手指几何模型,以基于更新后的实时手指几何模型生成所述目标指向图像。

7.如权利要求1所述的手势动作识别方法,其特征在于,所述当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时,基于预设多模态特征抽取算法对目标手指进行边缘检测的步骤之前,还包括:对结合所述指读设备所使用的书本的内容进行数码化匹配。

8.一种手势动作识别装置,其特征在于,所述手势动作识别装置包括:目标手指检测模块,用于当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时,基于预设多模态特征抽取算法对目标手指进行边缘检测;

手指模型构建模块,用于将所述目标手指的边缘检测结果与预设手指模型进行匹配,构建所述目标手指对应的实时手指几何模型;

位移误差生成模块,用于获取所述实时手指几何模型中所述目标手指的初始指向数据,将所述初始指向数据与所述特定区域的特定坐标数据进行匹配,生成初始位移误差;

手指指向识别模块,用于基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差,识别所述目标手指的指向变化,以供预设指读设备基于指向识别结果对目标手指的指向做出响应。

9.一种手势动作识别设备,其特征在于,所述手势动作识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势动作识别程序,所述手势动作识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的手势动作识别方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有手势动作识别程序,所述手势动作识别程序被处理器执行时实现如权利要求1至7中任一项所述的手势动作识别方法的步骤。