欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020105598619
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
专利领域: 卷扬;提升;牵引
更新日期:2024-08-07
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无接触眼动式电梯楼层输入方法,其特征在于,包括:

根据电梯内部按钮面板上安装的距离传感器选择目标摄像头;

利用所述距离传感器触发相应的目标摄像头进行人脸检测;

对检测到的人脸进行标准化,并定位双目位置;

将标准化后的人脸图像和双目图像数据输入到预设的姿势判别器,得到预测的头部姿势和眼球姿势;

根据所述头部姿势和所述眼球姿势,计算视线方向及关注点坐标,并检测视线停留时间是否大于预设的时间阈值,若是,则触发所述关注点坐标位置处的按钮。

2.根据权利要求1所述的无接触眼动式电梯楼层输入方法,其特征在于,还包括:对生成对抗网络进行训练、调参,获得目标生成对抗网络;其中,所述生成对抗网络由若干个生成器和姿势判别器构成;

从所述目标生成对抗网络获得所述姿势判别器。

3.根据权利要求2所述的无接触眼动式电梯楼层输入方法,其特征在于,所述对生成对抗网络进行训练、调参,获得目标生成对抗网络,具体包括:利用预先安装在电梯按钮面板上的摄像头的光轴对准测试对象的两眼中心位置,获取测试对象视线依次对应各个按钮时包含头部姿势和眼球姿势的图像样本数据集;其中,所述图像样本数据集包括第一组数据和第二组数据;

在所述图像样本数据集中定位人脸和双目的位置得到每张图像的数据项;

随机获取相应的数据项输入到初始的生成对抗网络进行对抗训练,对抗训练过程以获得的对抗损失数据Ladv、重构损失数据Lrec、感知损失数据Lp、回归损失数据Lreg的加权和,来调整网络权系数,获得目标生成对抗网络。

4.根据权利要求3所述的无接触眼动式电梯楼层输入方法,其特征在于,第一组数据包括:测试对象的头部静止且眼球运动时,获得视线依次对应各个按钮时所采集的图像数据;

第二组数据包括:测试对象的视线盯着按钮,头部向上、下、左、右各偏转两个角度,获得视线依次对应各个按钮时所采集的图像数据。

5.根据权利要求1所述的无接触眼动式电梯楼层输入方法,其特征在于,所述距离传感器包括:光学距离传感器、红外距离传感器、超声波距离传感器中的至少一种。

6.根据权利要求3所述的无接触眼动式电梯楼层输入方法,其特征在于,在所述图像样本数据集中定位人脸和双目的位置得到每张图像的数据项,具体包括:在所述图像样本数据集中定位人脸和双目的位置获得每张图像的数据项{F,αh,γh,El,Er,αe,γe};其中,F为人脸图像,αh为头部运动俯仰角,γh为头部运动偏航角,El为左眼图像,Er为右眼图像,αe为眼部运动的俯仰角,γe为眼部运动的偏航角;

所述随机获取相应的数据项输入到初始的生成对抗网络进行对抗训练,对抗训练过程以获得的对抗损失数据Ladv、重构损失数据Lrec、感知损失数据Lp、回归损失数据Lreg的加权和,来调整网络权系数,获得目标生成对抗网络,具体包括:随机抽取所述图像样本数据集中的两组数据,将人脸图像F2和头部姿势[αh1,γh1]输入给生成器Gh,并将双目图像El2、Er2和眼球姿势[αe1,γe1]输入到生成器Ge,获得合成姿势为[αh1,γh1]的人脸合成图像Fc1以及合成姿势为[αe1,γe1]的双目合成图像Elc1和Erc1;

将所述人脸合成图像Fc1与头部姿势[αh2,γh2]输入给生成器Gh,将所述双目合成图像Elc1和Erc1以及眼球姿势[αe2,γe2]输入到生成器Ge,获得满足预设条件的重构人脸图像Fr2和重构双目图像Elr2和Erc2;分别将所述重构人脸图像Fr2和所述重构双目图像Elr2、Erc2,与所述人脸图像F2和所述人脸图像F2进行对比分析,得到重构损失数据Lrec;

将所述人脸合成图像Fc1以及所述双目合成图像Elc1和Erc1,输入到生成器Gt,得到合成头部姿势为[αe1,γe1]、眼部姿势为[αe1,γe1]的合成图像FEc1;将真实人脸图像F1、真实双目图像El1和Er1以及所述合成图像FEc1分别输入到预设的评估器进行评估分析,得到感知损失数据Lp;

将所述人脸合成图像Fc1与所述真实人脸图像F1分别输入第一姿态判别器Dh中,获得人脸真假信息和头部姿势的回归值[αh1,γh1];将所述双目合成图像Elc1、Erc1与真实双目图像El1、Er1输入第三姿态判别器De,获得满足预设条件的双目真假信息和眼部姿势的回归值[αe1,γe1];根据所述回归值[αh1,γh1]和所述回归值[αe1,γe1],得到回归损失数据Lreg;

将人脸真假信息和双目真假信息级联输入第二姿态判别器Dt得到真实或虚假信息,分析获得抗损失数据Ladv;

对抗训练过程以对所述抗损失数据Ladv、所述重构损失数据Lrec、所述感知损失数据Lp、所述回归损失数据Lreg的加权和来调整生成对抗网络权系数,获得目标生成对抗网络。

7.根据权利要求1所述的无接触眼动式电梯楼层输入方法,其特征在于,还包括:预先按照预设的规则设置电梯按钮面板,在电梯按钮面板上不同高度位置安装至少两组摄像头和距离传感器的组合,当检测到人体靠近电梯按钮面板时,按照预设的优先级顺序选择按钮面板上所述距离传感器中的一个。

8.一种无接触眼动式电梯楼层输入装置,其特征在于,包括:

摄像头选择单元,用于根据电梯内部按钮面板上安装的距离传感器选择目标摄像头;

人脸检测单元,用于利用所述距离传感器触发相应的目标摄像头进行人脸检测;

定位单元,用于对检测到的人脸进行标准化,并定位双目位置;

姿势预测单元,用于将标准化后的人脸图像和双目图像数据输入到预设的姿势判别器,得到预测的头部姿势和眼球姿势;

电梯按钮确认单元,用于根据所述头部姿势和所述眼球姿势,计算视线方向及关注点坐标,并检测视线停留时间是否大于预设的时间阈值,若是,则触发所述关注点坐标位置处的按钮。

9.一种电子设备,其特征在于,包括:

处理器;以及

存储器,用于存储无接触眼动式电梯楼层输入方法的程序,该电子设备通电并通过所述处理器运行该无接触眼动式电梯楼层输入方法的程序后,执行上述权利要求1-7任意一项所述的无接触眼动式电梯楼层输入方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于被处理器执行上述权利要求1-7任一项所述的无接触眼动式电梯楼层输入方法。