欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022106639780
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人机交互场景下多特征融合的沉浸度计算方法,其特征在于,包括:

1)确定人机交互场景下从用户的实时图像提取得到的多种特征的序列,所述多种特征包含人机交互距离特征、人体姿态特征、头部姿态特征、面部姿态特征、眼部姿态特征以及唇部运动特征中的部分或者全部;

2)对多种特征的序列进行联合表示,得到特征表示向量

3)将特征表示向量

步骤2)包括:分别将多种特征的序列进行标准化处理,使其维度相同并被归一化,构成特征数据X;将特征数据X送入门控循环时序网络GRU对各个特征的序列进行时序建模,然后通过注意力层Att选取输入层特征向量,得到融合后的特征表示向量步骤3)中采用的分类器为多层感知机,其函数表达式为:

上式中,

步骤1)中的多种特征包含人机交互距离特征,且人机交互距离特征的计算函数表达式为:上式中,

步骤1)中的人体姿态特征包含人体方位角特征,且人体方位角特征的计算函数表达式为:上式中,

步骤1)中的头部姿势特征的计算函数表达式为:

上式中,

步骤1)中的唇部运动特征的计算函数表达式为:

上式中,

2.根据权利要求1所述的人机交互场景下多特征融合的沉浸度计算方法,其特征在于,步骤3)之后还包括将用户的沉浸度与预设阈值进行比较的步骤,若用户的沉浸度小于设定阈值、且机器人当前处于人机交互状态,则暂停或退出机器人的人机交互状态;若用户的沉浸度大于或等于设定阈值、且机器人当前处于非人机交互状态,则首先判断检测到的用户数量,若用户数量大于1则选择沉浸度最高的用户作为目标用户,若用户数量等于1则选择该用户作为目标用户,然后唤醒机器人使其进入人机交互状态以用于与目标用户进行人机交互;机器人的传感系统在人机交互状态和非人机交互状态下均保持工作状态,机器人的运动系统仅在人机交互状态下处于工作状态、在非人机交互状态下处于非工作状态。

3.一种人机交互场景下多特征融合的沉浸度计算系统,包括相互连接的微处理器和存储器,其特征在于,该微处理器被编程或配置以执行权利要求1或2所述人机交互场景下多特征融合的沉浸度计算方法的步骤。

4.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,该计算机程序用于被微处理器编程或配置以执行权利要求1或2所述人机交互场景下多特征融合的沉浸度计算方法的步骤。