1.一种基于电梯场景-行为关联的乘客意图识别方法,其特征在于,所述方法包括:步骤1:获取视频帧,对视频中目标进行检测,生成对象的检测框表示;
步骤2:使用I3D网络对所述检测框进行局部特征提取,获取目标检测框区域的特征图作为感兴趣的区域,从而获得每个行人在每一帧中的位置信息和外观特征;
步骤3:将步骤2得到的局部特征与检测框坐标映射得到的位置特征进行拼接,得到每个对象在每帧中的聚合特征;
步骤4:引入运动轨迹聚合模块,对每个对象在视频序列中提取的聚合特征进行跨时间的整合,以捕捉和构建每个对象随时间推移的运动轨迹,并沿着时间维度对不同的运动轨迹进行推理,得到具有时间特征的运动轨迹表示,并基于不同对象的运动轨迹建模他们之间的交互特征;
步骤5:将所述步骤4得到的交互令牌作为上下文注入模块的查询,将原始视频帧作为键和值,输入到时空视觉Transformer中,通过交叉注意力机制用视频令牌中包含的信息更新轨迹令牌;
所述步骤2包括:
步骤21:使用I3D网络提取空间和时间信息,得到视频帧的特征图;
步骤22:根据所述检测框坐标(x, y, w, h),将其转换为与I3D特征图相对应的ROI坐标,其左上角和右下角坐标表示为:其中,x,y为检测框的中心点坐标,w, h为检测框的宽度和高度;
步骤23:对ROI的每个子区域(i, j)进行双线性插值,表示为:其中,F是I3D特征图的分辨率,wk和wl是对于子区的权重;
步骤24:将ROI区域内所有子区域的特征值通过平均池化汇聚成一个固定大小的特征向量;
所述步骤4中得到的具有时间特征的运动轨迹表示为:其中,hi表示第i个对象的运动轨迹,zi表示第i个对象的轨迹令牌;
所述步骤5包括:
步骤51:通过空间交叉注意力机制,比较交互查询qt和上下文键kst,找到交互轨迹在空间中的最佳匹配位置,表示为:其中,s表示空间位置,t表示时间帧,qt=ziWq,kst=xstWk,vst=xstWv,Wq,Wk,Wv表示权重;
步骤52:在时间维度上,采用自注意力机制对轨迹令牌进行处理,捕捉单帧中的交互特征,融合多帧信息,形成具有全局视野的完整轨迹表示。
2.一种基于电梯场景-行为关联的乘客意图识别系统,其特征在于,所述系统包括:目标检测模块,被配置为获取视频帧,对视频中目标进行检测,生成对象的检测框表示;
局部特征提取模块,被配置为使用I3D网络对所述检测框进行局部特征提取,获取目标检测框区域的特征图作为感兴趣的区域,从而获得每个行人在每一帧中的位置信息和外观特征;
特征聚合模块,被配置为将所述局部特征提取模块得到的局部特征与检测框坐标映射得到的位置特征进行拼接,得到每个对象在每帧中的聚合特征;
运动轨迹聚合模块,被配置为对每个对象在视频序列中提取的聚合特征进行跨时间的整合,以捕捉和构建每个对象随时间推移的运动轨迹,并沿着时间维度对不同的运动轨迹进行推理,得到具有时间特征的运动轨迹表示,并基于不同对象的运动轨迹建模他们之间的交互特征;
上下文注入模块,被配置为将所述运动轨迹聚合模块得到的交互令牌作为上下文注入模块的查询,将原始视频帧作为键和值,输入到时空视觉Transformer中,通过交叉注意力机制用视频令牌中包含的信息更新轨迹令牌;
所述局部特征提取模块的处理过程包括:
首先,使用I3D网络提取空间和时间信息,得到视频帧的特征图;
其次,根据所述检测框坐标(x, y, w, h),将其转换为与I3D特征图相对应的ROI坐标,其左上角和右下角坐标表示为:其中,x,y为检测框的中心点坐标,w, h为检测框的宽度和高度;
然后,对ROI的每个子区域(i, j)进行双线性插值,表示为:其中,F是I3D特征图的分辨率,wk和wl是对于子区的权重;
最后,将ROI区域内所有子区域的特征值通过平均池化汇聚成一个固定大小的特征向量;
所述运动轨迹聚合模块得到的具有时间特征的运动轨迹表示为:其中,hi表示第i个对象的运动轨迹,zi表示第i个对象的轨迹令牌;
所述上下文注入模块的处理过程包括:
通过空间交叉注意力机制,比较交互查询qt和上下文键kst,找到交互轨迹在空间中的最佳匹配位置,表示为:其中,s表示空间位置,t表示时间帧,qt=ziWq,kst=xstWk,vst=xstWv,Wq,Wk,Wv表示权重;
在时间维度上,采用自注意力机制对轨迹令牌进行处理,捕捉单帧中的交互特征,融合多帧信息,形成具有全局视野的完整轨迹表示。
3.一种基于电梯场景-行为关联的乘客意图识别装置,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1所述的方法。
4.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1所述的方法。